BioToken and BioFM – Biologically-Informed Tokenization Enables Accurate and Efficient Genomic Foundation Models

Motivation

• Known: 기존 GFM들은 LLM에서 영감을 받아 nucleotide 서열에 대해 masked language modeling이나 sequential prediction과 같은 NLP 스타일의 tokenization과 학습 목표를 적용해왔으며, Enformer, Nucleotide Transformer, Evo2 등 대규모 모델들이 이러한 방식으로 개발되었다.
• Gap: 기존 접근법은 자연어와 달리 context-dependent interaction과 chromatin structure로부터 의미가 파생되는 genomic 특성을 반영하지 못하며, 인간 유전 변이가 전체 DNA의 1% 미만에 불과한 sparsity 문제로 인해 모델이 rare variant의 기능적 영향을 학습하기보다 흔한 reference pattern을 암기하도록 유도되어, eQTL이나 variant effect prediction과 같은 일반화가 필요한 과제에서 성능이 저하된다.
• Why: DNA 서열에 SNV, exon, transcript, coding region 등의 생물학적 annotation을 명시적으로 인코딩함으로써, 모델이 표면적인 위치 암기가 아니라 기능적 표현을 학습하도록 유도할 수 있으며, 이는 정밀의학 및 임상 유전체학에서 중요한 pathogenicity 예측과 expression 예측의 정확도와 효율성을 동시에 개선할 잠재력을 가진다.
• Approach: SNV/insertion, transcript/exon/CDS 경계 등을 특수 토큰으로 인코딩하는 모듈형 tokenization 프레임워크인 BioToken을 개발하고, 이를 기반으로 265M 파라미터의 decoder-only transformer인 BioFM을 1000 Genomes Project의 50개 whole-genome sequence 데이터로 사전학습하였다.

Achievement

Figure 1. BioFM integrates biologically-informed tokenization, significantly outperforming GFMs and specialized models a

1. BioToken 제안: SNV/insertion을 위한 변이 토큰(Ǎ, Č, Ť, Ǧ)과 transcript/exon/CDS 경계를 나타내는 annotation 토큰을 도입하여 DNA 서열에 생물학적 context를 직접 인코딩하는 모듈형 tokenization 프레임워크를 제시하였다.
2. BioFM 개발: 265M 파라미터의 decoder-only transformer로, Nucleotide Transformer(2.5B), Evo(40B) 등 기존 대규모 GFM 대비 약 100배 적은 compute로 학습되었음에도 우수한 성능을 달성하였다.
3. 성능 우위 입증: Variant Benchmark, DART, TraitGym LR Benchmark 등 여러 벤치마크에서 BioFM이 Evo2-1B, Evo2-7B, Caduceus, NT-500M-v2-MS 등 기존 최첨단 모델 및 Enformer와 같은 특화 baseline을 능가하는 AUROC를 달성하였다.
4. Annotation의 효과 검증: 동일한 크기와 compute를 가진 nucleotide-only 모델(ACGT-265M)과 비교하여, annotation을 추가한 BioFM이 네 개 variant effect 벤치마크에서 유의미한 성능 향상을 보임으로써 biological inductive bias의 효과를 입증하였다.

How

Figure 2. Extensive evaluation shows that BioFM excels at modeling variants and efficiently using genomic context for su

• BioToken: 표준 뉴클레오티드 토큰(A, G, C, T)을 SNV/insertion용 특수 토큰(Ǎ, Ǧ, Č, Ť)으로 대체하고, transcript 시작/끝(α, /α), exon 시작/끝(β, /β), CDS 시작/끝(λ, /λ) 등의 annotation 토큰을 추가로 도입.
• BioFM: 265M 파라미터 decoder-only transformer 구조를 사용하며, 학습 중 50%의 입력 서열에 대해 reverse-complement augmentation을 적용하고 strand-specific annotation만 반영.
• 사전학습 데이터: 1000 Genomes project의 5개 superpopulation에서 선택된 50명의 whole-genome sequencing 데이터를 사용하여 약 332B 토큰으로 2 epoch 학습.
• 아키텍처 세부사항: context window는 6K nucleotide로 실험적으로 결정하였고, RoPE의 frequency parameter θ를 10^4에서 10^5로 조정하여 장거리 genomic dependency를 더 효과적으로 모델링.
• 평가: 초기 ablation은 67M 파라미터 축소 모델로 수행하고 이후 실험은 265M 모델로 진행. 새로운 Variant Benchmark를 구축하여 Functional Effects of Genetic Variants와 Population-Level Variation 두 범주로 체계적 평가 수행 (AlphaMissense 기반 coding pathogenicity 평가 포함).

Originality

• 기존 GFM들이 task-specific conditioning token이나 structural tokenization을 부분적으로 사용한 것과 달리, BioToken은 foundational pretraining 단계부터 SNV, exon, transcript, CDS 등 다양한 regulatory context를 통합하는 모듈형 tokenization을 제안하는 점에서 차별화됨.
• 대규모 스케일링에 의존하지 않고 biological inductive bias를 명시적으로 모델링함으로써 100배 적은 compute로도 대형 모델을 능가하는 성능-효율성 trade-off를 제시한 점이 독창적임.
• 기존 벤치마크(BEND, GLRB)의 한계를 지적하고 variant-mediated molecular process를 폭넓게 다루는 새로운 Variant Benchmark를 자체적으로 구축하여 평가 체계를 확장함.

Limitation & Further Study

• 사전학습 데이터가 1000 Genomes Project의 50개 개체 whole-genome sequence로 제한되어 있어, 더 다양한 인구집단 및 희귀 변이에 대한 일반화 가능성 검증이 추가로 필요함.
• BioToken이 현재 SNV, exon, CDS 등 제한된 annotation만 다루고 있으며, 저자들도 언급했듯이 RNA secondary structure, methylation, chromatin accessibility 등 추가 epigenetic 정보의 통합은 향후 과제로 남아있음.
• decoder-only 구조와 next-token prediction 방식이 특정 downstream task(예: 매우 긴 range의 regulatory interaction)에서 여전히 한계를 보일 가능성이 있으며, 이에 대한 심층적 분석이 부족함.
• 발췌된 abstract/본문 기준으로는 다양한 baseline과의 비교가 AUROC 중심으로만 제시되어, 다른 평가 지표나 실제 임상 적용 시나리오에서의 강건성 검증이 추가로 요구됨.

Evaluation

총평: 생물학적 annotation을 tokenization 단계에서 명시적으로 통합하는 아이디어는 간단하지만 효과적이며, 100배 적은 compute로 대형 GFM을 능가하는 실용적 성과를 보여준 점에서 의미 있는 연구이나, 사전학습 데이터 규모와 annotation 범위의 제한은 향후 확장이 필요한 지점이다.