annDNA: Learning Annotation-Aware Genomic Representations via Knowledge Distillation

Motivation

• Known: 기존 genomic language model들(DNABERT, Nucleotide Transformer, HyenaDNA, Caduceus, MxDNA 등)은 다양한 tokenization 전략을 사용하지만 모두 DNA 시퀀스 패턴만으로부터 표현을 학습하며, GENCODE·ENCODE와 같이 이미 방대하게 축적된 실험적 기능 주석 정보는 활용하지 않는다.
• Gap: 자연어와 달리 DNA 시퀀스는 단어·문장 같은 명시적 의미 단위 경계가 없어 GLM이 promoter/enhancer, coding/intron 같은 기능적 경계를 순전히 시퀀스로부터 암묵적으로 추론해야 하는데, 이는 데이터 비효율적이며 뚜렷한 기능적 경계를 대규모 사전학습 없이는 포착하기 어렵다. 또한 기존 distillation 연구는 teacher와 student가 동일한 sequence-only 입력을 받는 경우만 다루어, 주석 정보를 활용하면서도 추론 시 주석 없이 동작하는 방법은 탐구되지 않았다.
• Why: 비-코딩 변이(non-coding variant)가 질병 관련 유전 변이의 대부분을 차지함에도 이를 해석하려면 조절 요소(regulatory element) 정보가 필수적인데, annotation 정보를 학습에 활용하면서도 추론 시에는 시퀀스만 필요로 하는 실용적인 프레임워크는 생물학적 지식을 저비용으로 배포 가능한 모델에 이식하는 일반적 방법론을 제시한다.
• Approach: annDNA는 (1) GENCODE 구조적 주석과 ENCODE 조절 요소 주석을 뉴클레오타이드와 결합해 명시적 기능 정보를 담은 토큰을 만드는 annotation-aware pre-training과, (2) hidden state matching 기반 cross-modal knowledge distillation을 통해 annotation-aware teacher의 표현을 sequence-only student에 전이하는 2단계 프레임워크이다.

Achievement

Figure 2. Experimental results. (a) Pre-training and distillation training curves. (b) t-SNE visualization of genomic re

1. Annotation-aware 모델의 성능 우위: annDNA-struct와 annDNA-full은 동일한 아키텍처를 가진 sequence-only baseline(annDNA-seq) 대비 variant effect prediction에서 AUROC 기준 15.5% 향상을 달성했다.
2. Distillation을 통한 효율적 배포: annDNA-distilled는 teacher(annDNA-full) 파라미터의 약 1/3만 사용하면서도 sequence-only baseline 대비 11.2% 성능 향상을 보였고, 추론 시 시퀀스 입력만으로 동작한다.
3. 다각적 검증: genomic region embedding 분석, variant effect prediction benchmark, attention pattern 분석을 통해 annotation-aware 표현이 embedding 구조 개선과 실제 기능 요소와의 attention 정렬 향상에도 기여함을 입증했다.

How

Figure 1. The annDNA framework. (a) Annotation-aware tokenization for annDNA-seq (sequence-only), annDNA-struct (sequenc

• 세 종류의 BERT-based 모델(annDNA-seq, annDNA-struct, annDNA-full)을 서로 다른 주석 복잡도로 사전학습: annDNA-seq는 뉴클레오타이드만, annDNA-struct는 GENCODE 구조 주석(gene, exon 등) 추가, annDNA-full은 ENCODE 조절 요소(promoter, enhancer 등) 추가.
• Annotation-aware tokenization을 통해 각 뉴클레오타이드에 해당 주석 정보를 결합한 discrete token을 생성하여 단일 뉴클레오타이드 해상도를 유지하면서 기능 정보를 명시적으로 인코딩.
• Masked language modeling(MLM)으로 사전학습을 수행하고, 이후 annDNA-full teacher의 hidden state를 sequence-only student(annDNA-distilled)에 MSE loss와 CE loss로 매칭시키는 cross-modal knowledge distillation(hidden state matching, DistilBERT 방식 응용) 수행.
• Variant effect prediction 벤치마크에서 AUROC로 정량 평가하고, attention density heatmap을 통해 학습된 attention이 실제 기능 요소와 얼마나 정렬되는지 정성적으로 분석.

Originality

• 기존 GLM 연구가 다양한 tokenization 전략(k-mer, BPE, 단일 뉴클레오타이드, learnable segmentation)을 통해 시퀀스 자체의 표현력을 높이려 한 것과 달리, GENCODE·ENCODE의 검증된 기능 주석을 토큰 수준에서 직접 명시적으로 주입하는 annotation-aware tokenization을 제안한 점이 독창적이다.
• 기존 distillation 연구가 teacher-student가 동일한 sequence-only 입력을 공유하는 것과 달리, 서로 다른 입력 모달리티(annotation-aware teacher ↔ sequence-only student) 간 지식을 전이하는 cross-modal knowledge distillation을 GLM 도메인에 처음 적용했다.
• 주석 정보 활용과 배포 실용성(추론 시 주석 불필요)이라는 상충되는 요구를 distillation으로 동시에 만족시키는 프레임워크를 제시했다.

Limitation & Further Study

• Distilled 모델의 성능(11.2% 향상)이 full teacher 모델(15.5% 향상)에 미치지 못해, 여전히 annotation-aware 표현의 일부만 전이됨을 시사하며 distillation 방법론의 개선 여지가 있다.
• 평가가 variant effect prediction 벤치마크에 집중되어 있어, gene expression 예측이나 regulatory element classification 등 더 다양한 downstream task에서의 일반화 가능성은 추가 검증이 필요하다.
• GENCODE는 게놈의 약 67%, ENCODE cCRE는 약 8%만을 커버하므로 주석이 없는 영역에서는 annotation-aware 접근의 이점이 제한적일 수 있으며, 주석 자체의 오류나 종 특이성에 따른 편향 가능성에 대한 논의가 부족하다.
• 최근 concurrent work(Medvedev et al., 2025)와의 직접적 정량 비교가 제시되지 않아 상대적 우수성 평가가 제한적이다.

Evaluation

총평: 주석 정보를 명시적으로 토큰화하고 이를 distillation으로 sequence-only 모델에 전이한다는 아이디어는 간단하지만 효과적이며, GLM의 실용적 배포와 성능 향상을 동시에 달성한 의미 있는 연구이다. 다만 더 폭넓은 downstream task 검증과 concurrent work와의 비교가 보완된다면 기여도가 더욱 명확해질 것이다.