DNA Compression with Genomic Language Models: Tokenization, Benchmarking, and an Information-Content Map

Motivation

• Known: Autoregressive language model의 cross-entropy는 arithmetic coding을 통해 압축률로 직접 변환될 수 있으며, DNABERT2, HyenaDNA, megaDNA, CD-GPT 등 다양한 genomic language model이 downstream benchmark에서 좋은 성능을 보였다. 또한 GeCo3, JARVIS3, MFCompress 등 특화된 DNA 압축기가 T2T human genome 벤치마크에서 최고 성능을 유지하고 있다.
• Gap: 기존 genomic language model들의 예측 성능(predictive sharpness)이 성숙한 DNA 압축 문헌과 체계적으로 비교된 적이 없으며, DNA에 대한 BPE vocabulary 크기 선택이 NLP 관행(50k~128k)을 그대로 따르는 것이 적절한지에 대한 검증이 부재했다.
• Why: 압축률은 모델이 학습한 시퀀스 구조에 대한 객관적이고 태스크 무관한 정량적 지표를 제공하며, 이를 통해 genomic LM의 설계 선택(tokenization, architecture, context length)이 실제로 DNA의 통계적 구조를 얼마나 잘 포착하는지 검증할 수 있고, per-token surprise를 생물학적으로 의미 있는 신호로 전환할 수 있다.
• Approach: GPT-2-small 아키텍처를 기반으로 BPE vocabulary 크기(16~8192)만 다른 10개의 DNAGPT2 모델을 DNABERT2 multi-species corpus로 학습시키고, arithmetic coding과 결합해 Cobilab 벤치마크에서 다른 genomic LM 및 전용 DNA 압축기와 비교했다.

Achievement

Figure 5. Information-content profiles of the human genome under DNAGPT2_128. Left: Alu repeats are substantially

1. DNAGPT2 공개: BPE vocabulary 크기만 다른 10개의 GPT-2-small 기반 genomic language model family를 공개함.
2. 경쟁력 있는 압축 성능: 최적 모델이 T2T human genome에서 1.47 bpb를 달성해 Cobilab 압축 벤치마크 4위, 모든 범용 압축기(gzip, bzip2, lzma 등)를 능가함.
3. Tokenization에 대한 반직관적 발견: NLP에서 표준적인 대형 BPE vocabulary(50k~128k)와 달리 32-token 수준의 작은 vocabulary가 DNA 압축에서 더 우수함을 보임.
4. Long-context 모델의 한계 노출: 공개된 long-context genomic LM(HyenaDNA, megaDNA 등)이 훨씬 짧은 context의 BPE GPT-2보다 열등한 성능을 보임을 관찰함(단, 통제된 ablation은 아님).
5. Information-content map 구축: DNAGPT2 기반 surprise를 이용해 GRCh38 전역의 nucleotide 단위 information-content map을 만들고, exon, intron, intergenic region, Alu repeat이 통계적으로 구별되는 information profile을 가짐을 보임.

How

• GPT-2-small 아키텍처(12 layer, 12 head, hidden 768, context 1024, 약 86M parameter)를 기반으로 BPE vocabulary 크기 V∈{16,...,8192}만 다르게 하여 10개 모델을 학습
• DNABERT2 multi-species corpus(135 genome, 필터링 후 약 32.5B nucleotide)를 사용해 각 vocabulary별 SentencePiece BPE tokenizer를 학습 후, 단일 A40 GPU에서 1 epoch 동안 AdamW, cosine decay, bf16으로 사전학습
• 압축 파이프라인: DNA sequence를 tokenize하고, stride 512의 sliding window(길이 1024)로 causal LM에 통과시켜 next-token logit을 CDF로 변환, scale 2^15로 양자화 후 arithmetic coding 적용
• DNAGPT2, CD-GPT, HyenaDNA, megaDNA를 동일한 파이프라인으로 세 개 게놈에 대해 벤치마크하고 GeCo3, JARVIS3, MFCompress 등 전용 압축기 및 범용 압축기와 비교
• 최적 모델(DNAGPT2_128)의 per-token surprise를 이용해 GRCh38 전역 information-content map을 계산하고 exon/intron/intergenic/Alu repeat 영역별 분포를 통계적으로 비교

Originality

• 압축을 배포 가능한 저장 시스템이 아니라 generative sequence modeling에 대한 객관적 평가 도구(probe)로 재해석하는 관점을 제시함
• DNA tokenization을 위한 BPE vocabulary 크기를 체계적으로 스윕하여, NLP 관행과 반대로 극소형 vocabulary(32 토큰)가 최적임을 최초로 정량적으로 보인 점
• 서로 다른 아키텍처의 published genomic LM들을 동일한 arithmetic coding 파이프라인 하에서 압축 성능으로 직접 비교하는 벤치마크를 구성한 점
• Genome-wide information-content map을 만들어 기능적 게놈 요소(exon, intron, intergenic, Alu)의 정보 이론적 특성을 대규모로 정량화하고 interactive genome-browser 리소스로 공개한 점

Limitation & Further Study

• Long-context 모델 vs. short-context BPE GPT-2 비교가 저자 스스로 인정하듯 architecture, training data, parameter count, tokenization이 모두 상이한 비통제(non-controlled) 비교이므로, context length의 순수 효과를 분리하지 못함
• 모델들이 단일 epoch만 학습되었고 training/validation curve가 monotone하여 underfitting이 지배적 한계일 가능성이 있어, 절대적 bpb 수치는 더 긴 학습이나 더 큰 모델로 개선될 여지가 큼
• 단일 A40 GPU라는 제한된 컴퓨팅 자원으로 인해 대형 vocabulary(4096, 8192)나 더 큰 모델 스케일에서의 성능이 충분히 탐색되지 못했을 가능성
• 압축 성능 지표가 모델 weight 크기를 제외하고 계산되어 실제 배포 가능한 압축 시스템으로서의 의미는 제한적임
• 후속 연구로 controlled ablation(동일 아키텍처·데이터·파라미터 수에서 context length만 변화)과 더 큰 스케일의 DNAGPT2 학습이 필요함

Evaluation

총평: Genomic language model을 압축 관점에서 체계적으로 벤치마크하고 tokenization 설계에 대한 실용적 통찰을 제공하는 견고한 연구이나, 핵심 비교 중 하나(long-context 모델 비교)가 통제되지 않은 실험이라는 한계를 스스로 명시한 점에서 결론의 일반화에 주의가 필요하다.