Generating and decoding methylated DNA with a Human Epigenetic Foundation Model

Motivation

• Known: 기존 DNA foundation model들(Nucleotide Transformer, DNABERT-2 등)은 human genome의 서열 통계를 잘 포착하지만 cytosine methylation과 같은 epigenetic modification을 반영하지 않았으며, cfDNA의 methylation 패턴이 질병 진단 및 세포 기원 추정에 중요한 정보를 담고 있다는 것은 알려져 있었다.
• Gap: 순수 DNA 서열만 모델링하는 기존 접근법은 세포 정체성과 유전자 발현 조절에 핵심적인 methylation 정보를 무시하며, CpGPT와 같은 기존 positional encoding 방식도 CpG site(약 30M 위치)에 국한되어 게놈 전체(약 3.1B 위치)에 대한 절대 위치 정보를 제공하지 못한다는 한계가 있다.
• Why: methylation 상태는 세포 기원과 질병 관련 변화를 반영하므로, 이를 통합한 foundation model은 암 조기 진단, 치료 반응 모니터링, cfDNA 기반 임상 진단 등에 직접 적용 가능한 새로운 생물학적 기반 모델 패러다임을 열어준다는 점에서 중요하다.
• Approach: Pleiades는 GPT 기반 autoregressive transformer 구조에 character-level tokenization(뉴클레오타이드+메틸화 토큰)과 새로운 Alignment Embeddings를 도입하여 methylated/unmethylated DNA, cfDNA, 유전체 다양성 데이터를 함께 사전학습한 whole-epigenome foundation model이다.

Achievement

Figure 2. Pleiades Performance Evaluation on Unbiased Nucleotide Transformer Benchmarks (a) Schematic breakdown of

1. State-of-the-art 유전체 주석 성능: Unbiased Nucleotide Transformer Benchmark에서 Pleiades 7B가 18개 과제 중 15개에서 최고 MCC(macro-average 0.98)를 기록, DNABERT-2(0.63) 및 NT MS 2.5B(0.67)를 크게 상회.
2. 모델 규모에 따른 일관된 성능 향상: 90M/600M/7B 전 규모에서 스케일링에 따른 성능 개선이 확인되었으며, 90M 모델조차 27배 더 큰 NT MS 2.5B를 histone modification 예측에서 능가.
3. cfDNA 응용 가능성 입증: cfDNA 단편 생성 및 혈장 cfDNA로부터 세포 조직 기원(cell type of origin) 예측이 가능함을 보여 임상 진단 응용 가능성을 제시.
4. 새로운 위치 인코딩 기법 제안: 염색체 및 게놈 전체 절대 위치를 학습된 임베딩으로 인코딩하는 Alignment Embeddings를 도입해 긴 문맥 윈도우 없이도 장거리 조절 상호작용을 표현.

How

Figure 1. Epigenomic Foundation modeling with Pleiades (a) Epigenetic regulation. DNA and histone modifications modulate

• Character-level tokenization으로 A/C/T/G 각 뉴클레오타이드와 메틸화(<m>) 토큰을 표현하고, <dna>, <mdna>, <cfdna>, <cell type> 등 특수 구분 토큰을 사용
• Alignment Embeddings: 염색체 인덱스(c)와 염기 위치(p)를 백만/천/일 단위로 분해(pm, pk, pu)하여 각각 학습된 lookup table로 임베딩 후 합산, 게놈 전체 약 3.1B 위치에 대해 절대 좌표 인코딩 제공
• 사전학습 데이터: Loyfer et al.(2023)의 39개 세포 유형 WGBS 메틸화 아틀라스, 건강인 20명의 혈장 유래 cfDNA WGBS/EM-seq, 1000 Genomes Project 기반 genome graph를 결합해 1.9T 토큰 구성
• Unbiased Nucleotide Transformer Benchmark 구축: 기존 NT benchmark의 음성 시퀀스 시작 위치 편향(1,000 단위 배수)을 발견하고 [-500,499] 범위 랜덤 jitter를 추가해 편향 제거
• 90M/600M/7B 모델을 NT MS 2.5B, DNABERT-2와 비교하여 5 epoch fine-tuning(90M/600M은 DNA subset 1 epoch 추가 fine-tuning), [CLS] 토큰과 2-layer MLP head 사용

Originality

• 순수 DNA 서열 모델링을 넘어 methylation 정보를 통합한 최초의 whole-epigenome foundation model 시리즈 제안
• Alignment Embeddings라는 새로운 위치 인코딩 기법을 도입해 CpG site에 국한된 기존 CpGPT 방식과 달리 게놈 전체 단일 염기 수준의 절대 좌표를 인코딩
• cfDNA 생성 및 cell-type-of-origin 분류 등 임상 응용과 직결되는 실용적 태스크에 foundation model을 직접 적용한 새로운 시도
• 기존 벤치마크의 숨은 위치 편향을 발견하고 이를 보정한 Unbiased Nucleotide Transformer Benchmark를 새롭게 제안

Limitation & Further Study

• 발췌된 본문에서 cfDNA 생성 및 cell-type-of-origin 예측에 대한 정량적 성능 지표(Fig 3, 4 관련)가 충분히 제시되지 않아 실제 임상 적용 가능성에 대한 평가가 제한적임
• 사전학습 데이터가 건강인(healthy donor) 중심으로 구성되어 있어 질환 환자 데이터에 대한 일반화 성능 검증이 부족함
• 7B 모델은 추가 DNA fine-tuning 없이 평가되어 methylomic-heavy pretraining과 순수 genomic fine-tuning 간 분포 차이(distribution shift)에 대한 영향이 완전히 통제되지 않았을 가능성
• Alignment Embeddings의 스케일링 한계(예: 매우 긴 염색체나 구조 변이 처리)에 대한 논의가 부족하며, 향후 다양한 질병 코호트와 종단 데이터에 대한 검증이 필요함

Evaluation

총평: DNA 서열과 methylation 정보를 통합한 최초의 대규모 foundation model로서 새로운 위치 인코딩 기법과 명확한 성능 향상을 제시했으나, cfDNA 응용에 대한 정량적 근거와 질환 데이터 일반화 검증이 추가로 필요한 유망한 초기 연구이다.