What Does a Chromatin Foundation Model Know About a Petri Dish? Sparse Autoencoders Reveal In Vitro vs. In Vivo Context in EPIBERT

Motivation

• Known: Genomics/epigenomics foundation model(Enformer, HyenaDNA, Nucleotide Transformer 등)은 주로 immortalised cell line 데이터로 학습되지만 임상적으로 중요한 primary tissue에 적용되며, 이 둘 사이의 chromatin 상태 차이가 downstream 예측 신뢰성에 영향을 줄 수 있다는 우려가 있다. 또한 mechanistic interpretability 분야에서 SAE는 language model의 dense activation을 monosemantic feature로 분해하는 데 성공적으로 활용되어 왔다.
• Gap: SAE 기반 mechanistic interpretability는 지금까지 language model에만 적용되었고 epigenomics foundation model의 내부 표현을 대상으로 in vitro/in vivo context가 실제로 인코딩되는지, 그리고 그것이 인과적으로 예측에 관여하는지 규명한 연구는 전무했다.
• Why: Foundation model을 활용하는 agentic biological discovery 시스템(변이 해석, 조절 요소 주석, 약물 표적 발굴 등)은 상위 모델의 표현이 cell line과 primary tissue 맥락을 혼동하면 이를 그대로 물려받아 오류를 인지하지 못한 채 하위 의사결정에 활용하게 되므로, 이러한 context representation을 찾아내고 개입하는 것이 책임 있는 배포의 전제조건이다.
• Approach: EPIBERT의 세 개 layer 깊이에서 BatchTopK activation을 사용하는 SAE를 학습시켜 dense activation을 과완전(over-complete) sparse feature로 분해하고, 새로 제안한 contrastive t-statistic인 CDS로 context-specific feature를 식별한 뒤 causal ablation, linear context-steering, 3단계 생물학적 주석(ChromHMM, HOMER, GO:BP)으로 검증했다.

Achievement

Figure 3. Ablation dose-response at the mid layer (Fig. 3).

1. Context-specific feature의 층별 증가: early layer에서 late layer로 갈수록 Bonferroni-significant context 특이 feature가 3.8배 증가(57→215).
2. 인과적 검증: mid-layer의 vivo-enriched feature를 ablation했을 때 큰 효과크기(Cohen's d=1.79, p=2.98×10⁻⁸)로 예측이 변화함을 확인.
3. Context-steering을 통한 개입: CDS 기반 linear steering으로 in vitro/in vivo 예측 격차의 11.2%를 무작위 대비 4.5배 높은 수준으로 해소.
4. 생물학적 타당성 확인: tissue-specific feature가 lineage-defining transcription factor(간: HNF4A/FOXA2, 혈액: SPI1/RUNX1, 림프: EBF1/PAX5), active regulatory element, tissue-specific biological process(GO:BP)와 유의하게 연관됨을 확인.
5. 계층 간 비중복성: 서로 다른 layer의 context-specific feature 집합이 거의 중복되지 않음(Jaccard ≤0.02)을 보여 각 깊이가 독립적인 context 정보를 담고 있음을 시사.

How

Figure 2. Per-pair CDS divergence structure across layers

• ENCODE에서 6개 biosample(K562/HSC, HepG2/Liver tissue, GM12878/Naive B cell)의 hg38 ATAC-seq BAM 데이터를 다운로드하고 chr8-9에서 200개의 131,072bp window를 held-out 평가셋으로 샘플링.
• 각 layer(early/mid/late)마다 6개 조건에 걸쳐 pooled된 60,000개 hidden state 벡터로 8× expansion(m=8192), k=64의 BatchTopK SAE를 50,000 step 학습(H100 GPU).
• CDS(식 2)로 vivo-enriched/vitro-enriched feature를 Bonferroni correction 하에 식별.
• Causal ablation: mid-layer에서 top-k vivo-enriched feature를 제거 후 예측 변화(∆ŷ)를 random ablation과 비교, Wilcoxon signed-rank test 및 Cohen's d로 검정.
• Context steering: 식 (3)의 linear intervention으로 vivo/vitro feature 방향을 가중합하여 in vitro 활성화에 주입, gap closure(GC) 지표로 효과 측정, α·β sweep 및 random-direction baseline과 비교.
• 생물학적 주석: 상위 활성화 window의 BED 파일을 ChromHMM state, HOMER TF motif, GO:BP(rGREAT)로 enrichment 분석.

Originality

• Mechanistic interpretability의 핵심 도구인 SAE(BatchTopK 포함)를 language model이 아닌 epigenomics foundation model(EPIBERT)에 최초로 적용.
• Context-specific feature를 식별하기 위한 새로운 통계량인 CDS(contrastive t-statistic)를 제안, 임의의 probed transformer에 적용 가능하도록 일반화.
• Feature 식별에 그치지 않고 causal ablation과 linear context-steering이라는 실제 개입 방법으로 인과성을 검증하고, 이를 실질적인 tissue-aware deployment 개입 경로로 제시.
• ChromHMM, HOMER, GO:BP라는 세 단계의 독립적 생물학적 annotation을 결합하여 발견된 feature가 실제 생물학적 실체(전사인자, 조절요소, 생물학적 과정)와 대응함을 다각도로 검증.

Limitation & Further Study

• 3개 tissue lineage, 6개 biosample, 단일 pre-training checkpoint(step 45)만을 대상으로 하여 일반화 가능성이 제한적이며 더 많은 조직·세포주·모델 checkpoint에 대한 검증이 필요하다.
• Context-steering의 gap closure가 11.2%에 그쳐 완전한 개입은 아니며, 실제 배포 파이프라인에 적용했을 때의 하위 downstream task(변이 해석, 발현 예측 등) 성능 개선으로 이어지는지는 검증되지 않았다.
• SAE의 dead-feature cycling(23~75%)과 8× expansion, k=64 등 하이퍼파라미터 선택이 결과에 미치는 민감도 분석이 부족하다.
• Peak Jaccard overlap 등 raw accessibility landscape 차이와 SAE feature 수준의 context 차이 간 인과적 연결고리에 대한 추가적 통제 실험(예: batch effect, sequencing depth 차이)이 더 필요해 보인다.
• EPIBERT 외 다른 epigenomics/genomics foundation model(Enformer, HyenaDNA 등)로의 일반화 여부는 향후 연구로 남아있다.

Evaluation

총평: Mechanistic interpretability 도구를 epigenomics foundation model에 최초로 적용해 in vitro/in vivo context 표현을 규명하고 실질적 개입 경로까지 제시한 의미 있는 작업으로, workshop paper 수준의 범위 내에서 방법론적 참신성과 생물학적 타당성 검증이 잘 결합되어 있으나 검증 범위(조직 수, 모델 종류)의 확장이 후속 과제로 남는다.