GDTR: Layer-wise Settling Depth Reveals Biological Grammar in Genomic Foundation Models

Motivation

• Known: 기존 genomic foundation model 해석 도구들은 attention이 어디를 보는지, 어떤 feature를 encoding하는지, variant가 최종 representation을 어떻게 바꾸는지를 분석해왔으며, sparse-autoencoder 기반 분석은 특정 layer에서 해석 가능한 genomic feature를 추출한다.
• Gap: 이러한 기존 접근들은 model이 "무엇을" representation하는지에 초점을 맞출 뿐, layer stack의 "어느 지점"에서 biological grammar가 안정적으로 고정되는지는 거의 측정되지 않았다.
• Why: layer-wise settling depth는 모델이 splice site나 enhancer 같은 biological motif를 얼마나 이른 layer에서 context와 통합해 확정하는지를 드러내어, 기존 prediction score나 variant-scoring 도구가 제공하지 못하는 layer-resolved 해석 축을 제공한다.
• Approach: parent DTR(Deep-Thinking Ratio)의 아이디어를 genomic causal LM에 맞게 변형하여, logit-lens JSD 대신 cosine residual-stream lens와 running-minimum envelope, Evo 2-specific post-final-norm reference를 사용해 c(t)를 정의한다.

Achievement

Evo 2 7B에서 splice donor/acceptor site가 intronic context보다 약 2 layer 먼저 settle하고, enhancer-like cCRE도 더 작지만 측정 가능한 shift를 보이며, chr22 calibration이 held-out chr17로 잘 전이됨을 확인했다. 또한 splice donor perturbation 실험에서 신호가 양방향적임을 보였고(GT motif 파괴는 settling을 늦추고, flanking sequence shuffling은 오히려 이르게 만듦), ClinVar variant에 대한 differential GDTR로 consequence class별 peak-disruption depth 차이를 발견했다.

How

• Evo 2의 모든 layer에서 residual-stream activation h_ℓ(t)를 추출하고, post-final-RMSNorm state h_norm(t)와의 cosine distance D_cos(ℓ,t)=1−cos(h_ℓ(t),h_norm(t))를 계산
• non-monotone trajectory를 다루기 위해 running-minimum envelope m_ℓ=min_{j≤ℓ}D_cos(j)를 적용하여 monotone-non-increasing trace 확보
• settling depth c(t)를 m_ℓ≤γ_cos를 만족하는 첫 번째 layer로 정의, γ_cos는 분석 영역의 penultimate layer에서 running-min의 70th percentile(q70)로 calibration
• Evo 2에서 layer 30이 post-norm 방향으로 회전하는 지점임을 실증적으로 확인(layer 29를 L*로 지정)하고, tuned-lens affine fit으로 frame mismatch 우려를 점검
• chr22로 calibration 후 chr17에 동일 γ를 고정 적용해 전이성 검증(Mann–Whitney U test)
• 동일 splice donor loci에 대해 motif 파괴/flanking shuffling perturbation을 매칭시켜 paired Wilcoxon signed-rank test로 양방향성 검증
• reference-allele과 alternate-allele의 cosine trajectory 차이(differential GDTR)로 ClinVar variant class 간 peak-disruption depth를 Kruskal–Wallis + Dunn post-hoc으로 비교

Originality

• 기존 sparse-autoencoder나 attention/logit-lens 기반 해석이 "무엇을" encoding하는지에 집중한 반면, GDTR은 "언제(어느 layer에서)" biological grammar가 안정화되는지를 측정하는 새로운 축을 제시함
• NLP 분야의 tuned-lens/logit-lens 계열 DTR 아이디어를 genomic CLM의 non-monotonic, near-binary next-token 분포 특성에 맞게 cosine residual-stream lens와 running-minimum envelope로 재설계함
• settling depth의 양방향성(bidirectionality)을 개념화하여 motif detection과 flanking-context integration을 분리해내는 perturbation 실험 설계
• differential GDTR을 통해 reference/alternate allele 간 cosine trajectory 차이로 variant consequence를 layer-resolved하게 분석하는 새로운 응용

Limitation & Further Study

• 단일 모델(Evo 2 7B)과 두 chromosome(chr22, chr17)에 대해서만 검증되어 다른 genomic foundation model이나 species로의 일반화 가능성이 불분명함
• settling depth가 양방향적이라는 점 때문에 낮은 c(t) 자체가 생물학적 신호의 강도를 직접적으로 의미하지 않아 해석에 주의가 필요하며, non-canonical splice donor 사례처럼 혼동 가능성이 존재함
• synonymous substitution이 가장 깊게 peak하지만 class 간 broad overlap이 존재하여 variant consequence 판별력이 제한적임
• threshold γ_cos 선택(q70 calibration)의 임의성과 특정 percentile 선택에 대한 민감도 분석이 제한적으로만 제시됨
• 후속 연구로 다양한 genomic foundation model, 더 많은 chromosome/species, 다른 유형의 regulatory element에 대한 확장 검증이 필요함

Evaluation

총평: GDTR은 genomic foundation model 해석에 layer-wise settling depth라는 새로운 개념적 축을 도입하여 splice site, enhancer, ClinVar variant 분석에서 흥미로운 실증 결과를 보여주는 training-free 방법론이며, 단일 모델 검증에 그친 한계는 있으나 후속 해석가능성 연구의 좋은 출발점이 될 것으로 보인다.