Conditionally Site-Independent Neural Evolution of Antibody Sequences

Motivation

• Known: 기존 항체 언어 모델(antibody language model)들은 대규모 repertoire sequencing 데이터를 i.i.d. 샘플로 취급하여 epistatic constraint를 잘 포착하지만 시간에 따른 진화 과정은 모델링하지 못하며, 반대로 고전적 phylogenetic model(WAG, LG 등)은 independent-sites 가정 하에 CTMC로 진화 동역학을 명시적으로 표현하지만 site 간 상호작용을 포착할 표현력이 부족하다.
• Gap: 두 패러다임 사이의 간극, 즉 진화적 시간 동역학(affinity maturation)을 원리적으로 모델링하면서도 신경망 수준의 epistatic 표현력을 동시에 갖춘 모델이 부재했다는 점이 문제로 지적된다.
• Why: affinity maturation은 빠르고 실험적으로 관측 가능한 진화 과정으로, mutation과 selection이 단백질 기능을 어떻게 함께 형성하는지 연구할 수 있는 드문 시스템이며, 이를 정확히 모델링하면 항체의 zero-shot fitness 예측과 항원 특이적 결합 친화도 최적화 같은 실용적 항체 엔지니어링 문제에 직접적으로 기여할 수 있다.
• Approach: 신경망이 전체 시퀀스 컨텍스트에 조건화된 site별 rate matrix를 출력하고, 각 site의 transition probability를 독립적으로 계산한 뒤 곱하여 전체 시퀀스의 transition probability를 factorize하는 CoSiNE라는 CTMC 기반 모델을 제안하고, 이를 intractable한 sequential point mutation process의 1차 근사로서 이론적으로 정당화한다.

Achievement

Figure 4. DMS evaluation results for COSINE across expres-

1. 이론적 근사 보장: CoSiNE가 intractable한 sequential point mutation process에 대한 first-order approximation임을 수학적으로 증명하고, epistatic effect를 포착하는 오차가 branch length에 대해 quadratic bound를 가짐을 보였다.
2. Zero-shot variant effect prediction 성능 향상: selection과 context-dependent somatic hypermutation을 명시적으로 분리(disentangle)함으로써 최신 protein/antibody language model 대비 우수한 zero-shot variant effect prediction 성능을 달성했다.
3. Guided Gillespie 샘플링 기법: classifier-guided sampling scheme인 Guided Gillespie를 도입하여 inference 시점에 CoSiNE를 특정 항원에 대한 결합 친화도 최적화 방향으로 steering할 수 있음을 실증했다.
4. 대규모 clonal tree 데이터 학습: 약 10만 개의 clonal tree에 대해 모델을 fitting하고 원리적인 Gillespie sampling algorithm으로 clonal expansion을 시뮬레이션했다.

How

Figure 3. Categorical Jacobian for antibody 47D11 from CoV-

• 항체 진화를 clonal tree Tf 상의 evolutionary transition τ=(x,y,t)로 정식화하고, CTMC의 rate matrix Q와 transition probability exp(tQ)를 이용한 표준 이론을 기반으로 함
• 고전적 independent-sites model(WAG, LG 등)의 한계와 sequential point mutation process(단일 site에서만 mutation 발생, Hamming distance 1로 제한된 sparse rate matrix)를 리뷰
• 신경망이 전체 시퀀스에 조건화된 site-specific rate matrix Qℓ을 출력하도록 parameterize하여, 조건부 site 독립성을 가정하되 full-sequence context를 반영한 transition likelihood를 factorize
• CoSiNE가 sequential point mutation process의 1차 근사임을 증명하고 오차 bound를 도출
• selection과 SHM 효과를 분리하는 절차 및 classifier guidance 기반 Guided Gillespie 알고리즘을 설계하여 antibody optimization에 적용
• 약 10만 개 clonal tree 데이터로 모델을 학습하고 ProteinGym 등 벤치마크 및 DMS(deep mutational scanning) 평가로 실험 검증

Originality

• 항체 언어 모델의 i.i.d. 가정과 고전적 phylogenetic model의 independent-sites 가정이라는 두 분야의 근본적 한계를 동시에 해결하려는 최초의 시도로, CTMC를 신경망으로 parameterize하면서도 이론적 근사 보장을 제공
• 기존 site-heterogeneity 개선 연구(Le et al. 2012의 mixture model, Prillo et al. 2024의 SiteRM, Bérard et al. 2008의 neighbor-dependent substitution model)를 확장하여 full-sequence context 조건화라는 더 일반적인 프레임워크로 통합
• selection과 mutation(SHM)을 명시적으로 disentangle하여 fitness를 추론한다는 관점이 독창적이며, 이는 항체 언어 모델이 germline residue를 암기하는 것과 실제 affinity maturation 과정을 이해하는 것을 구분하려는 문제의식과 직결됨
• Guided Gillespie라는 classifier guidance 기반 inference-time steering 기법을 CTMC 진화 모델에 접목한 점도 새로움

Limitation & Further Study

• sequential point mutation process 가정은 insertion/deletion(indel)을 무시하며, 이는 저자들도 언급했듯 항체에서는 비교적 안전한 가정이지만 일반 단백질 진화에는 제약이 될 수 있음
• conditional site-independence는 여전히 근사이며, 1차 근사의 오차 bound가 branch length에 quadratic하다는 것은 긴 branch length(즉, 많은 mutation이 누적된 경우)에서는 근사 오차가 커질 수 있음을 시사
• 약 10만 개 clonal tree라는 특정 데이터셋에 대한 fitting 성능이 다른 항원·면역 맥락이나 다른 종(species)에 얼마나 일반화되는지 추가 검증이 필요
• classifier guidance 기반 Guided Gillespie의 최적화 효율성과 실제 wet-lab 검증(생물학적 실험 검증)이 in silico 결과에 그친 것으로 보이며 후속 실험적 검증이 필요

Evaluation

총평: 이론적 근거(1차 근사 오차 bound)와 실용적 응용(zero-shot 예측, Guided Gillespie를 통한 결합 친화도 최적화)을 모두 갖춘 견고한 연구로, 항체 진화 모델링과 딥러닝 기반 생성 모델을 잇는 의미 있는 다리 역할을 한다.