Explicit representation of germline and non-germline residues improves antibody language modeling

Motivation

• Known: 일반 protein language model(pLM)과 이를 특화한 ALM들은 masked language modeling 방식으로 항체 서열을 학습해왔으며, AbLang2와 같은 최근 모델은 focal loss 등 reweighting 기법으로 희귀한 NGL 변이의 학습 가중치를 높이려는 시도를 해왔다.
• Gap: 기존 접근법들은 손실 함수 수준의 재가중치화에 그쳐 표현(representation) 자체는 여전히 germline과 non-germline 정보가 얽혀(entangled) 있으며, 이로 인해 90% 이상을 차지하는 germline 잔기에 편향된 germline bias가 구조적으로 해소되지 않고 결합 친화도(binding affinity)와 실제로 음의 상관관계를 보이는 문제가 남아있다.
• Why: 항체의 결합 특이성은 소수의 NGL 돌연변이에 의해 결정되므로, 이를 정확히 모델링하지 못하면 생성된 서열이 구조적으로는 그럴듯하지만 실제 결합 친화도 개선에는 무력한 "기능적으로 보수적인" 서열만 생성하게 되어 항체 치료제 설계와 같은 실용적 응용에서 근본적 한계가 된다.
• Approach: PRISM은 germline과 non-germline 잔기를 별도의 토큰 타입(대문자/소문자)으로 분리한 53-token vocabulary와, evolutionary origin이 biochemical identity 예측을 조건화하는 Origin-Conditioned LM Head(Origin Head, AA Head, Alpha Head로 구성)를 도입하여 표현 수준에서 disentanglement를 달성한다.

Achievement

Figure 4. Zero-shot prediction of binding affinity. (A) Mask-one-out evaluation: PRISM’s NGL-constrained log-likelihood

1. State-of-the-art pseudo-perplexity: hypervariable CDR 영역에서 기존 ALM 대비 우수한 pseudo-perplexity를 달성함.
2. 결합 친화도와의 양의 상관관계: 세 가지 deep mutational scanning(DMS) 데이터셋 전반에서 PRISM만이 실험적 binding affinity와 유일하게 양의 상관관계를 보였고, 비교 대상 ALM들은 모두 음의 상관관계를 보임.
3. 속성별 제어 가능한 생성: dual-vocabulary 구조 덕분에 기존 entangled ALM으로는 불가능했던 property-specific controllable generation이 가능해짐. NGL-directed sampling은 물리 기반 결합 점수를 향상시키고, GL-directed sampling은 안정성(stability)과 용해도(solubility)를 보존함.

How

Figure 2. PRISM achieves explicit disentanglement and superior generative performance. (A-C) Linear probing and UMAP

• ESM-2(35M 파라미터, 12 layer) 아키텍처를 backbone으로 사용하고 표준 masked-LM head를 Origin-Conditioned LM Head로 교체
• Origin Head가 위치별 NGL 확률 πi = σ(oi)를 예측하고, stop-gradient(SG) 연산으로 AA Head 학습에 영향을 주지 않도록 gradient-detached conditioning 적용
• AA Head는 조건화된 임베딩 hcond_i를 받아 20종 base 아미노산 식별을 예측
• Alpha Head가 위치별 mixing coefficient αi를 학습하여 evolutionary prior를 task-relevance에 따라 gating(하이퍼뮤테이션이 잦은 CDR에서는 saturate, IMGT 보존 구조 anchor에서는 collapse)
• 최종 53-token 분포는 log-space에서 biochemical prior와 gated evolutionary constraint를 결합해 구성하며(Eq. 6), 온도 T=0.5로 sharpening
• 학습은 Lfinal, LAA, Lorigin 세 손실의 가중합(λf=2.0, λAA=1.0, λo=1.5)이며, focal loss와 NGL position에 대한 per-token weight(αNGL=3.0)로 germline imbalance(>90% GL)를 보정

Originality

• germline/non-germline 정보를 손실 함수 재가중치 수준이 아니라 표현(vocabulary, architecture) 수준에서 명시적으로 disentangle한 최초의 시도로 보임
• 53-token factorized vocabulary와 Origin-Conditioned LM Head(Origin/AA/Alpha Head 3단 구조)라는 새로운 아키텍처 설계
• evolutionary origin 예측이 biochemical identity 예측을 조건화하는 gated logit construction(Eq. 6)을 position-specific tempered posterior로 해석하는 이론적 프레이밍 제시
• 단순 예측 성능 개선을 넘어 GL/NGL 방향성을 가진 controllable generation이라는 실용적 응용을 가능하게 함

Limitation & Further Study

• 발췌된 본문에서는 backbone 모델이 35M 파라미터의 비교적 소규모 ESM-2 기반이라 대규모 pLM 대비 확장성(scalability) 검증이 부족해 보임
• germline label 정의 및 curation 과정(Appendix A)의 정확도가 전체 프레임워크의 신뢰성에 핵심적인데, 이 라벨링 품질에 대한 민감도 분석이 본문에서 충분히 제시되지 않음
• 세 가지 DMS 데이터셋에 대한 평가만 제시되어 있어, 더 다양한 항원-항체 시스템과 다양한 항체 포맷(예: nanobody, bispecific)에 대한 일반화 검증이 후속 연구로 필요함
• Alpha Head의 gating이 실제로 생물학적 의미(hypermutation-prone/IMGT anchor 구분)를 갖는지에 대한 해석은 empirical하게만 검증되어 있어 더 엄밀한 기전 분석이 요구됨

Evaluation

총평: germline과 non-germline 잔기를 표현 수준에서 명시적으로 분리한다는 아이디어는 단순하지만 강력하며, 결합 친화도와의 양의 상관관계라는 실질적 성과로 그 유효성을 입증한 점이 인상적인 연구이다. 다만 소규모 backbone과 제한된 벤치마크 범위를 고려할 때 더 폭넓은 검증이 후속되면 임팩트가 커질 것으로 보인다.