pLM-Guided Inverse Folding for Antibody Sequence Design

Motivation

• Known: 일반 단백질 inverse folding 모델(ProteinMPNN 등)은 항체 구조 데이터셋에 fine-tuning되어 AbMPNN, AntiFold 같은 항체 특화 모델로 발전해 왔으며, 항체 서열 데이터(레퍼토리 시퀀싱)는 구조 데이터보다 훨씬 풍부하여 IgLM 같은 항체 특화 언어모델 학습에 활용되어 왔다.
• Gap: 항체 구조 데이터는 여전히 비싸고 부족하여 구조 기반 fine-tuning은 과적합 위험이 있고, synthetic 구조로 데이터를 증강하는 기존 방법은 서열 다양성을 제한하며 자연스러운 서열 분포에서 벗어날 수 있다는 한계가 있다.
• Why: 구조 데이터의 희소성이라는 근본적 병목을 재학습 없이 풍부한 서열 데이터(언어모델)로 보완할 수 있다면, 비용이 큰 항체 특화 구조 fine-tuning 없이도 더 자연스럽고 다양하며 개발가능성(developability)이 우수한 항체 서열을 설계할 수 있어 실용적 가치가 크다.
• Approach: ProteinMPNN(또는 AbMPNN)과 IgLM의 디코딩 단계별 log-probability를 convex combination(계수 α)으로 결합한 뒤 temperature τ를 적용한 softmax로 재정규화하여, 두 모델을 학습 없이 추론 시점에 앙상블하는 training-free 방법을 제안한다.

Achievement

Figure 2. Amino acid recovery rates of CDR loops across different

1. 아미노산 복원율(AAR) 개선: ProteinMPNN 단독 대비 IgLM과의 앙상블이 항체 및 나노바디 CDR 영역에서 AAR을 크게 향상시켜 AntiFold와 같은 항체 특화 모델 수준에 근접했다.
2. 서열 다양성 확보: 복원율 향상과 동시에 더 다양한 서열을 생성하여, 기존 fine-tuning 기반 접근이 갖는 다양성 저하 문제를 완화했다.
3. 이미 fine-tuning된 모델에도 유효: 이미 항체 구조에 fine-tuning된 AbMPNN에도 IgLM 앙상블이 추가적인 이득을 제공하여, 구조적 fine-tuning과 언어모델 가이드가 상호 보완적임을 입증했다.
4. 자연스러운 서열 생성: 구조적 제약을 만족하면서도 더 자연스러워 보이는(natural-looking) 서열을 생성함을 log-likelihood 비교 및 구조 예측(Boltz2) 기반 검증으로 확인했다.

How

Figure 2. Amino acid recovery rates of CDR loops across different

• ProteinMPNN(그래프 신경망 기반 인코더-디코더 구조)과 IgLM(GPT-2 기반 autoregressive 항체 언어모델)을 각각 독립적으로 학습된 상태로 사용
• 디코딩 스텝 t에서 두 모델의 log-probability, ℓ_MPNN(s_t)와 ℓ_IgLM(s_t)를 계수 α로 convex combination하여 ℓ_ens(s_t)=α ℓ_MPNN + (1−α) ℓ_IgLM 계산
• softmax(온도 τ)를 적용해 앙상블 확률분포 P_ens(s_t)를 얻고 이 분포에서 잔기를 샘플링
• IgLM의 left-to-right 마스킹 샘플링 특성에 맞춰 ProteinMPNN도 각 체인 내 left-to-right 순서로 샘플링하도록 제한(성능 저하 없음을 부록에서 확인)
• IgLM에는 CDR 부분만 마스킹하고 주변 framework 서열을 컨텍스트로 제공
• α와 τ는 validation set에서 경험적으로 선택
• 항체 및 나노바디 구조 데이터셋에서 AAR, 서열 다양성, 구조적 일관성(Boltz2 재접힘 기반 RMSD), log-likelihood 기반 자연스러움을 평가
• ProteinMPNN뿐 아니라 이미 fine-tuning된 AbMPNN과도 앙상블하여 효과를 검증

Originality

• 구조 기반 inverse folding 모델과 항체 특화 언어모델을 재학습 없이 추론 시점 log-probability 앙상블로 결합하는 training-free 접근을 최초로 제안
• 기존 LM-Design 등 언어모델-구조모델 통합 방법이 재학습을 요구하는 것과 달리, 별도 학습 과정 없이 즉시 적용 가능한 실용적 프레임워크 제시
• 일반 언어모델(ESM2 등)이 아닌 항체 도메인 특화 언어모델(IgLM)을 사용하여 CDR과 같은 초가변 영역 설계에 특화
• 이미 fine-tuning된 구조모델(AbMPNN)에도 언어모델 가이드가 추가적 이득을 준다는 상호보완성을 실증적으로 규명

Limitation & Further Study

• 앙상블 계수 α와 온도 τ가 validation set에서 경험적으로 선택되어, 새로운 항체/나노바디 데이터셋이나 다른 언어모델·구조모델 조합에 대한 일반화 가능성이 불명확함
• IgLM이 CDR을 한 체인씩, 그리고 left-to-right 순서로만 마스킹/샘플링할 수 있어 ProteinMPNN의 원래 비고정 순서 샘플링 능력을 제한해야 했다는 구조적 제약이 존재
• 두 모델이 완전히 독립적이지 않고 공유된 서열 조건화(shared sequence conditioning)를 갖기 때문에 product-of-experts 해석이 이론적으로 엄밀하지 않을 수 있음
• 평가가 CDR 루프와 항체/나노바디 도메인에 국한되어, 다른 단백질 패밀리나 더 다양한 언어모델 조합으로의 확장 가능성에 대한 검증이 필요함
• 후속 연구로 다양한 α/τ 자동 선택 전략, ESM3와 같은 멀티모달 모델과의 비교, 다른 항체 특화 언어모델과의 앙상블 확장 등이 요구됨

Evaluation

총평: 재학습 없이 두 모델을 결합하는 간단하면서도 효과적인 아이디어로 항체 서열 설계의 실용적 문제(구조 데이터 희소성)를 잘 해결하며, 실험적 검증도 충실하나 하이퍼파라미터 선택의 일반화와 이론적 엄밀성 측면에서 추가 연구 여지가 있다.