Structure-Guided Reinforcement Learning for High-Affinity Antibody Design

Motivation

• Known: 구조 기반 딥러닝 생성 모델(예: RefineGNN, DiffAb, MEAN, AlphaFold3, Boltz-2 등)들은 항체-항원 복합체 구조를 정확히 모델링하고 CDR 서열을 자연스러운 분포에 가깝게 생성할 수 있음이 알려져 있다. 또한 FoldX, Rosetta 같은 physics-based 방법과 sequence/structure 기반 ∆∆G 예측 모델들이 결합 친화도 추정에 활용되어 왔다.
• Gap: 기존 생성 모델은 자연 항체 분포를 모방하는 데 그쳐 결합 친화도에 대한 명시적 최적화가 결여되어 있으며, 기존 강화학습 기반 친화도 향상 시도는 신뢰성이 부족한 sequence-based reward이거나 계산 비용이 과도한 physics-based reward(FoldX, Rosetta)에 의존하는 한계가 있다. 또한 naive한 최적화는 reward model의 허점을 이용하는 비현실적 서열로 drift하는 문제가 존재한다.
• Why: 치료용 항체 개발에서 결합 친화도를 높이는 것은 임상적 효능과 특이성을 좌우하는 핵심 요소이며, wet-lab 실험이나 고비용 physics 기반 계산 없이 in silico로 효율적인 directed evolution을 수행할 수 있다면 항체 치료제 개발 속도를 크게 가속화할 수 있다.
• Approach: EvoAb는 atomic-level interface를 모델링하는 pretrained antibody co-design foundation model(policy)과 sequence 및 구조 정보를 모두 활용하는 thermodynamics-grounded ∆∆G reward model을 결합하고, M2PO 알고리즘으로 다중 라운드에 걸쳐 affinity-weighted 학습과 distribution anchoring을 반복 적용하여 CDR-H3을 최적화한다.

Achievement

Figure 3. Detailed analysis of multi-round optimization. (a-b) ∆∆G distribution across training and test sets over multi

1. 결합 친화도 최적화 성능: EvoAb는 평균 ∆∆G를 2.89에서 2.45 kcal/mol로 감소시키고 안정화 돌연변이 비율을 13%에서 19%로 증가시켜 state-of-the-art 결합 친화도 최적화 성능을 달성했다.
2. 물리적 타당성 교차 검증: FoldX를 이용한 독립적인 physics-based 평가에서도 EvoAb의 최적화 결과가 물리적으로 의미 있는 개선임이 확인되어, reward model을 넘어선 일반화 가능성을 입증했다.
3. 구조적 타당성 유지: M2PO를 통해 친화도를 향상시키면서도 생성된 항체의 구조적 타당성(structural plausibility)을 유지하는 데 성공했다.

How

Figure 2. Overview of the EvoAb framework. (a) Policy model architecture. The model takes antibody-antigen structure and

• Policy model: PPI 모듈, Evoformer, Structure Module로 구성된 pretrained antibody co-design 모델(IgGM 기반)을 사용하며, 항체-항원 구조와 masked CDR-H3 서열을 입력으로 받아 구조와 서열을 반복적 denoising을 통해 공동 재설계한다.
• Reward model: WT/variant 구조를 입력으로 받아 ∆∆G와 sequence logits을 예측하는 thermodynamics-grounded 모델을 사용해, 물리 기반 계산 없이 빠르고 신뢰성 있는 reward 신호를 제공한다.
• M2PO 알고리즘: (1) affinity-weighted sequence learning loss (Laff = -∆∆G * CE(lvar, Svar))를 통해 친화도가 높은 variant에 더 강한 gradient 신호를 부여하고, (2) distribution anchoring loss (Lanchor, ∆∆G<1.0 조건의 CE)를 통해 생성 분포가 자연스러운 서열 공간에서 크게 벗어나지 않도록 정규화한다.
• 학습 과정: WT 구조와 masked 서열로부터 policy가 variant를 생성하고, reward model이 이를 스코어링하여 training buffer에 저장한 뒤, 여러 라운드에 걸쳐 policy를 offline으로 반복 업데이트한다. Fine-tuning 시 선택된 Evoformer layer와 Sequence Head만 unfreeze한다.

Originality

• 기존 항체 생성 모델이 자연 분포 모방에 그친 것과 달리, 결합 친화도를 명시적 최적화 목표로 삼아 강화학습 프레임워크에 통합한 점이 새롭다.
• Physics-based reward(FoldX, Rosetta)의 높은 계산 비용과 sequence-based predictor의 낮은 신뢰성이라는 두 문제를 구조 인지형(thermodynamics-grounded) reward model로 동시에 해결하고자 시도했다.
• M2PO라는 반복적 multi-round 알고리즘을 제안하여 affinity-weighted learning과 distribution anchoring을 결합, reward hacking으로 인한 비현실적 서열 생성을 방지하는 정규화 메커니즘을 설계했다.

Limitation & Further Study

• 발췌된 본문에서 reward model(∆∆G predictor)의 학습 데이터 및 일반화 범위, 다양한 항원 유형에 대한 robustness가 충분히 논의되지 않아 실제 다양성 있는 타겟에 대한 적용 가능성 검증이 추가로 필요하다.
• FoldX를 통한 교차 검증이 이루어졌으나, 실제 wet-lab 실험(예: SPR, ELISA)을 통한 최종 검증이 부재하여 실질적 치료용 항체 개발로의 전이 가능성은 추가 검증이 요구된다.
• CDR-H3에 초점을 맞추고 있어 다른 CDR loop나 전체 항체 서열 최적화로의 확장성에 대한 논의가 제한적이다.
• distribution anchoring의 임계값(∆∆G<1.0) 등 하이퍼파라미터 선택에 대한 민감도 분석이 본문 발췌에서 명확히 드러나지 않는다.

Evaluation

총평: 항체 결합 친화도의 명시적 최적화라는 실질적 갭을 강화학습과 thermodynamics 기반 reward modeling으로 효과적으로 해결한 의미 있는 연구로, FoldX 교차검증을 통한 물리적 타당성 확인이 신뢰도를 높인다. 다만 wet-lab 검증 부재와 다양한 타겟에 대한 일반화 검증이 향후 과제로 남아있다.