EvoStruct: Bridging Evolutionary and Structural Priors for Antibody CDR Design via Protein Language Model Adaptation

Motivation

• Known: Equivariant GNN 기반 CDR 설계 방법(MEAN, dyMEAN, RAAD)들은 항원 구조에 조건화된 spatial message passing을 통해 가장 높은 sequence recovery를 달성해왔으며, protein language model을 구조 정보와 결합하는 cross-attention adapter 방식(LM-Design, IgDesign)이 일반 단백질 역접힘(inverse folding) 설계에서 PLM의 vocabulary calibration을 보존함이 알려져 있다.
• Gap: 기존 GNN 방법들은 제한된 구조 데이터(~3,000 complexes)에서 아미노산 분포를 처음부터 학습하여 진화적 서열 데이터베이스에 담긴 substitution pattern을 버리게 되고, 그 결과 tyrosine, glycine 같은 소수 아미노산을 과예측하고 기능적으로 중요한 잔기를 무시하는 severe vocabulary collapse, 낮은 binding-pair 학습, contact position에서의 낮은 recovery라는 세 가지 연계된 실패 양상을 보인다. 또한 기존 PLM-structure adapter들은 일반 단백질 설계를 겨냥할 뿐 CDR 설계 특유의 vocabulary collapse 문제를 직접 다루지 않았다.
• Why: 항체 CDR 설계는 신약 개발과 치료용 항체 발굴에 핵심적인 문제인데, 현재 최고 성능 방법들이 실제로는 항원 특이적 정보를 거의 활용하지 못하고 소수 아미노산에 편향된 서열만 생성한다는 사실은 이 분야의 근본적 한계를 드러내며, 진화적 정보와 구조 정보를 효과적으로 결합하는 방법은 diversity-accuracy tradeoff를 깨뜨려 실질적으로 유용한 항체 설계 도구 개발에 기여할 수 있다.
• Approach: CHIMERA-Bench 벤치마크에서 GNN 방법들의 실패 양상을 effective vocabulary와 binding-pair correlation 지표로 정량 진단한 후, frozen ESM-2와 E(3)-equivariant GNN encoder를 cross-attention adapter로 연결하고 progressive PLM unfreezing과 R-Drop consistency regularization을 적용하여 CDR-H3 설계 특유의 vocabulary collapse를 해결한다.

Achievement

1. Vocabulary collapse의 정량적 진단: effective vocabulary(Veff)와 binding-pair correlation 지표를 사용해 GNN 방법들이 native 아미노산 다양성의 20-35%만 회복함을 규명함.
2. PLM-structure bridging의 CDR 설계 적용: progressive unfreezing과 R-Drop regularization을 결합한 adaptation을 제시하여 기존 일반 단백질 설계용 adapter(LM-Design, IgDesign)와 차별화함.
3. 성능 개선 실증: CHIMERA-Bench에서 최고 GNN 베이스라인 대비 sequence recovery 16% 향상, perplexity 43% 감소, 아미노산 다양성 2.3배 증가, 가장 높은 binding-pair correlation을 달성함.

How

• CHIMERA-Bench 벤치마크에서 항체-항원 복합체를 heavy chain, light chain, antigen, global delimiter token으로 구성된 이종 그래프(heterogeneous graph)로 표현하고, radial/sequential/KNN/inter-chain 등 8가지 typed edge subset을 구성함.
• E(3)-equivariant GNN 인코더로 3D 구조 컨텍스트를 추출하고, frozen ESM-2의 representation space에서 작동하는 cross-attention adapter를 통해 구조 정보를 PLM에 주입함.
• Progressive PLM unfreezing(Howard & Ruder, 2018 스케줄 적용) 전략으로 PLM의 vocabulary calibration을 보존하면서 점진적으로 구조 정보에 적응시킴.
• R-Drop consistency regularization(Liang et al., 2021)을 적용해 예측 분포의 일관성을 강화함.
• dyMEAN의 shadow paratope loss를 차용해 CDR-epitope 간 pairwise distance supervision을 제공함.
• effective vocabulary(Veff = exp(Shannon entropy)), paratope-epitope AA pair correlation, position별 AAR(amino acid recovery) 등의 지표로 vocabulary collapse, binding-pair failure, contact position weakness 세 가지 실패 모드를 정량 평가함.

Originality

• 기존 GNN 기반 CDR 설계 방법들의 실패를 단순 성능 비교가 아닌 vocabulary collapse, binding-pair failure, contact position weakness라는 세 가지 연계된 실패 양상으로 체계적으로 진단하고 그 근본 원인을 GNN 인코더가 제한된 구조 데이터로부터 아미노산 분포를 처음부터 학습한다는 데서 찾아낸 점.
• 일반 단백질 역접힘을 위한 PLM-structure adapter 패러다임(LM-Design, IgDesign)을 CDR 설계라는 특수한 저데이터 태스크에 적용하면서, progressive PLM unfreezing과 R-Drop consistency regularization이라는 새로운 훈련 전략을 결합해 CDR 특유의 vocabulary collapse 문제를 목표로 함.
• Protein design 분야에서 최초로 R-Drop regularization을 적용했다고 주장하는 점.

Limitation & Further Study

• 본문 발췌에는 CDR-H3에 초점이 맞춰져 있어 다른 CDR loop(H1, H2, L1-L3)에 대한 일반화 가능성이 명확히 제시되지 않음.
• frozen ESM-2와 progressive unfreezing 전략의 구체적 하이퍼파라미터 및 계산 비용(예: 학습 시간, 메모리)에 대한 상세 분석이 발췌에 부족함.
• in vitro/실험적 검증 없이 in silico 지표(perplexity, AAR, effective vocabulary)에 의존하고 있어 실제 결합 친화도나 발현성 등 실용적 검증이 후속 연구로 필요함.
• 항원 구조 조건화가 실제로 개선되었는지에 대한 직접적 ablation(예: 항원 제거 시 성능 변화)이 명시적으로 제시되지 않아, contact position weakness 문제가 완전히 해소되었는지 추가 검증이 필요함.

Evaluation

총평: GNN 기반 항체 CDR 설계의 근본적 실패 원인을 명확히 진단하고, frozen PLM과 구조 정보를 결합하는 실용적이고 효과적인 해법을 제시한 견고한 연구로, 항체 설계 커뮤니티에 실질적인 기여를 할 것으로 평가된다.