MultiAbRank: Benchmarking De Novo Antibody Design Under Multi-Objective Constraints

Motivation

• Known: diffusion 기반 및 sequence-first 단백질 언어모델들이 antigen-conditioned antibody 후보를 빠르게 생성할 수 있게 되었으며, AAR, RMSD, pLDDT, PAE, HADDOCK 등 물리 기반 혹은 구조적 confidence proxy를 활용한 평가 방법들이 존재한다.
• Gap: 기존 벤치마크(AbBiBench, AbRank, FLAb 등)는 affinity maturation, pairwise binding ranking, 혹은 multi-property fitness landscape 등 단일 혹은 협소한 속성만을 다루며, reconstruction 기반 지표(AAR, RMSD)나 구조 confidence proxy(pLDDT, PAE)는 novelty를 오히려 페널티화하거나 antigen context를 결여하는 등 binding, structural plausibility, biological realism, novelty를 동시에 포괄하는 multi-objective 평가를 제공하지 못한다.
• Why: 단일 지표 기반 평가는 antibody 설계에서 서로 경쟁하는 여러 제약(친화도, 안정성, novelty 등) 간의 trade-off를 은폐하여, in silico에서 우수해 보이는 모델이 실제 in vitro/in vivo 번역에서 실패하는 원인이 되므로, 임상적으로 유의미한 후보 선별을 위해서는 통합적 다중목적 평가 프레임워크가 필수적이다.
• Approach: 세 가지 상호보완적 task(Novel CDR-H3 생성, Framework region 설계, Global VH/VL sequence-structure 설계)로 구성된 벤치마크를 제안하고, novelty, biological realism, structural confidence, binding affinity 네 축의 threshold 기반 필터링과 weighted composite scoring을 통해 현존 de novo antibody 설계 모델들을 평가한다.

Achievement

1. 다중목적 벤치마크 프레임워크 구축: CDR-H3 De Novo Design, Framework Design, Complete VH/VL De Novo Design의 세 가지 task와 novelty(OAS 기반 KA-Search), biological realism(TAP, immunogenicity), structural score(pLDDT, PAE), binding score(PRODIGY/HADDOCK)를 결합한 composite scoring 체계를 제시했다.
2. 기존 모델들의 체계적 실패 노출: IgLM과 ProtT5-FT는 PAE>10으로 인해 Task 1/3에서 탈락했으며(평균 PAE 21.2, 27.0), ProtT5는 TAP 통과 실패로 Task 2에서도 탈락, BindCraft는 내부 제약으로 Task 1/3에서 실패하는 등 sequence-first 모델들의 근본적 한계를 정량적으로 드러냈다.
3. 구조적 confidence와 binding 간 괴리 규명: 대부분의 후보가 pLDDT>80의 높은 구조적 confidence를 보였음에도 docking score는 -140~0 이상까지 폭넓게 분포하여, 구조적 그럴듯함만으로는 강한 결합을 보장하지 못함을 실증적으로 보였다.
4. RFDiffusion의 항원별 성능 차이 정량화: p24(96.7% 통과, 평균 82.9%), amyloid-β(93.3%, 78.4%), HER2(76.7%, 65.2%) 등 항원 종류에 따라 composite score와 통과율이 크게 달라짐을 보여, 단일 항원 평가의 일반화 한계를 지적했다.

How

• HER2(암), p24(바이러스), amyloid-β(신경퇴행성 질환) 세 가지 치료적으로 중요한 antigen을 선정해 sequence-first(IgLM, ProtT5-FT) 및 structure-first(RFDiffusion, BindCraft) 모델을 동일 antigen 입력으로 비교
• Task 1에서 antigen당 30개 CDR-H3 sequence, Task 3에서 antigen당 30개 complete VH/VL sequence를 생성하도록 하고, Task 2는 Task 1 결과 CDR-H3를 조건으로 framework를 설계
• Novelty는 KA-Search로 OAS 내 최근접 이웃과의 sequence identity를 측정, Biological Realism은 TAP 기반 STAP과 immunogenicity 기반 Simm의 가중평균, Structural Score는 pLDDT와 PAE의 평균, Binding Score는 HADDOCK top-5 pose에 대한 PRODIGY 계산으로 산출
• 각 지표에 threshold를 설정해(TAP 0.8, pLDDT 80, PAE 10 등) 하나라도 미달 시 즉시 실격(composite score=0) 처리하고, 통과한 후보에 대해 (γ,δ,ϵ,ζ)=(0.20,0.40,0.20,0.20)의 기본 가중치로 weighted composite score 산출
• OAS와 SAbDab 데이터베이스를 활용해 sequence-first 모델들을 pretraining/fine-tuning

Originality

• 기존 벤치마크들이 단일 혹은 협소한 속성(affinity, ranking, fitness landscape)에 국한된 것과 달리, novelty·biological realism·structural confidence·binding affinity를 threshold와 weighted composite score로 통합한 다중목적 평가 프레임워크를 최초로 제안
• CDR-H3 생성, framework 설계, 전체 VH/VL 설계라는 계층적/상호보완적 3단계 task 구조를 통해 부분 능력과 전체 설계 능력을 분리하여 진단 가능하게 함
• sequence-first와 structure-first 두 계열 모델을 동일한 antigen 조건 하에서 직접 비교하고, 특정 항원(예: 무질서한 disordered topology를 가진 amyloid-β)에서 threshold의 비판별력(non-discriminating) 문제까지 드러낸 점

Limitation & Further Study

• 세 개의 antigen(HER2, p24, amyloid-β)만을 사용한 소규모 실험으로, 다양한 항원 클래스에 대한 일반화 가능성이 제한적임
• 가중치(γ, δ, ϵ, ζ)와 threshold 값들이 다소 임의적으로 설정된 것으로 보이며, ablation이 부록에만 제공되어 본문에서 그 타당성을 충분히 검증하기 어려움
• Aβ와 같은 disordered antigen에서 도킹 threshold(-80)가 비판별적임을 스스로 인정했으나, 이를 해결할 대안적 threshold나 antigen 유형별 보정 방법은 제시되지 않음
• wet-lab 실험적 검증(in vitro/in vivo) 없이 전산적 지표만으로 벤치마크를 구성하여, 실제 실험적 타당성과의 상관관계는 확인되지 않음
• 후속 연구로는 더 많은 antigen class와 항체 포맷에 대한 확장, threshold의 항원-적응적 보정, 실제 wet-lab 검증과의 상관관계 분석이 필요함

Evaluation

총평: de novo antibody 설계 평가에서 단일 지표의 한계를 실증적으로 드러내고 다중목적 통합 벤치마크를 제시한 시의적절하고 유용한 연구이나, 소수 antigen과 다소 임의적인 가중치 설정으로 인해 추가 검증과 확장이 필요하다.