Biologically-Grounded Multi-Encoder Architectures as Developability Oracles for Antibody Design

Motivation

• Known: 항체 개발가능성은 표면 소수성, 정전기적 자기 결합, VH-VL 페어링 효율, 도메인 안정성 등 다양한 생물물리학적 메커니즘을 포함한다. ESM 계열의 frozen protein language model은 진화적·구조적 지식을 보존하는 효과적인 인코더로 알려져 있다.
• Gap: 기존 연구는 개발가능성 예측을 위해 단일 모델 또는 제한된 아키텍처를 사용했으며, 어떤 신경 아키텍처가 어떤 개발가능성 특성에 최적인지에 대한 체계적인 비교가 부족했다. 또한 중쇄와 경쇄 간의 상호작용이 각 특성을 예측하는 데 어느 정도 중요한지에 대한 생물학적 인사이트가 제한적이었다.
• Why: 개발가능성 예측은 생성 모델로 제안된 수천 개의 항체 후보 중 실현 가능한 치료제를 선별하는 중요한 병목이다. 신뢰할 수 있는 계산 기반 필터링은 생물물리학적 특성화의 비용을 크게 절감할 수 있으며, 특성별 최적 아키텍처 식별은 생물물리학적 신호의 인코딩 방식에 대한 기본적인 이해를 제공한다.
• Approach: 체계적인 초매개변수 탐색을 통해 encoder 선택(ESM-Cambrian 300M/600M/6B, AntiBERTy, ProtT5), 수열 표현 방식, 세 가지 attention 전략(self-attention만, self+cross attention, bidirectional cross-attention), 아키텍처 차원을 포함하여 property별로 200회 이상의 구성을 Bayesian optimization과 Hyperband를 사용해 평가한다.

Achievement

Figure 1: Developability delta of 100 IgLM-generated designs relative to the trastuzumab reference,

표현량 (Titer): ρ = 0.428 (+20% 향상) 열 안정성 (Tm2): ρ = 0.387 (+18% 향상) 다반응성 (PR CHO): ρ = 0.475 (+12% 향상) 소수성 상호작용 크로마토그래피 (HIC): ρ = 0.644 (기존 최고 대비 2% 범위 내, 경쟁력 있음) 자기 결합 (AC-SINS): ρ = 0.475 (기존 최고 대비 7% 범위 내, 경쟁력 있음) Steiger's Z-test에서 세 주요 특성에 대해 p < 0.02 (r12 = 0.90 가정 하).

How

Figure 1: Developability delta of 100 IgLM-generated designs relative to the trastuzumab reference,

• 고용량 ESM-Cambrian 6B encoder의 120개 내부 attention 층이 각 잔기의 풍부한 단일 체인 구조적 문맥을 구축하여 응집 관련 특성의 경우 교차 주의가 불필요함을 발견
• 중쇄의 aggregation-prone motif는 경쇄 선택과 무관하게 위험을 나타내므로 self-attention만으로 충분
• 표현량과 열 안정성의 경우 VH-VL 이형 이합화 효율과 interface 호환성이 critical하므로 bidirectional cross-attention 필수
• 학습 가능한 chain fusion weight (wH)를 통해 각 체인의 기여도를 정량화: 응집에서 중쇄 우위 (wH = 0.62), 안정성에서 균형 (wH = 0.51)
• 5-fold cluster-stratified cross-validation으로 sequence-similar 항체의 generalization 보장

Originality

• 개발가능성 각 특성에 대한 최적 attention 아키텍처의 체계적 비교 및 선택이 기존 생물학적 가설을 정면으로 뒤집음 (응집이 interface보다 single-chain signature에 의존한다는 발견)
• 200회 이상의 rigorous hyperparameter campaign을 통한 architectural comparison (numerical fine-tuning이 아닌 discrete 아키텍처 선택의 비교)
• 고용량 frozen encoder의 이미 풍부한 내부 표현이 추가 cross-attention을 불필요하게 만든다는 인사이트는 새로운 이해를 제공

Limitation & Further Study

• 벤치마크 규모가 제한적 (N = 242)으로 인해 통계적 검정의 신뢰도 제한 (p-값은 inter-model 상관 가정 r12 = 0.90에 의존하며 실증적으로 검증 어려움)
• HIC와 AC-SINS에서 기존 최고 성능과의 성능 차이 (2-7% 범위 내)
• 초매개변수 탐색은 computational 비용이 높으므로 다른 도메인이나 항체 구조에 대한 확장성 미검증
• 단일 property별 oracle 설계로 인해 여러 특성 간의 복잡한 상충관계(trade-off) 미고려

Evaluation

총평: CrossAbSense는 체계적인 신경 아키텍처 탐색을 통해 항체 개발가능성 예측을 크게 향상시키고, 생물물리학적 신호의 인코딩 방식에 대한 새로운 생물학적 인사이트를 제공한다. 다만 벤치마크 규모 제한과 통계적 가정의 불확실성, 그리고 부분적 성능 향상은 중대한 약점이며, 실제 항체 설계 파이프라인에서의 실용적 영향은 추가 검증이 필요하다.