AbAffinity: A Large Language Model for Predicting Antibody Binding Affinity against SARS-CoV-2

Motivation

• Known: 기존 ISLAND, DeepDTA, DG-Affinity, CSM-AB, TagLLM, FAbCon 등 다양한 딥러닝 기반 결합친화도 예측 모델들이 존재하며, 특히 사전학습된 단백질 언어모델을 활용한 접근법이 우수한 성능을 보이고 있다.
• Gap: SARS-CoV-2 특화 다중 표적 결합친화도 예측 모델이 부족하며, 항체의 특이성으로 인해 기존 범용 모델의 적용이 제한적이다.
• Why: 백신 개발 및 중화항체 설계 시 시간과 비용이 소모되는 생화학적 측정(SPR, ELISA, BLI) 단계를 계산 기반 방법으로 가속화할 수 있으므로 중요하다.
• Approach: 71,834개의 scFv 항체 서열에 대한 SARS-CoV-2 HR2 펩타이드 결합친화도 데이터셋을 기반으로, ESM-2의 사전학습 가중치를 초기화하고 BERT 아키텍처의 N개 인코더 블록(N=6,12,33)을 미세조정하여 결합친화도를 예측한다.

Achievement

Figure 5: t-SNE representation of the embedding produced

• 의미있는 임베딩 공간 생성: t-SNE 시각화를 통해 Ab-Affinity가 생성한 임베딩이 결합친화도에 따른 매끄러운 그래디언트를 나타내며 ESM-2보다 우수한 표현을 학습함을 확인했다.
• 다층 모델 비교 검증: 6M, 35M, 650M 파라미터 규모의 모델을 비교하여 33개 인코더 레이어 기반 모델의 성능 우월성을 입증했다.
• 해석가능성 제공: 인트라-잔기 주의맵과 잔기-잔기 접촉맵을 통해 강한/약한 결합의 아미노산 상호작용 차이를 설명할 수 있는 기반을 제공한다.
• 공개 자원 제공: 코드와 모델을 GitHub에 공개하여 커뮤니티 접근성을 확보했다.

How

Figure 3: Model Architecture of Ab-Affinity

• ESM-2 사전학습 모델의 인코더 레이어를 미세조정(fine-tuning)하여 단백질 데이터베이스 지식을 활용
• 104,972개 항체 변이체로부터 파생된 71,834개 유니크 scFv 항체 서열 사용, 3개 독립 반복 측정값의 산술 평균으로 전처리
• Mean Squared Error 손실함수와 Adam 옵티마이저로 100 에포크 학습 (85% 훈련, 15% 검증 분할)
• 마지막 인코더 레이어 출력을 시퀀스 임베딩으로 활용하고 단층 완전연결 레이어로 결합친화도 예측
• Pearson 상관계수 기반 모델 선택 및 t-SNE (perplexity=200)로 고차원 임베딩 시각화
• Rao et al. 방법을 사용하여 아미노산 접촉 분석 수행

Originality

• 기존 범용 모델과 달리 SARS-CoV-2 HR2 보존 펩타이드에 특화된 단일 표적 모델로 설계하여 항체 특이성 문제를 해결
• 동일 scFv 기반 3개 후보 항체의 1-3개 아미노산 변이로부터 대규모 계획된 변이 라이브러리를 구축하여 신뢰성 높은 학습 데이터 확보
• 사전학습 여부 비교 실험(무작위 초기화 vs ESM-2 미세조정)을 통해 단백질 언어모델 사전지식의 영향을 정량화
• 결합친화도 예측뿐만 아니라 해석가능한 주의맵과 접촉맵을 동시에 제공하는 다중 출력 프레임워크

Limitation & Further Study

• 단일 표적(SARS-CoV-2 HR2)에만 학습되어 다른 변이주나 항원에 대한 일반화 가능성 미검증
• scFv 구조(단일쇄)만 고려하여 전체길이 항체(full-length antibody)에 대한 성능 미평가
• 실험적 검증(검증 세트 성능 지표 구체적 수치, Pearson/Spearman 상관계수 값) 결과가 논문 발췌에 누락
• 유연한 단백질 영역(IDPR)의 구조적 특이성을 명시적으로 모델링하지 않음
• 후속 연구로 다중 표적 학습, 구조적 정보 통합, 다양한 항체 포맷(IgG 등) 확장 필요

Evaluation

총평: SARS-CoV-2 중화항체 설계의 실무적 필요성에 부응하여 ESM-2 기반 특화 모델을 체계적으로 개발하고, 해석가능성과 함께 공개 자원을 제공한 점이 강점이나, 단일 표적 학습으로 인한 일반화 능력과 검증 결과의 구체적 제시가 필요하다.