SaNano - Structure Aware Transfer Learning For Data Limited Protein Modality

Motivation

• Known: 범용 단백질 언어 모델(ESM-1b, ESM-2)과 항체/VHH 특화 서열 모델(AbLang, IgBert, NanoBert, VHHBert)이 존재하며, SaProt는 Foldseek의 3Di 구조 알파벳과 아미노산 토큰을 결합해 구조 인지형 추론을 지원하는 범용 단백질 모델로 개발되었다.
• Gap: VHH는 light chain 부재에 따른 독특한 구조적 특징(긴 CDR3, 비정형 파라토프 형태 등)을 가지지만, 기존 VHH 특화 모델은 서열 전용이고 기존 구조 인지형 모델은 VHH의 독특한 기하구조에 특화되어 있지 않아, 서열과 구조를 통합한 VHH 전용 모델이 부재하다.
• Why: VHH는 치료제로서 채택이 급증하고 있으나 학습 데이터가 제한적이어서 대형 VHH 전용 파운데이션 모델을 처음부터 학습하기 어려우며, 구조 예측 비용을 줄이면서도 구조적 지식을 내재화한 서열 전용 추론 모델은 고처리량 스크리닝에 실질적 가치를 가진다.
• Approach: SaProt를 기반으로 LoRA를 사용해 VHH 서열과 NanobodyBuilder2로 예측한 구조를 결합한 SA 토큰으로 파인튜닝하며, 구조-조건부 MLM과 서열 전용 MLM을 교차 학습시켜 구조적 사전지식을 내재화한다.

Achievement

1. few-shot contact prediction 성능 향상: 서열 전용 설정에서 SaNano가 SaProt 및 ESM2-650M보다 우수한 구조적 이해를 보임(Table 1).
2. 생물물리학적 특성 및 항원 결합 예측 최고 성능: 7개 벤치마크 전반에서 SaNano가 최고 성능을 달성했으며, 구조 유무와 무관하게 견고한 서열 전용 표현을 보임(Table 3).
3. 서열 재구성(pseudo-perplexity) 대폭 개선: 특히 가변성이 높은 CDR3 영역에서 ESM2, SaProt, AbLang2 대비 큰 폭의 perplexity 감소를 달성(Table 2).
4. 구조 인지 파인튜닝의 서열 전용 성능 개선 입증: 구조 정보 없이도 구조 조건부 수준에 필적하거나 이를 능가하는 성능을 보여 고처리량 스크리닝에서 값비싼 구조 예측 의존도를 낮춤.

How

• SaProt(33-layer BERT-style encoder, 650M 파라미터, ESM2-650M과 동일 구조)를 기반 모델로 채택.
• LoRA를 사용해 transformer 블록의 key, query, value, dense 행렬에 저랭크(low-rank) 학습 가능 행렬을 도입하고 기반 모델 가중치는 고정하여 계산 비용 절감 및 파국적 망각(catastrophic forgetting) 완화.
• SA vocabulary를 채택해 15% 마스킹 비율의 MLM으로 학습하되, 구조-조건부(잔기+3Di 토큰 모두 제공) 모드와 서열 전용(구조 문자 전부 마스킹) 모드를 교차 적용.
• INDI1에서 클러스터링·필터링한 257,000개 VHH 서열에 NanobodyBuilder2로 예측한 구조를 결합하고, SwissProt/AlphaFold2 데이터를 VHH:일반 단백질 3:1 비율로 혼합하여 과적합 방지 및 일반 단백질 이해 유지.
• 평가는 SAbDab 기반 few-shot contact prediction, NbBench 포함 5개 생물물리학적 회귀 과제, INDI1의 26,000개 비중복 VHH 서열에 대한 pseudo-perplexity로 구성.

Originality

• 서열과 구조 토큰을 통합하는 최초의 VHH 특화 언어 모델을 제시함.
• 구조-조건부와 서열 전용 MLM을 교차(interleave)하는 학습 전략을 통해 구조적 사전지식을 서열 전용 추론에 내재화하는 아이디어가 참신함.
• 데이터가 제한된 특수 단백질 모달리티(VHH)에 대해 LoRA 기반 전이학습으로 범용 구조 인지형 모델(SaProt)을 효율적으로 특화시키는 실용적 접근을 제시함.

Limitation & Further Study

• 구조 예측에 NanobodyBuilder2라는 단일 도구를 사용해 예측 구조의 오류가 학습에 그대로 반영될 위험이 있으며, 실제 실험 구조와의 비교 검증이 부족함.
• 벤치마크 중 일부(생물물리학적 특성 3종)가 proprietary 데이터로, 재현성과 외부 검증이 제한적임.
• 항원 결합 예측에서 구조 유사도가 높은 VHH 변이체 특성상 Seq+Str 실험이 배제되어 구조 정보의 실제 기여도 평가가 제한적임.
• 향후 연구로 다양한 구조 예측 도구와의 강건성 비교, 실제 실험적 구조 데이터와의 검증, 생성 모델로서의 실제 VHH 디자인 성능 평가가 필요함.

Evaluation

총평: 데이터가 제한된 VHH 모달리티에 구조 인지형 전이학습을 적용해 서열 전용 추론 성능까지 끌어올린 실용적이고 참신한 연구로, 고처리량 항체 스크리닝에 실질적 가치를 제공할 것으로 기대된다.