ImmunoFoundation: A Multimodal Foundation Model for Immunogenicity Prediction and Peptide Optimization

Motivation

• Known: 기존 immunogenicity 예측 도구들(NetMHCpan, MHCflurry, MHCnuggets, BigMHC, PRIME2.0)은 peptide 또는 peptide-MHC 서열만을 활용하는 단일 modality 기반이며, ImmunoStruct는 구조 정보를 포함하지만 지도학습으로 26,000개의 labeled peptide-MHC 복합체에만 의존한다.
• Gap: TCR-peptide-MHC complex(TCR-pMHC)의 3차원 구조가 immunogenicity에 미치는 영향을 포착하는 모델이 부족하며, labeled 구조 데이터의 희소성으로 인해 TCR-pMHC의 모든 구성 요소가 immunogenicity에 어떻게 기여하는지 학습하는 모델을 구축하기 어렵다.
• Why: TCR-pMHC의 transferable representation을 학습하는 foundation model이 있으면 제한된 labeled 데이터로도 immunogenicity, binding, TCR specificity 등 다양한 downstream task에 적용 가능해져 암 백신 설계, 면역치료, 치료용 단백질 개발 등 translational immunology 전반에 파급력이 크다.
• Approach: frozen ESM-2 서열 인코더와 예측된 3D 구조 기반 Graph Transformer를 cross-modal attention으로 융합하고, 구조적 inductive bias를 단계적으로 도입하는 curriculum pretraining을 적용한 뒤 immunogenicity 데이터로 fine-tuning한다.

Achievement

Figure 1. ImmunoFoundation pipeline. The sequence track is a frozen ESM-2 encoder followed by a trainable transformer ad

1. ImmunoFoundation 제안: 단백질 복합체를 위한 최초의 self-supervised foundation backbone을 immunogenicity 예측에 특화하여 제시함.
2. 2단계 curriculum pretraining: AlphaFoldDB monomer(Stage 1)에서 AlphaFoldDB-complex의 1.8M 복합체(Stage 2)로 이어지는 progressive한 multi-chain inductive bias 도입 전략을 고안함.
3. 성능 우위 입증: cancer neoepitope 및 infectious-disease 벤치마크에서 기존 최고 성능의 multimodal MHC class I predictor(ImmunoStruct)를 능가함.

How

Figure 1. ImmunoFoundation pipeline. The sequence track is a frozen ESM-2 encoder followed by a trainable transformer ad

• Sequence track: frozen ESM-2 (650M) 인코더 fESM로 per-residue embedding을 생성하고, trainable transformer adaptor gθ로 hidden dimension d로 투영하여 zseq를 얻으며, 보조 목표로 language-modeling head hϕ를 masked language modeling(MLM, 15% mask rate)로 학습.
• Structure track: AlphaFold3로 예측한 3D 구조에서 파생된 residue-level k-nearest neighbors 그래프에 대해 Graph Transformer를 적용, node feature는 zseq와 Cα 좌표 xi의 concatenation. masked coordinate autoencoding(MAE) 목적함수로 surface residue(8Å 내 이웃 12개 미만)를 마스킹하여 좌표를 복원하도록 학습.
• Cross-modal fusion: zseq와 zstr 사이 bidirectional cross-attention(MHA)을 수행하고 feed-forward layer를 거쳐 zfused를 생성, 학습 가능한 [CLS] 토큰의 post-fusion 출력을 복합체 수준 표현으로 사용. 이 fusion module은 fine-tuning 단계에서만 도입.
• Curriculum: Stage 1은 AlphaFoldDB의 human proteome/Swiss-Prot monomer로 단일 chain fold를 학습, Stage 2는 AlphaFoldDB-complex의 1.8M 고신뢰 복합체로 확장하여 kNN 그래프를 전체 복합체에 걸쳐 구성함으로써 chain 경계를 넘는 attention을 유도. Stage 1 가중치가 Stage 2를 초기화하며, 향후 pMHC-specific 구조 corpus를 이용한 Stage 3를 계획.
• Fine-tuning: IEDB pMHC immunogenicity 데이터에서 peptide/MHC 서열과 AlphaFold3 예측 구조를 입력으로 cross-modal attention module과 binary classification head를 zfused[CLS]에 대해 BCE loss로 공동 학습.

Originality

• 단백질 복합체(protein-complex) 전반에 대한 최초의 self-supervised multimodal foundation model을 제안하여, 기존 supervised 구조 기반 모델(ImmunoStruct)의 labeled 데이터 의존성을 극복함.
• AlphaFoldDB-complex의 proteome-scale 대규모 unlabeled 구조 데이터를 활용하는 curriculum learning 전략을 도입하여, monomer에서 complex로 progressive하게 multi-chain inductive bias를 부여하는 방식은 AlphaFold에서 AlphaFold-Multimer로의 발전 궤적을 모방한 참신한 설계임.
• ESM-2 기반 서열 표현과 구조 기반 Graph Transformer 표현을 cross-modal attention으로 결합하여 TCR-pMHC와 같은 복잡한 다중 chain 복합체의 immunogenicity, binding, TCR specificity 등 다양한 downstream task에 전이 가능한 backbone을 지향함.

Limitation & Further Study

• 현재 pretraining corpus(AlphaFoldDB-complex)는 globular protein complex가 주를 이루어 peptide-in-groove 형태의 pMHC 구조를 충분히 대표하지 못하는 distribution gap이 존재하며, 저자들도 이를 인지하고 pMHC-specific Stage 3 pretraining을 향후 과제로 남김.
• 현재 모델은 MHC class I pathway에 국한되어 있으며 TCR-pMHC 전체 복합체나 MHC class II로의 확장은 아직 이루어지지 않아, 논문에서 제시한 핵심 동기(TCR-peptide-MHC 상호작용 전체 포착)를 완전히 실현하지 못함.
• 구조 예측은 AlphaFold3에 의존하므로 예측 구조의 오차가 downstream 성능에 미치는 영향에 대한 분석이 제시되지 않았고, fine-tuning 단계에서만 fusion module이 도입되어 pretraining 중 두 track 간 상호작용이 제한적임.
• 발췌된 본문에서 정량적 실험 결과(수치, 벤치마크 세부사항)가 충분히 제시되지 않아 성능 우위의 구체적 근거를 평가하기 어려움.

Evaluation

총평: 단백질 복합체를 위한 self-supervised foundation model이라는 새로운 방향을 제시하고 curriculum pretraining을 통해 구조적 inductive bias를 효과적으로 도입한 참신하고 의미 있는 연구이나, pMHC-specific 구조 데이터 부족으로 인한 distribution gap과 TCR-pMHC 전체로의 확장이 미완성 과제로 남아있어 후속 검증이 필요하다.