DecoderTCR: Compositional Pretraining and Entropy-Guided Decoding for TCR-pMHC Interactions

Motivation

• Known: Protein language models(pLM)는 대규모 서열 코퍼스로부터 구조적·기능적 규칙성을 학습할 수 있으며, TCR-BERT, TCRLM, ESMCBA, IgLM 등 면역 특화 모델과 NetTCR-2.0, ERGO-II, pMTnet, TITAN 등 supervised 결합 예측 모델들이 존재한다. 또한 RFdiffusion+ProteinMPNN, ADAPT와 같은 구조 기반 설계 파이프라인도 활용되고 있다.
• Gap: 기존 pLM들은 단일 사슬 내 marginal 규칙성만 포착할 뿐 TCR α/β chain, peptide, MHC 간의 cross-chain dependency를 모델링하지 못하며, autoregressive 디코딩은 양방향 문맥이 필요한 CDR loop 제약 설계에 부적합하다. 또한 구조 기반 방법은 500개 미만의 TCR-pMHC 삼차구조 데이터로 인해 좌표 감독이 극히 부족한 상황에서 적용이 어렵다.
• Why: TCR-pMHC 인식은 감염 및 암에 대한 보호 면역 반응과 자가면역의 핵심 기전이며, 이를 정확히 예측·설계할 수 있으면 항원 특이적 T세포 치료제 개발에 직접적으로 기여할 수 있다.
• Approach: ESM-2를 기반으로 TCR α/β, peptide, MHC 각 구성요소에 특화된 masking 비율을 적용해 marginal 데이터로 먼저 사전학습한 뒤 paired 데이터로 cross-chain dependency를 정제하는 2단계 연속 사전학습을 수행하고, 생성 단계에서는 저엔트로피 anchor 위치를 먼저 해제하고 고엔트로피 가변 영역을 국소적으로 재샘플링하는 IEGR 디코딩 알고리즘을 적용한다.

Achievement

Figure 5. Zero-shot pMHC binding predictions by allele. Per-allele ROC (left) and PR (right) curves for Stage 1 DecoderT

1. Zero-shot 성능: held-out allele/epitope split에서 pMHC 결합 예측 0.96 AUROC(ESM-2는 0.45), epitope-특이적 TCR 인식 0.76 AUROC를 달성해 supervised baseline에 근접했다.
2. 구조 정보 없이 접촉 부위 회복: 좌표 감독 없이 학습된 peptide interaction score가 구조적 접촉 위치를 localize했다.
3. 현실적인 서열 생성: IEGR로 생성한 서열이 실제 recombination 통계와 구조적 타당성을 보였다.
4. Lab-in-the-loop 검증: 2라운드의 습식 실험 스크리닝을 통해 예측-생성 간극(prediction-generation gap)을 확인하고, 이를 반영한 lab-in-the-loop 설계로 hit rate를 3%에서 12%로 개선했다.

How

Figure 2. Knowledge retention during Stage 2. Zero-shot pMHC

• ESM-2를 기반 모델로 채택하여 TCR α/β chain(~10^7), pMHC(~10^6) 등 marginal 데이터에 대해 구성요소별 masking rate를 다르게 적용하는 Stage 1 사전학습을 수행
• Stage 2에서는 소량의 paired TCR-pMHC 상호작용 데이터(<10^5)로 cross-chain dependency를 정제하며, implicit experience replay를 통해 catastrophic forgetting을 완화
• 생성 시 Iterative Entropy-Guided Refinement(IEGR)를 적용: 예측 엔트로피 순으로 위치를 반복적으로 unmask하되, 저엔트로피 anchor residue를 먼저 확정해 안정적 scaffold를 만든 뒤 고엔트로피 flexible 영역을 local masked resampling으로 정제
• OneShot, Greedy, IEGR 세 가지 디코딩 전략을 비교 평가
• span pseudo-likelihood scoring을 통해 결합 예측 및 구조적 접촉 회복 수행
• AlphaFold3를 in silico oracle로 활용해 설계 서열의 구조적 타당성 평가
• 두 차례의 wet-lab 스크리닝으로 실제 결합 여부를 검증하고 lab-in-the-loop 파이프라인 구축

Originality

• 풍부한 unpaired 데이터(marginal)와 희소한 paired 데이터(joint) 간 100배 이상의 격차를 해소하는 구성요소별 masking 기반 2단계 연속 사전학습 커리큘럼을 최초로 TCR-pMHC 전체 면역 시냅스에 적용
• 저엔트로피 anchor를 먼저 확정하고 고엔트로피 hypervariable 영역을 나중에 정제하는 IEGR라는 비자기회귀적(non-autoregressive) 디코딩 전략을 CDR3 제약 재설계에 도입, 생물물리학적 위계(보존 위치가 초가변 loop를 제약)를 반영
• 좌표 감독 없이 구조적 접촉을 회복하는 span 기반 pseudo-likelihood scoring 제안
• 예측 성능과 생성 성능 간의 간극(prediction-generation gap)을 실제 습식 실험으로 정량화하고 이를 좁히는 lab-in-the-loop 패러다임 제시

Limitation & Further Study

• Zero-shot 생성 성능이 실제 실험에서는 여전히 제한적이며(3% hit rate), 예측-생성 간극이 완전히 해소되지 않음
• 두 차례의 wet-lab 검증 규모가 상대적으로 제한적일 수 있어 통계적 일반화에 한계가 있을 수 있음
• 구조 정보(coordinate supervision) 없이 학습했다는 장점이 있으나, 이는 동시에 구조적으로 미묘한 상호작용(예: 특정 MHC allele-peptide 조합)에 대한 세밀한 모델링에 한계를 가질 가능성 존재
• 후속 연구로 더 많은 라운드의 lab-in-the-loop 반복, 다양한 allele/epitope에 대한 일반화 검증, 그리고 구조 기반 방법과의 통합이 필요

Evaluation

총평: 데이터 희소성 문제를 구성적 사전학습과 엔트로피 기반 디코딩으로 해결하며 예측과 생성을 통합한 실용적이고 실험적으로 검증된 프레임워크로, computational immunology 분야에 의미 있는 기여를 하지만 실제 생성 성능의 한계도 솔직하게 드러낸 균형 잡힌 연구이다.