Evaluating out of distribution generalization of protein language models

Motivation

Known: pLM은 대규모 미표지 단백질 서열 코퍼스로 사전학습되어 domain annotation, variant effect prediction, structure prediction 등 다양한 다운스트림 과제에서 우수한 성능을 보여왔으며, 이러한 성능이 remote homolog에 대해서도 일반화되는지가 중요한 문제로 다뤄져 왔다.
Gap: 기존 연구들은 다운스트림 벤치마크 자체의 train/test split에서 homology 누수 문제를 다뤘지만(TAPE, FLIP, GraphPart, CHISEL 등), pLM 사전학습 코퍼스와 다운스트림 테스트셋 간의 유사성을 통제하고 사전학습 규모에 맞먹는 controlled 환경에서 leakage 정도를 직접 조작하며 그 효과를 정량화한 연구는 없었다.
Why: pLM 기반 주석이 대규모 서열 DB 및 검색·추론 파이프라인에 활용되는 상황에서, leakage로 인해 부풀려진 성능 지표는 향후 데이터베이스와 모델 학습에 오류를 전파시킬 수 있어, 진정한 일반화 여부를 판별하는 평가 방법론의 신뢰성 확보가 시급하다.
Approach: CHISEL을 이용해 Pfamseq 81M 서열을 cross-split homology가 검출되지 않는 train/validation/test로 분할하고, 이 동일한 split을 pLM 사전학습과 다운스트림 domain annotation 평가 모두에 사용하여 architecture, compute, 다운스트림 학습을 고정한 채 사전학습-테스트 데이터 간 overlap 정도만을 변화시켰다.

Achievement

Figure 5. Effect of pLM data leakage on downstream performance. A. Train loss for clean, leaky and leaky 10x models B. V

Leakage로 인한 성능 부풀림 입증: 사전학습 데이터와 테스트셋 간 overlap을 늘리면 training loss, validation perplexity, validation-set 다운스트림 성능은 거의 변화가 없음에도 test-set domain annotation sensitivity가 크게 증가함을 보여, overlap이 실제 일반화 향상 없이 테스트 성능만 부풀린다는 것을 입증했다.
대규모 homology-free split 구축: pHMMER, MMseqs2, BLASTp, Smith-Waterman을 결합한 CHISEL 파이프라인으로 81M 서열 규모에서 통계적으로 유의한 cross-split homology가 없는 train(24M)/validation(14K)/test(94K) split을 구축했다.
조기 신호 출현 관찰: masked language model 사전학습 초기 단계에서 이미 domain 관련 신호가 나타남을 규명했다.
Compute-limited 환경에서 ESM-2 수준 성능 재현: 제한된 compute로 학습한 자체 pLM이 ESM-2에 준하는 training loss/성능을 회복함을 보여 통제 실험의 타당성을 뒷받침했다.

How

Figure 2. Compute-limited training recovers ESM-2 performance. A. Training loss for UR50 model with ESM-2 training loss

CHISEL(pHMMER, MMseqs2, BLASTp, accelerated Smith-Waterman 결합)로 E-value ≤ 0.01 기준 cross-split homology를 제거하여 Pfamseq 81M 서열을 train/validation/test로 분할
90% 서열 동일성 기준 MMseqs2 클러스터링으로 training set 내 중복 제거(Pfamseq90)
동일한 split을 pLM 사전학습(masked language modeling)과 다운스트림 domain annotation(PSALM 유사 구조) 학습·평가에 모두 사용
architecture, compute, 다운스트림 학습 절차를 고정한 채 사전학습 데이터에 포함되는 test-set overlap 비율만 조작하는 통제 실험 설계
training loss, validation perplexity, validation/test set 다운스트림 sensitivity를 비교 지표로 사용

Limitation & Further Study

실험이 Pfamseq 기반 domain annotation 과제와 특정 pLM 아키텍처(및 PSALM류 다운스트림 구조)에 한정되어 있어, variant effect prediction이나 structure prediction 등 다른 다운스트림 과제로의 일반화 여부는 추가 검증이 필요함
compute-limited 환경에서 훈련된 자체 pLM이 최신 대규모 상용 pLM(ESM 계열 등)의 스케일과 정확히 동일한 특성을 보이는지에 대한 검증이 제한적
E-value 0.01 임계값 자체가 remote homology를 얼마나 엄격히 배제하는지에 대한 민감도 분석이 부족할 수 있음
후속 연구로 다양한 다운스트림 과제, 더 큰 모델 스케일, 임계값 민감도 분석 등을 확장할 필요가 있음

같이 보면 좋은 논문

Token-Only Adaptation of Frozen Self-Supervised Vision Foundation Models for Cross-Species Animal Pose: A Pareto-Frontier Characterization Across Eight Held-Out Mammal Species

기반 연구DINOv2 기반 vision foundation model을 특정 태스크에 응용하는 유사한 접근이다.

Ares: Loss-Free Mixture-of-Experts Routing for Bidirectional Protein Encoders

기반 연구pLM 벤치마크 설계의 방법론적 기반을 제공하는 선행 연구이다.

FLIP2: Expanding Protein Fitness Landscape Benchmarks for Real-World Machine Learning Applications

기반 연구SPECTER2 유사도 0.92로 Computational Molecular Design와 AI-Driven Drug and Materials Discovery가 맞닿아, 'FLIP2: Expanding Protein Fitness Landscape Benchmarks for Real-World Machine Learning Applications'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Protein Language Models Diverge from Natural Language: Comparative Analysis and Improved Inference

기반 연구SPECTER2 유사도 0.92로 Computational Molecular Design와 LLMs for Molecular Biology & Chemistry가 맞닿아, 'Protein Language Models Diverge from Natural Language: Comparative Analysis and Improved Inference'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Fair splits flip the leaderboard: CHANRG reveals limited generalization in RNA secondary-structure prediction

기반 연구SPECTER2 유사도 0.92로 Computational Molecular Design와 LLMs for Molecular Biology & Chemistry가 맞닿아, 'Fair splits flip the leaderboard: CHANRG reveals limited generalization in RNA secondary-structure prediction'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

AlphaInterp: Probing AlphaFold 3's Internal Representations Reveals Evolutionary Determinants of Predicted Structure and Confidence

기반 연구SPECTER2 유사도 0.92로 Computational Molecular Design와 AI-Driven Drug and Materials Discovery가 맞닿아, 'AlphaInterp: Probing AlphaFold 3's Internal Representations Reveals Evolutionary Determinants of Predicted Structure and Confidence'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Knowing when to trust machine-learned interatomic potentials

기반 연구SPECTER2 유사도 0.92로 Computational Molecular Design와 AI-Driven Drug and Materials Discovery가 맞닿아, 'Knowing when to trust machine-learned interatomic potentials'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

NanoFold: A Compute-Efficient Benchmark for Controlled and Autonomous Research on Protein Structure Models

다른 접근서열 유사성 누수 문제를 다른 통제 실험 방식으로 검증한 대안적 접근이다.

The Geometry of Updates: Fisher Alignment at Vocabulary Scale

다른 접근vocabulary-scale에서의 source selection에 다른 접근을 취함

Predicting evolutionary rate as a pretraining task improves genome language model representations

후속 연구gLM의 서열 재구성 기반 사전학습의 이론적 기초

반론/비판데이터 누수 문제에 대해 다른 관점에서 일반화 성능을 재평가한다.

Protein Fold Classification at Scale: Benchmarking and Pretraining

후속 연구단백질 언어모델의 일반화 성능을 다른 각도에서 확장 평가한 연구이다.

Stabilizing In-Context Multi-Source Domain Adaptation for Biomedical Images Through Controls

후속 연구BatchNorm 기반 도메인 적응의 이론적 토대를 제공한다.