IsoPLM: Isolating the Impacts of Architecture on Protein Language Models

Motivation

Known: ESM 이후 encoder-only Transformer가 PLM의 표준 아키텍처로 자리잡았고, 이후 mixture-of-experts(MoE), state space model(SSM), hybrid attention-SSM 레이어 등 새로운 architectural primitive들이 ProtMamba, AIDO, Dayhoff와 같은 최신 모델에서 채택되어 성능 향상을 보고하고 있다.
Gap: 기존 PLM 연구들은 새로운 아키텍처를 발표할 때마다 동시에 데이터셋, 학습 레시피, 스케일을 함께 변경하고 open-weight 베이스라인(ESM, ProtTrans 등)과 비교하기 때문에, 성능 향상이 실제로 아키텍처 primitive 때문인지 다른 요인 때문인지 구분할 수 없다는 confound 문제가 존재한다.
Why: 어떤 architectural primitive가 실제로 단백질 모델링 성능을 향상시키는지, 그리고 어떤 조건(스케일, task 유형)에서 그러한지를 밝히는 것은 차세대 PLM 설계에 있어 근본적으로 중요한 질문이며, 이를 controlled 환경에서 답한 최초의 체계적 연구라는 점에서 의의가 크다.
Approach: 동일한 데이터(Uniref90), 동일한 MLM 학습 레시피, 동일한 ESM-2 스타일 백본을 유지한 채 ESM(dense Transformer), HYDRA(SSM), MOE(sparse Transformer), HYBRID(dense hybrid), HYBRID-MOE(sparse hybrid) 5개 아키텍처 계열을 20M/150M/650M 세 스케일로 pretrain하여 비교한다.

같이 보면 좋은 논문

Evolutionary-scale prediction of atomic-level protein structure with a language model

기반 연구SPECTER2 유사도 0.93로 Clinical Time-Series Modeling와 LLMs for Molecular Biology & Chemistry가 맞닿아, 'Evolutionary-scale prediction of atomic-level protein structure with a language model'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Scaling Large Language Models for Next-Generation Single-Cell Analysis

기반 연구SPECTER2 유사도 0.93로 Clinical Time-Series Modeling와 LLMs for Molecular Biology & Chemistry가 맞닿아, 'Scaling Large Language Models for Next-Generation Single-Cell Analysis'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

PRIMA: a bidirectional state-space architecture and training approach for sequence modelling of protein-protein interactions

기반 연구state-space 모델 기반 아키텍처를 생물학적 서열 모델링으로 확장한다.

Protein Autoregressive Modeling via Multiscale Structure Generation

기반 연구multi-scale 구조 생성 접근법을 확장하는 관련 연구임.

Skipping the Zeros in Diffusion Models for Sparse Data Generation

기반 연구PLM 아키텍처의 기초적 구조 비교 연구

LeFlur: A Biomolecular Design Model with Latent Structure Tokens

기반 연구단백질 언어 모델 사전학습의 기본 프레임워크를 제공하는 선행 연구로 IsoPLM의 실험 설계에 기반이 된다.

다른 접근단백질 서열과 구조를 통합 표현하는 생체분자 설계 모델이라는 유사한 목표를 공유함.

Protein Language Models Diverge from Natural Language: Comparative Analysis and Improved Inference

기반 연구SPECTER2 유사도 0.94로 Clinical Time-Series Modeling와 AI-Driven Drug and Materials Discovery가 맞닿아, 'Protein Language Models Diverge from Natural Language: Comparative Analysis and Improved Inference'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

다른 접근단백질 언어 모델과 자연어 모델의 차이를 다른 분석 기법으로 탐구한다.

BioReason-Pro: Advancing Protein Function Prediction with Multimodal Biological Reasoning

기반 연구SPECTER2 유사도 0.94로 Clinical Time-Series Modeling와 AI-Driven Drug and Materials Discovery가 맞닿아, 'BioReason-Pro: Advancing Protein Function Prediction with Multimodal Biological Reasoning'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Generative design of intrinsically disordered proteins based on conditioned protein language models: Data is the limit

기반 연구SPECTER2 유사도 0.94로 Clinical Time-Series Modeling와 AI-Driven Drug and Materials Discovery가 맞닿아, 'Generative design of intrinsically disordered proteins based on conditioned protein language models: Data is the limit'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

VT-Bench: A Unified Benchmark for Visual-Tabular Multi-Modal Learning

다른 접근멀티모달 벤치마크 구축에 있어 다른 도메인 조합을 사용하는 대안적 접근이다.

Ares: Loss-Free Mixture-of-Experts Routing for Bidirectional Protein Encoders

다른 접근loss-free routing에 대한 다른 전략적 접근을 제시한다.

Co-Generative De Novo Functional Protein Design

다른 접근동일하게 아키텍처 요소(attention, SSM 등)를 통제된 실험으로 비교하는 유사한 접근을 사용한다.

Demystifying Multimodal Biomolecular Co-design With Intrinsic Geodesic Coupling

다른 접근멀티모달 biomolecular co-design을 위한 다른 coupling 방식을 제안함

ImmunoFoundation: A Multimodal Foundation Model for Immunogenicity Prediction and Peptide Optimization

다른 접근단백질 언어 모델 아키텍처 비교를 위한 다른 실험 설계

A Generative Neuro-Symbolic AI for Protein Sequence Design

다른 접근단백질 서열 설계를 위한 다른 생성 모델 기반 접근법을 제시한다.