ProteomeLM: A Proteome-Scale Language Model Enables Accurate and Rapid Prediction of Protein-Protein Interactions and Gene Essentiality Across Taxa

Motivation

• Known: Protein language model은 masked language modeling(MLM)을 통해 아미노산 간 coevolution을 학습하여 단백질 구조를 잘 포착하며, genome language model은 이를 nucleotide sequence로 확장했지만 megabase 수준에 그쳐 진핵생물 전체 genome 규모의 의존성은 포착하지 못한다. 기존 PPI 예측은 DCA와 같은 coevolution 기반 방법이나 구조 기반 방법(AlphaFold-Multimer)에 의존하는데, 이는 계산 비용이 크고 후보 쌍마다 별도 모델 학습이 필요하다.
• Gap: proteome 전체를 하나의 context로 다루어 단백질 간 coevolution 및 기능적 제약을 포착하는 language model이 부재했으며, 기존 DCA 기반 PPI screening은 계산 비용이 막대하고(예: human proteome 처리에 50-100 GPU로 30일 이상 소요) 진핵생물이나 샘플링이 부족한 taxa에서 성능이 떨어진다는 한계가 있었다.
• Why: PPI 네트워크와 gene essentiality는 세포 과정 이해와 치료 표적 발굴에 핵심적인데, 기존 방법들은 속도와 정확도 면에서 한계가 뚜렷하여 proteome 전체 규모에서 빠르고 정확하며 다양한 taxa에 일반화 가능한 예측 모델의 필요성이 크다.
• Approach: ESM-Cambrian(ESM-C)로 얻은 protein embedding을 입력으로 하여, 전체 proteome 문맥 내에서 masked protein embedding을 재구성하도록 DistillBERT 구조의 transformer를 처음부터 학습시키고, OrthoDB 기반 hierarchical functional encoding과 custom polar loss를 도입해 proteome-scale 함수적 제약을 반영하는 contextualized protein representation을 얻는다.

Achievement

1. 비지도 PPI 탐지: ProteomeLM의 attention coefficient가 interaction label 없이도 PPI를 포착하며, E. coli에서 특정 attention head가 AUC 0.92를 달성함.
2. 빠르고 정확한 interactome screening: 단일 RTX A6000 GPU에서 proteome당 10분 이내로 추론이 가능하며(DCA 대비 최대 6자리수 연산량 감소), H. sapiens에서 AUC 0.83(DCA 0.73 대비)과 상위 10M pair 중 50% recall(DCA 20% 대비)을 달성함.
3. 다양한 taxa로의 일반화: 19개 인간 병원균 박테리아(1억200만 protein pair)에서 AUC 0.87-0.92의 일관된 성능을 보임.
4. 지도학습 기반 PPI/essentiality 예측기 개발: ProteomeLM-PPI와 ProteomeLM-Ess를 통해 여러 벤치마크와 종에서 state-of-the-art PPI 예측 및 다양한 taxa에 걸친 gene essentiality 예측 성능을 달성함.

How

• ESM-C(600M parameter)로 각 단백질의 amino-acid 단위 embedding을 평균하여 1152차원 고정 embedding 생성
• proteome 내 단백질 표현의 50%를 무작위로 masking하고, functional encoding은 masking하지 않은 채로 나머지 proteome 문맥을 이용해 원본 embedding을 재구성하도록 학습(DistillBERT + FlashAttention-2 구조)
• XS(5.6M)부터 L(328M)까지 네 가지 크기의 모델을 OrthoDB의 약 32,000개 주석 proteome으로 학습
• OrthoDB 계통에 기반한 hierarchical functional encoding을 도입하여, 매 epoch마다 조상 경로의 한 단계를 무작위로 샘플링해 다양한 특이도 수준의 기능적 설명에 노출
• 표준 MSE loss의 퇴화 해(degenerate solution) 문제를 해결하기 위해 residual의 크기와 방향을 분리한 custom polar loss를 최대우도 방식으로 유도해 사용
• attention coefficient를 이용한 비지도 PPI 탐지를 D-SCRIPT(STRING 기반) 데이터셋으로 6개 종에서 평가
• ProteomeLM-S의 48개 attention head를 이용해 100개 양성/1,000개 음성 pair만으로 lightweight logistic regression을 학습해 interactome-wide screening 수행
• ProteomeLM embedding(node feature)과 attention coefficient(edge feature)를 결합한 modular neural network(concatenation, element-wise multiplication, absolute difference)로 ProteomeLM-PPI를 구성해 D-SCRIPT에서 학습 및 평가

Originality

• 기존 protein/genome language model이 단일 단백질 또는 megabase 규모 nucleotide sequence에 국한된 것과 달리, 전체 proteome을 하나의 문맥으로 다루는 최초의 접근을 제시함
• positional encoding 대신 OrthoDB 계통 기반 hierarchical functional encoding을 도입해 genome 상의 위치 정보 없이도 진화적/기능적 관계를 학습하도록 설계함
• 표준 MSE loss의 한계(방향과 크기가 얽혀 발생하는 degenerate solution)를 인식하고 이를 분리하는 custom polar loss를 수학적으로 유도함
• interaction label 없이 학습된 attention coefficient가 PPI를 자연스럽게 인코딩한다는 것을 보임으로써, self-supervised proteome-scale 학습만으로 상호작용 정보가 창발함을 입증함

Limitation & Further Study

• L(328M) 모델에서 overfitting으로 인한 성능 저하가 관찰되어, 모델 크기 확장에 따른 scaling 한계가 존재하며 이를 완화할 정규화나 데이터 확장 전략에 대한 추가 연구가 필요함
• 발췌된 본문에서는 ProteomeLM-Ess의 구체적 성능 수치나 벤치마크 비교가 충분히 제시되지 않아 gene essentiality 예측 성능의 완전한 평가가 어려움
• ESM-C라는 사전학습된 단백질 embedding에 의존하므로, ESM-C 자체의 편향이나 한계(예: 특정 taxa에 대한 낮은 대표성)가 ProteomeLM 성능에 영향을 줄 가능성이 있음
• functional encoding이 OrthoDB의 orthologous group 정의에 의존하므로, ortholog 주석이 부실한 taxa에 대한 일반화 성능에 대한 추가 검증이 필요함

Evaluation

총평: proteome 전체를 문맥으로 삼는 language model이라는 새로운 패러다임을 제시하고, 이를 통해 PPI와 gene essentiality 예측에서 속도와 정확도 모두 크게 개선했다는 점에서 임팩트가 크지만, 대형 모델의 overfitting 문제와 essentiality 예측에 대한 상세 결과 미흡 등 추가 검증이 필요하다.