Predicting host-pathogen interactions using a proteome-scale language model

Motivation

• Known: ProteomeLM은 단일 종 proteome 내에서 masked protein embedding을 재구성하도록 학습된 proteome-scale language model로, 그 attention coefficients가 지도 없이 종내 protein-protein interaction(PPI)을 포착함이 알려져 있다. 또한 DCA 같은 coevolution 기반 방법, AlphaFold-Multimer 같은 구조 기반 방법, 서열 기반 지도학습 분류기 등이 HPI 예측에 사용되어 왔다.
• Gap: host와 pathogen 단백질은 독립적인 진화 압력 하에서 진화하고 의미 있는 서열 상동성을 공유하지 않아 paired MSA 기반 coevolution 방법을 적용할 수 없고, 구조 기반 방법은 후보 쌍마다 계산 비용이 커서 proteome 전체 스크리닝이 비현실적이며, 기존 지도학습 분류기는 종 간 일반화가 취약하고 서열 유사도 누출 문제가 있다.
• Why: HPI 네트워크를 proteome 규모에서 정확히 예측할 수 있으면 신약 표적과 백신 항원 발굴을 가속화할 수 있으며, 대규모 실험적 결정이 비싸고 불완전한 상황에서 계산적 예측이 필수적이기 때문에 중요하다.
• Approach: 단일 종 proteome에서 학습된 ProteomeLM의 attention이 무감독으로 종간 HPI 신호를 포착함을 보이고, LoRA를 이용해 host-pathogen 결합 proteome에 대해 asymmetric masking과 blocked pathogen self-attention을 적용한 ProteomeLM-HPI로 경량 미세조정한다.

Achievement

Figure 1. Main results and ablations for ProteomeLM-HPI. A: Mean logistic regression AUROC (HPI vs. random cross-species

1. 무감독 HPI 신호 확인: 미세조정 없이 base ProteomeLM의 attention head만으로 10종 pathogen에 걸쳐 평균 AUROC 0.786을 달성하여, 단일 proteome 학습만으로도 종간 HPI 신호가 자연스럽게 나타남을 입증.
2. ProteomeLM-HPI 설계: asymmetric masking(pathogen-heavy masking)과 blocked pathogen self-attention을 결합한 LoRA 기반 경량 미세조정을 통해 평균 AUROC를 0.796까지 향상시킴.
3. 엄격한 일반화 벤치마크에서 검증: pathogen-level holdout과 40% 서열 동일성 필터링을 적용한 cross-species benchmark에서 10개 미확인 pathogen 중 9개에서 AUC를 개선.
4. 기존 벤치마크와 비교: Tsukiyama et al. (2021) virus-human PPI benchmark에서 AUPR=0.986, F1=0.923으로 경쟁력 있는 성능 확보.

How

Figure 1. Main results and ablations for ProteomeLM-HPI. A: Mean logistic regression AUROC (HPI vs. random cross-species

• ESM-Cambrian(ESM-C) 임베딩으로 사전 표현된 host 및 pathogen 단백질을 concatenated proteome 입력으로 구성
• host masking rate mH와 pathogen masking rate mP를 다르게 적용하는 asymmetric masking 전략(symmetric, asymmetric, total, inverted 4가지) 비교
• 모든 layer에서 pathogen token 간 attention logits을 0으로 만드는 blocked pathogen self-attention을 적용해 within-pathogen shortcut 방지
• PHISTO, IntAct, HPIDB2에서 589개의 host-pathogen organism pair를 수집하고, genus 확장을 통한 data augmentation(32,484 pair)도 실험
• ProteomeLM-S(36M 파라미터)를 LoRA(r=32, α=128)로 미세조정, AdamW와 cosine schedule 사용
• MMseqs2 기반 40% identity clustering으로 grouped cross-validation을 수행해 서열 유사성 누출 방지
• 로지스틱 회귀를 attention head 위에 학습시켜 PPI/HPI 판별 성능(AUROC)을 평가

Originality

• 단일 종 proteome 학습 모델의 attention이 무감독으로 종간 HPI를 예측할 수 있다는 것을 최초로 실증
• asymmetric masking과 blocked self-attention이라는 두 가지 설계 요소를 도입해 cross-species attention pattern을 유도하는 새로운 유도 편향(inductive bias) 제안
• 기존의 pairwise 추론 파이프라인과 달리 전체 host-pathogen proteome을 한 번의 forward pass로 처리해 모든 단백질 쌍에 대한 상호작용을 동시에 예측하는 효율적 접근
• pathogen-level holdout과 서열 동일성 필터링을 결합한 엄격한 cross-species 일반화 벤치마크를 새로 도입

Limitation & Further Study

• work-in-progress 보고서로 코드, 데이터, 모델이 아직 공개되지 않아 재현성 및 독립적 검증이 제한적
• data augmentation(genus 확장)이 오히려 성능을 저해하는 결과가 나와 노이즈가 많은 pair의 영향에 대한 심층 분석이 부족
• EBV와 같이 미세조정으로 개선되지 않는 pathogen이 존재하여, 어떤 조건에서 방법이 실패하는지에 대한 설명이 제한적
• 평가가 AUROC/AUPR 중심으로, 실제 생물학적 검증(예: 실험적 검증 사례 연구)이 부족
• 후속 연구로는 더 다양한 pathogen taxa, 더 큰 모델 규모, augmentation 전략 개선, 그리고 실제 신약/백신 후보 발굴에의 적용이 필요

Evaluation

총평: 단일 종 proteome 학습만으로 종간 host-pathogen interaction 신호가 자연스럽게 나타난다는 흥미로운 발견을 바탕으로, 경량 미세조정을 통해 엄격한 일반화 벤치마크에서 실질적 성능 향상을 보인 견실한 workshop-level 연구이다.