Beyond Nativeness: Viral Proteins in Protein Language Models

Motivation

• Known: ESM 계열 pLM은 대규모 서열 데이터베이스로 학습되어 구조 예측, inverse folding, 기능 예측 등 다양한 다운스트림 작업에서 강력한 성능을 보이며, 최근 mechanistic interpretability 연구를 통해 이들 모델이 학습한 표상을 이해하려는 시도가 늘고 있다.
• Gap: 그러나 pLM이 세포성 단백질에 비해 학습 데이터에서 과소표현되고 진화적으로 이질적인 바이러스 단백질과 같은 생물학적 그룹을 어떻게 표상하는지는 잘 알려져 있지 않으며, 바이러스 분리가 단순히 낮은 nativeness(모델과의 적합도) 때문인지 아니면 바이러스 고유의 정보가 임베딩에 별도로 남아있는지는 규명되지 않았다.
• Why: 바이러스 돌연변이 효과 예측과 같은 벤치마크에서 pLM의 성능 저하가 보고되는 상황에서, pLM 표상이 진화적으로 이질적인 생물학적 그룹을 어떻게 인코딩하는지 이해하는 것은 모델의 일반화 한계를 밝히고 바이러스 관련 응용(백신 설계, 항바이러스제 개발 등)에 pLM을 신뢰성 있게 활용하기 위해 중요하다.
• Approach: ESM 모델 계열(ESMC, ESM2, ESM3) 및 ProGen2, EvoDiff 등 이종 아키텍처 pLM을 대상으로, PCA를 통한 임베딩 기하학 분석과 masked-reconstruction perplexity를 model-relative nativeness 지표로 사용하여 바이러스 단백질의 표상 특성을 정량적으로 분석한다.

Achievement

Figure 3. Embedding linear probes capture more than perplexity: probe AUC scales to ceiling while PPL-based zero-shot

1. 지배적 nativeness axis 발견: ESMC-600M에서 PC1이 전체 분산의 73.1%를 설명하며 PPL과 매우 강하게(ρ=+0.961) 정렬되어, 세포성 단백질→바이러스 단백질→셔플/무작위 서열 순으로 서열을 정렬함을 보였다.
2. 모델·목적함수 전반의 일반화 확인: ESM2, ESM3-OPEN뿐 아니라 autoregressive인 ProGen2, discrete-diffusion인 EvoDiff에서도 동일한 PC1≈PPL 정렬과 5단계 순서가 관찰되어 이 축이 특정 아키텍처에 국한되지 않음을 확인했다.
3. 데이터 노출만으로 설명되지 않음을 입증: 체크포인트 이후 공개된 신규 세포성 단백질(사전학습 데이터에 없음)의 PPL이 여전히 기존 세포성 단백질과 유사(5.3 vs 3.2)하고 바이러스(15.3)와는 크게 다름을 보여, nativeness가 단순 데이터 노출이 아니라 세포성 중심 학습 prior와의 적합도를 반영함을 밝혔다.
4. 스케일링의 비균질적 효과 규명: ESMC 파라미터 수를 300M에서 6B로 늘릴 때 인간 바이러스 전체의 native-like 비율은 5%→17%로 소폭 증가하지만, Papillomaviridae/Retroviridae는 ~60% 증가한 반면 Orthomyxoviridae 등은 거의 변화가 없어 스케일링 효과가 바이러스 계통별로 크게 다름을 발견했다.
5. 바이러스 고유 신호의 보존 확인: 임베딩 기반 linear probe가 PPL 단독 분류기나 길이/아미노산 조성 등 shallow baseline보다 우수한 AUC를 보여, pLM 임베딩이 nativeness를 넘어선 바이러스 특이적 정보를 선형적으로 인코딩함을 입증했다(Figure 3).

How

Figure 3. Embedding linear probes capture more than perplexity: probe AUC scales to ceiling while PPL-based zero-shot

• ESMC-600M, ESM2-650M, ESM3-OPEN 등 여러 pLM에서 10개 생물학적 그룹(세포성: 인간, 박테리아, 고세균, 식물, 곤충, 균류 / 바이러스성: 인간 바이러스, 식물 바이러스, 무척추동물 바이러스, 박테리오파지)과 3개의 생물학적으로 무의미한 대조군(셔플 바이러스, 셔플 세포성, 무작위 서열)의 mean-pooled embedding에 대해 PCA를 수행
• 각 그룹 내부에서 PCA를 재적합(refit)하여 PPL 정렬 PC1이 그룹 내에서도 유지되는지 확인 (Appendix Table 2)
• masked-reconstruction perplexity(15% 마스킹)를 model-relative nativeness 점수로 정의하고 PC1과의 Spearman 상관관계를 측정
• ESMC 체크포인트 이후 공개된 Swiss-Prot 세포성 단백질(n=1,723)을 이용한 sequence-novelty control 실험으로 데이터 노출 효과를 통제
• ESMC 파라미터 수(300M, 600M, 6B)에 따라 인간 바이러스 8개 과(family)별로 PPL<5(native-like)를 만족하는 서열 비율 변화를 추적
• held-out 인간 바이러스/세포성 test split에서 (1) mean-pooled embedding 기반 linear probe, (2) PPL 단독 zero-shot 분류기, (3) length/아미노산 조성/dipeptide 조성 기반 shallow baseline 세 가지 분류기의 AUC를 비교
• ProGen2(autoregressive), EvoDiff(discrete-diffusion) 등 이종 목적함수 pLM에서도 동일 분석을 반복하여 일반화 검증

Originality

• 기존 pLM 해석 연구가 주로 구조/기능 예측 성능이나 mechanistic interpretability에 집중했던 것과 달리, 과소표현된 생물학적 그룹(바이러스)이 임베딩 공간에서 어떻게 조직화되는지를 PCA와 perplexity 정렬이라는 간단하지만 명확한 축으로 정량화한 점이 참신하다.
• "nativeness"라는 개념을 masked-reconstruction perplexity와 PCA 주성분을 연결지어 정의하고, 이를 여러 아키텍처(masked-LM, autoregressive, diffusion)에 걸쳐 검증한 체계적 접근이 독창적이다.
• 스케일링이 바이러스 계통별로 비균질적으로 nativeness를 개선한다는 발견과, 이를 세포성 상동체(retrotransposon 등) 존재 여부로 설명하려는 시도가 새로운 통찰을 제공한다.
• perplexity만으로는 설명되지 않는 바이러스 고유 신호가 임베딩에 선형적으로 존재함을 입증하여, "nativeness 축 하나로 모든 것이 설명되지 않는다"는 균형 잡힌 결론을 제시한 점이 돋보인다.

Limitation & Further Study

• 워크숍 논문 특성상 human viral family 8개, 제한된 생물학적 그룹으로 분석 범위가 좁아, 더 다양한 바이러스 계통(예: RNA 바이러스 전반, 신종 바이러스)에 대한 일반화 검증이 필요하다.
• retroviral 계열의 nativization을 세포성 상동체(reverse transcriptase 등)로 설명한 부분은 정성적 논의에 그쳐, 다른 family에 대해서도 상동체 매핑을 정량적으로 검증할 필요가 있다.
• linear probe의 우수성이 embedding에 인코딩된 "생물학적으로 의미 있는" 정보인지, 아니면 단순히 perplexity 계산에 포함되지 않은 잔여 통계적 패턴(예: 특정 아미노산 조합의 미세한 패턴)인지 추가적인 해석이 필요하다.
• residue-level 또는 attention 기반 mechanistic interpretability와 결합하여 nativeness axis와 viral-specific signal이 모델 내부의 어떤 계층/헤드에서 형성되는지 후속 연구가 요구된다.

Evaluation

총평: 단백질 언어 모델의 표상 공간에서 nativeness라는 단일 축을 명료하게 규명하면서도 바이러스 고유 정보의 보존을 함께 입증한 균형 잡힌 실증 연구로, pLM의 일반화 한계와 잠재력을 동시에 조명하는 의미 있는 워크숍 논문이다.