Decoding Loss-of-Function Variants with Sparse Concept Features of ESM-2

Motivation

• Known: Protein language model(PLM)은 variant-effect prediction에서 뛰어난 성능을 보이지만, 그 예측의 근거가 되는 dense hidden embedding은 수백~수천 차원에 해석 가능한 축이 없어 예측 근거를 설명하기 어렵다. 최근 SAE를 PLM activation에 적용하여 생물학적 특징을 발견하려는 연구들(InterPLM 등)이 등장했다.
• Gap: 기존 연구(예: InterPLM)는 wild-type feature 특성화에 집중했고, Corominas et al. (2025)는 DMS 데이터로 SAE를 fine-tuning해 단일 사례(α-amylase)에서 sequence generation control로 활용했을 뿐, 자원이 많이 드는 DMS 감독 없이 wild-type만으로 학습한 SAE가 광범위한 미지의 DMS assay에서 missense variant 효과를 zero-shot으로 해독할 수 있는지는 검증되지 않았다.
• Why: DMS 실험은 자원과 시간이 많이 소요되는 반면 wild-type 참조 서열은 이미 대규모로 축적되어 있으므로, wild-type만으로 학습된 해석 가능한 concept feature가 supervision 없이도 변이 효과의 기전적 해석을 제공할 수 있다면 임상적 신뢰성과 확장성 측면에서 큰 의미가 있다.
• Approach: ESM-2의 각 layer별 residue embedding에 대해 별도의 sparse autoencoder(ReLU + ℓ1)를 wild-type UniRef50 서열만으로 훈련시키고, 결과 feature를 UniProtKB/SwissProt residue annotation과 post-hoc으로 정렬하여 해석 가능한 concept feature를 얻은 뒤, missense variant가 이 concept feature를 wild-type 대비 얼마나 많은 residue position에서 silencing하는지를 세어 LOF를 정량화했다.

Achievement

1. Zero-shot LOF 판별: DMS supervision 없이, wild-type 학습 concept feature의 silencing된 residue position 개수가 10개 protein-concept 쌍 중 9개에서 DMS 측정 LOF와 유의미하게(통계적으로) 상관관계를 보였다.
2. Kinase subdomain IX 국소화: 5개 kinase activity assay에서 concept feature 억제가 발생하는 변이 부위가 촉매 활성에 결정적 영향을 미치는 것으로 알려진 subdomain IX에 국소화됨을 확인했다.
3. 특이성 검증: 신호가 단순 서열 보존성(conservation)에 국한되지 않으며, 해석 가능한 concept basis로 훈련한 random-forest regressor가 dense ESM-2 backbone과 동등한 DMS 예측 성능을 보임을 확인했다.
4. 양방향 신호 발견: kinase에 국한된 up-shift 신호(concept feature 활성 증가)도 동일한 read-out에서 추가로 보고했다.

How

• ESM-2 esm2_t6_8M_UR50D의 6개 transformer layer 각각에서 residue-level embedding(R^320)을 추출.
• 각 layer마다 별도의 SAE(encoder-decoder, expansion factor r=32, dictionary size Dh=10,240)를 ReLU + ℓ1 sparsity 정규화로 UniRef50 wild-type 서열에 대해 학습 (InterPLM 설계 준용).
• 학습된 SAE feature를 UniProtKB residue annotation과 post-hoc 정렬하여 F1 ≥ 0.5인 168개 feature를 concept feature로 채택, 각 concept은 F1-best feature로 대표.
• 각 feature j, position t에 대해 variant activation과 wild-type activation의 z-score(z_i,j,t)를 계산하고, z < -3이면 silenced, z > +3이면 up-shifted로 분류.
• variant 단위로 silenced/up-shifted position 개수(n_down, n_up)를 집계해 net concept shift(Δn = n_up - n_down)를 정의, 이를 정규화된 DMS score와 비교(Mann-Whitney U test, Benjamini-Hochberg FDR 보정).
• Kinase case study: layer-3의 Protein kinase 정렬 feature(F1=0.834)를 이용해 SRC-anchored MSA(3,683개 SwissProt kinase-domain entry) 기반 conservation과 비교, 5개 ProteinGym kinase activity assay에서 silencing 위치를 SRC kinase 구조에 투영.
• 추가로 SAE 기반 concept feature를 입력으로 한 random-forest regressor와 dense ESM-2 backbone 기반 예측 성능을 비교해 특이성/성능 동등성을 검증.

Originality

• PLM의 dense embedding에 SAE를 적용해 UniProtKB annotation과 정렬된 해석 가능한 concept feature를 도출하는 접근은 기존 InterPLM 연구의 연장선이나, 이를 순수 wild-type 학습만으로 DMS supervision 없이 zero-shot LOF variant decoding에 사용한 것은 새로운 시도이다.
• Corominas et al. (2025)와 달리 DMS 데이터로 fine-tuning하지 않고 wild-type 서열만으로 학습된 concept feature가 광범위한 미지 DMS assay에 일반화됨을 입증한 점이 독창적이다.
• Kinase subdomain IX라는 알려진 생물학적 기전과 concept feature silencing 패턴을 정량적으로 연결지어 해석 가능성의 생물학적 타당성을 검증한 점이 특징적이다.

Limitation & Further Study

• 검증된 protein-concept 쌍이 10개(5 kinase + 5 non-kinase)로 제한적이어서 일반화 가능성에 대한 추가 대규모 검증이 필요하다.
• 주로 ESM-2 8M 모델을 사용했고 650M 모델에서는 kinase-domain 경향성만 재현 확인했을 뿐, 더 큰 규모 모델이나 다른 PLM 아키텍처에 대한 체계적 검증은 부족하다.
• z-score 임계값(±3)과 F1 ≥ 0.5 같은 hyperparameter 선택의 민감도 분석이 제한적이며, 이러한 임계값이 다른 단백질 계열에도 최적인지 불분명하다.
• concept feature 정렬이 UniProtKB annotation 커버리지에 의존하므로, annotation이 부족하거나 부정확한 단백질에는 적용이 어려울 수 있다.
• 후속 연구로는 더 다양한 단백질 패밀리, 더 큰 PLM, 그리고 임상 변이 해석에 대한 실제 활용 가능성 검증이 필요하다.

Evaluation

총평: DMS supervision 없이 wild-type 서열만으로 학습된 SAE concept feature가 missense variant의 loss-of-function을 해석 가능하게 예측할 수 있음을 보인 참신하고 의미 있는 워크숍 논문으로, 검증 규모는 제한적이나 해석 가능성과 생물학적 기전 정합성을 균형 있게 제시한 점이 돋보인다.