Unsupervised protein language models learn patterns of enzyme function

Motivation

• Known: 단백질 언어모델이 서열의 보존, 공진화, 구조 제약을 포착하는 내부 표현(임베딩)을 학습하며, zero-shot 예측에 활용될 수 있다는 것이 알려져 있다. SSN 기반 효소 발견 방법이 존재하지만 입력 파라미터에 민감하고 장거리 유사성 작업에서 실패한다.
• Gap: 단백질 언어모델의 임베딩을 효소 발견에 직접 활용하되, 임베딩 크기가 서열 길이에 의존하는 문제를 해결하고, 광대한 서열 공간을 체계적으로 탐색하면서 적응형 피트니스 valley를 우회하는 방법론이 부재했다.
• Why: 생물촉매 엔지니어링에서 미지의 효소 기능을 서열 정보만으로 예측하고 발견하는 것은 실험 비용과 시간을 획기적으로 단축할 수 있으므로 중요하다. 기존 SSN 기반 방법의 한계를 극복하고 PLM의 강력한 표현 능력을 효과적으로 활용하는 새로운 프레임워크가 필요하다.
• Approach: 평균 풀링 임베딩(MPE)으로 길이 불변 표현을 생성한 후, k-means 클러스터링으로 임베딩 공간을 기능적 클러스터로 분할하고, zero-shot 스코어링으로 각 클러스터에서 최고 후보를 선발하여 실험 검증한다. 성공한 효소를 시드로 삼아 재귀적으로 알고리즘을 반복 적용하여 더 나은 효소를 탐색한다.

Achievement

Figure 1: Mining embedding space using PLM-clust: providing access to novel enzymes with minimal

자일라나제 발견: 글리코실 하이드롤라제에서 100배 이상의 활성 증가 달성, 이민환원효소(IRED) 연구: 촉매 다양성 프로파일에서 100배 이상의 증가 달성, 예측 정확도: 약 10개 효소 스크린으로 ~90% 신뢰도의 예측 생성 가능, 공간 탐색: 대부분의 잔기가 교환된 깊은 서열 공간 영역까지 도달, 단계별 효율성: 각 반복 사이클이 클러스터 수만큼의 실험만 필요

How

Figure 1: Mining embedding space using PLM-clust: providing access to novel enzymes with minimal

• ESM2-650M 단백질 언어모델 사용하여 서열 임베딩 생성
• 평균 풀링으로 길이 불변 임베딩(MPE) 변환
• MPE 공간에서 k-means 클러스터링 수행
• Zero-shot scoring(ESM2 perplexity 기반)으로 각 클러스터의 최고 스코어 효소 선발
• 선발 효소들을 실험적으로 검증
• 성공적 효소가 속한 클러스터를 새 입력으로 재귀적 적용

Originality

• MPE를 이용한 길이 불변 단백질 표현 방법은 기존 연구를 활용하되, PLM 임베딩 공간에 k-means 클러스터링을 직접 적용한 것은 새로운 시도
• Zero-shot scoring과 무감독 클러스터링을 결합한 재귀적 효소 발견 프레임워크는 novel
• 광대한 임베딩 공간을 피트니스 valley 제약 없이 탐색하는 개념적 접근은 기존 directed evolution과 차별화

Limitation & Further Study

• 초기 '가교' 효소(bridgehead enzyme)의 선택이 알고리즘 성능에 미치는 영향에 대한 상세 분석 부재, - Zero-shot scoring 메커니즘이 명확하지 않으며, perplexity 기반 추정의 정확도 보증 부족, - 두 가지 효소 패밀리(자일라나제, IRED)에서만 검증되어 다른 효소 클래스로의 일반화 가능성 미확인, - 클러스터 개수 결정(k 파라미터)에 대한 가이드라인 부족, - 상대적으로 작은 규모의 자일라나제 데이터셋만 사용된 부분 제시 | 후속 연구: 더 많은 효소 패밀리 및 촉매 반응에서 검증, zero-shot scoring 메커니즘의 이론적 근거 강화, 클러스터링 파라미터 최적화 자동화 방법 개발

Evaluation

총평: PLM-clust는 단백질 언어모델의 임베딩 공간을 효소 발견에 체계적으로 활용하는 창의적이고 실용적인 방법론을 제시한다. 반복적 실험 프레임워크로 제한된 실험 예산 내에서 100배 이상의 활성 향상을 달성했으며, 기존 directed evolution의 한계를 우회하는 개념적 진전을 보여준다. 다만 초기 조건 의존성, zero-shot 스코어링 이론 부족, 제한된 검증 범위 등의 개선 필요 요소가 있으나, 생물촉매 엔지니어링 분야에서 상당한 실제 가치를 지닌 기여로 평가된다.