Unified sampling framework and benchmarking of sequence- and structure-based protein models

Motivation

• Known: 단백질 변이 효과 예측 분야에서는 이미 대규모 벤치마킹 데이터셋과 평가 가이드라인이 존재하며, 모델 성능이 태스크에 따라 다르게 나타난다는 것이 알려져 있다. 또한 protein language model, structure-based inverse folding model, alignment 기반 모델(PSSM, EVCouplings, EVE) 등이 각각 독립적으로 단백질 설계에 활용되어 왔다.
• Gap: 생성형 단백질 설계 분야는 학습 데이터, 아키텍처, 샘플링 전략, 필터링 기준, 성공 지표가 연구마다 제각각(bespoke)이어서 모델 간 직접 비교가 어렵고, 실험적으로 무의미한 설계가 낭비되는 문제가 있으며, 임의의 모델 클래스를 아우르는 표준화된 평가·시각화 프레임워크가 부재하다.
• Why: 단백질 설계에 생성 모델을 실질적으로 활용하려면 모델 간 공정한 비교와 in silico 지표의 실험적 타당성 검증이 필수적인데, 이 연구는 대규모 실험 데이터와 통일된 벤치마킹 프레임워크를 통해 그 간극을 정량적으로 드러내고 향후 모델 개발과 필터링 전략 수립에 실질적 근거를 제공한다.
• Approach: alignment-based, 단백질 언어 모델, structure-based inverse folding 모델을 아우르는 통일된 Gibbs sampling 프레임워크를 구축하여 TEV protease에 대해 수십만 개의 변이체를 생성하고, 이를 대규모 실험(GROQ-seq)으로 평가하여 computational metric과 실제 효소 활성 간 상관관계를 분석했다.

Achievement

Figure 4. Experimental evaluation of designed variants across models. (A) Distribution of activity (log10(Intact DHFR),

1. 통일된 샘플링 프레임워크 구축: PSSM, EVCouplings, EVE, ESM2, Tranception, ESM-IF1, ProteinMPNN 등 서로 다른 아키텍처의 모델에 대해 동일한 Gibbs sampling 절차를 적용할 수 있는 Python 프레임워크를 개발하여 오픈소스로 공개함.
2. 대규모 실험 벤치마크 데이터셋 구축: 약 13,000개의 설계된 TEV 변이체에 대해 모델 출처와 정량적 기능 측정치가 매핑된 커뮤니티 자원을 확보함.
3. structure-based 모델의 우수성 입증: ESM-IF1과 ProteinMPNN이 각각 74.4%, 66.8%의 hit rate로 다른 모델 및 error-prone PCR 기준선(6.06%)을 크게 상회함을 보임.
4. selection metric의 한계 규명: 흔히 사용되는 computational selection metric들이 실험적 활성과 강하게 상관되지 않음을 밝혀, 필터링이 ML 기반 단백질 설계의 중요한 병목임을 지적함.

How

Figure 2. Sequence space structure and computational evaluation

• JackHMMER를 이용해 UniRef100, MGnify, BFD에 대해 5회 반복 검색하여 MSA를 구축하고 ClustalOmega로 재정렬(4,748개 서열, gap 20% 이하)
• AlphaFold3로 TEV protease의 전장 구조를 기질과의 복합체 형태로 예측하여 structure-based 모델의 입력으로 사용
• alignment 기반 모델은 θ=0.9 재가중치 임계값으로 학습, structure 기반 모델은 기본 설정, 언어 모델은 fine-tuning 없이 사용
• Berry et al.(2026)의 alignment 모델용 Gibbs sampling 방법을 VAE, autoregressive 언어 모델, structure-based inverse folding 모델까지 확장
• 각 모델에 대해 linear distance restraint로 wildtype 대비 평균 약 5개의 mutation이 생성되도록 온도와 거리 페널티를 보정
• 236개 위치에 대해 25 step, 32 parallel chain으로 샘플링(chain당 첫 스텝 제외, 조건당 768개 서열 생성)
• GROQ-seq를 통한 대규모 실험적 기능 평가 수행 및 hit rate(야생형 이상 활성 비율) 산출

Originality

• alignment-based, 언어 모델, structure-based inverse folding 모델이라는 이질적인 모델 클래스를 단일 Gibbs sampling 절차로 통합해 직접 비교 가능하게 만든 최초의 통합 프레임워크 제안
• 단일 단백질(TEV protease)에 대해 여러 생성 모델 클래스를 동시에, 동일 조건에서 대규모(~13k) 실험 검증까지 수행한 드문 사례
• computational selection metric과 실제 효소 활성 간의 괴리를 정량적으로 체계적으로 분석하여 필터링 문제를 벤치마킹 이슈로 명확히 공식화함
• 모델 출처(provenance)와 실험 결과가 짝지어진 대규모 데이터셋을 커뮤니티 자원으로 공개

Limitation & Further Study

• TEV protease라는 단일 단백질/효소 계열에 대한 검증으로, 다른 단백질 패밀리나 기능(결합, 안정성 등)에 대한 일반화 가능성은 추가 검증이 필요함
• distance restraint의 크기가 모델별 likelihood 스케일 차이로 인해 직접 비교 불가능하여 경험적으로만 보정되었기 때문에, 모델 간 비교의 공정성에 잔여 편향이 있을 수 있음
• 논문 발췌본에는 실험적 결과(2.5절 이후) 및 결과 분석, discussion 부분이 생략되어 있어 selection metric 분석의 구체적 방법론과 통계적 근거를 충분히 확인하기 어려움
• 후속 연구로는 다양한 단백질 및 기능 유형에 대한 프레임워크 확장, 그리고 실험 데이터를 활용한 개선된 예측적 필터링 metric 개발이 필요함

Evaluation

총평: 서로 다른 생성 모델 클래스를 공정하게 비교할 수 있는 통합 프레임워크와 대규모 실험 검증을 결합한 실용적이고 임팩트 있는 벤치마킹 연구로, 단백질 설계 분야의 표준화 노력에 중요한 이정표가 될 것으로 판단된다.