FLIP2: Expanding Protein Fitness Landscape Benchmarks for Real-World Machine Learning Applications

Motivation

• Known: 기존 FLIP 벤치마크는 thermostability, binding, viral capsid viability에만 국한되어 있었고, ProteinGym은 250개 이상의 멀티플렉스 어세이를 포함하지만 대부분 single/double mutant만 수집했다. 단백질 언어 모델(pLM)은 unlabeled sequence에서 학습하여 fitness 예측 정확도를 향상시켜 왔다.
• Gap: 기존 벤치마크들이 실제 단백질 공학 캠페인의 핵심 제약을 충분히 반영하지 못한다. 예를 들어 한 단백질에 풍부한 데이터가 있지만 homologous target에는 거의 없는 경우(wild-type generalization), 활성 부위 등 특정 영역만 포화되어 미시찰 위치의 변이 예측이 필요한 경우 등을 다루지 않았다.
• Why: 단백질 공학 실무에서 ML 도구의 실질적 유용성이 의문시되고 있기 때문이다. 도메인 시프트 하에서 성능 저하가 심각하며, 기존 전이학습 기법이 실제로 얼마나 도움이 되는지 명확하지 않다. 따라서 실제 engineering scenario를 반영한 포괄적인 벤치마크가 필요하다.
• Approach: 7개 신규 데이터셋(amylase, IRED, NucB, TrpB, hydrophobic core, Rhomax, PDZ3)을 수집하고, 기존의 number/fitness 기반 split에 더해 position, mutation, wild-type 차원의 split 전략을 설계했다. Zero-shot pLM likelihood score, ridge regression, fine-tuned pLM을 포함한 baseline 모델들을 Spearman's ρ 및 NDCG 메트릭으로 평가했다.

Achievement

Figure 1. The FLIP2 benchmark. (A) The FLIP2 datasets. Solid boxes indicate the name of the dataset. Dashed boxes indica

• 7개 신규 데이터셋 도입: 효소(amylase, IRED, NucB, TrpB), 광민감 단백질(Rhomax), 단백질-단백질 상호작용(PDZ3, hydrophobic core) 포함
• 16가지 현실적 split 전략: one-to-many, two-to-many, three-to-many, single-to-double (mutation count 기반), close-to-far, far-to-close, by-position (위치 기반), by-mutation, low-to-high (fitness 기반), by-wild-type (wild-type 배경 기반)
• 핵심 발견: 단순 모델이 fine-tuned pLM을 능가하거나 동등하게 수행하여, 기존 transfer learning 기법의 유용성에 의문 제기
• 오픈 소스 배포: 모든 데이터를 CC-BY 4.0 라이선스로 공개

How

Figure 1. The FLIP2 benchmark. (A) The FLIP2 datasets. Solid boxes indicate the name of the dataset. Dashed boxes indica

• 생물정보학 문헌과 공개 데이터베이스에서 7개 신규 sequence-fitness 데이터셋 수집 및 큐레이션
• 실제 engineering workflow를 모방하는 복수의 split 전략 설계 (wild-type generalization, position-based extrapolation, mutation-based splits 등)
• 기존 baseline 모델(Dayhoff, ESM2, CARP)의 zero-shot likelihood 계산
• Ridge regression을 One-hot encoding 및 pLM embedding 위에 학습
• Fine-tuned pLM 학습 및 평가
• Spearman's ρ 및 NDCG@10을 통한 rank correlation 측정

Originality

• Multi-dimensional split 설계: 기존 FLIP의 number/fitness 기반 split에서 확장하여 position, mutation, wild-type 차원을 추가. 특히 by-wild-type split은 engineering campaign의 일반적인 scenario(한 단백질에서 다른 homolog로의 전이)를 반영하는 신규 기여
• 광범위한 기능 다양성: 과거 벤치마크가 놓친 enzyme, light-sensitive protein, intrinsically disordered region 포함한 protein-protein interaction 추가
• Transfer learning 재검토: Fine-tuned pLM이 간단한 ridge regression과 비교하여 우월성이 명확하지 않다는 발견은 기존 믿음에 도전하는 중요한 기여

Limitation & Further Study

• 제한된 데이터셋 규모: 일부 데이터셋(Rhomax: 884, PDZ3: 734)은 매우 작아 통계적 신뢰성이 떨어질 수 있음
• 구조 정보 미포함: 모든 평가가 sequence 기반이며, structure embedding을 활용한 baseline이 없음
• Baseline 모델 선택: Zero-shot 및 fine-tuned pLM만 평가하였으며, graph neural network, AlphaFold embedding 등 다른 아키텍처는 미포함
• Split 설계의 정당화 부족: 각 split이 실제 engineering scenario에서 얼마나 빈번한지에 대한 정량적 증거 부재
• 후속 연구 필요성: Transfer learning 성능 저하의 근본 원인 분석 및 개선 방안 제시 필요
• 계산 비용 분석 부재: 다양한 모델의 학습/추론 시간 비교 없음

Evaluation

총평: FLIP2는 단백질 공학 벤치마킹의 중요한 진전이다. 기존 FLIP을 7개의 새로운 데이터셋과 16가지 split으로 확장하여 실무 중심의 평가를 가능하게 했으며, fine-tuned pLM의 역할에 대한 재검토는 필드에 중요한 의문을 제기한다. 다만 일부 데이터셋의 규모가 작고, transfer learning 성능 저하의 근본 원인에 대한 심화 분석이 부족하다. 벤치마크 논문으로서 방법론적 건전성과 포괄성은 높으나, 메커니즘적 통찰은 제한적이다.