Generalization of Protein Foundation Models for Engineered Fluorescent Biosensors

Motivation

• Known: PFM embedding은 binding affinity, stability, toxicity 등 다양한 다운스트림 단백질 특성 예측 과제에서 강력한 feature extractor로 작동하며, 기존 fitness benchmark들은 주로 random split이나 position-based split 하에서 모델을 평가해왔다.
• Gap: 기존 benchmark는 random split 위주로 평가되어 엔지니어링에 실제로 필요한 extrapolation 성능을 반영하지 못하며, 정적 구조가 아닌 도메인 간 동적 상호작용에 의존하는 fluorescent biosensor의 fitness 예측에 classical benchmark 결과가 그대로 전이되는지도 불분명하다. 또한 novel-region extrapolation과 low-to-high fitness extrapolation이라는 두 가지 extrapolation regime은 대개 별개의 데이터셋이나 별개 연구에서 다뤄져 함께 비교된 바가 없다.
• Why: GCaMP와 같은 fluorescent biosensor의 엔지니어링은 in-distribution 예측이 아니라 새로운 서열 영역이나 미관측 fitness 영역으로의 extrapolation을 필요로 하므로, 어떤 PFM·head 조합이 실제 엔지니어링 목적에 적합한지 규명하는 것이 실용적으로 중요하다.
• Approach: ESM-2, CARP, ProGen3, ESM-3, PoET-2, AlphaFold-3, Chai-1의 7개 PFM에서 추출한 embedding을 MeanPoolMLP, AttnPoolMLP, MutationDeltaMLP, ConvMaxPool 4개의 head와 결합해, frozen weight 기반 semi-supervised 방식으로 d′와 decay 레이블을 예측하도록 학습하고 Spearman rank correlation으로 평가했다.

Achievement

Figure 3. Mean Spearman ρ across splits and labels is plotted for all embeddings and architectures for the 3 evaluation

1. PFM embedding의 우위 확인: random split에서 모든 PFM embedding이 one-hot encoding baseline을 능가했으며(head별 평균 Δρ는 +0.44~+0.15), structure-aware 및 multimodal 모델이 sequence-only 모델보다 대체로 우수했다.
2. Extrapolation에서의 성능 저하 정량화: novel-region split과 low-to-high fitness split 모두에서 모든 모델·아키텍처 조합의 성능이 크게 저하되었으나, 대부분의 아키텍처에서 PFM embedding은 여전히 one-hot encoding보다 우위를 유지했다.
3. 두 extrapolation regime 간 순위 전이 차이 발견: structure- 및 MSA-based conditioning은 novel-region split의 성능 저하를 부분적으로 완화하지만 low-to-high split에서는 효과가 없었으며, novel-region 순위는 random-split 순위와 밀접하게 일치하는 반면 low-to-high 순위는 크게 벌어짐을 보였다.

How

Figure 2. Schematic illustrations of sequence space (left) and

• jGCaMP8s를 scaffold로 한 무작위 mutagenesis로 얻은 1,314개 unique 서열에 대해 neuronal culture 기반 assay로 4개의 action potential train에 대한 d′와 decay를 측정해 8개의 label을 구성
• 7개 PFM(ESM-2, CARP, ProGen3, ESM-3, PoET-2, AlphaFold-3, Chai-1)에서 penultimate layer의 per-residue embedding을 frozen weight로 추출, 구조·MSA conditioning이 가능한 모델에는 jGCaMP8.410.80 crystal structure와 fixed MSA를 제공
• 4개의 head architecture(MeanPoolMLP, AttnPoolMLP, MutationDeltaMLP, ConvMaxPool)로 embedding을 8개 label에 대해 회귀
• 데이터 split을 random(baseline), novel-region(“contiguous” scheme 기반 5개 window), low-to-high fitness(상위 5~100퍼센타일을 test, 하위 0~80퍼센타일을 train, 중간은 제외)로 나눠 세 가지 일반화 체제를 구성
• 4-fold cross-validation과 ensembling으로 예측을 수행하고 Spearman rank correlation을 주요 평가지표로 사용

Originality

• 기존에 개별적으로 혹은 서로 다른 데이터셋에서 다뤄졌던 novel-region extrapolation과 low-to-high fitness extrapolation을 동일한 fluorescent biosensor 데이터셋에서 동시에 비교 평가한 최초의 체계적 benchmark
• fitness prediction의 classical benchmark 결과가 동적 상호작용에 기반한 fluorescent biosensor 엔지니어링 과제로 전이되는지를 실증적으로 검증
• 모델 선택과 아키텍처 선택이 목표로 하는 일반화 유형(sequence-space vs fitness-space)에 따라 달라져야 한다는 실용적 함의를 도출

Limitation & Further Study

• 단일 scaffold(jGCaMP8s)에서 유래한 1,314개의 상대적으로 제한된 규모의 데이터셋에 기반하여 일반화 가능성에 한계가 있을 수 있음
• 구조 conditioning에 단일 crystal structure와 mutated position masking만을 활용해 실제 dynamic한 domain 간 상호작용을 충분히 반영했는지는 불확실함
• 모든 모델의 weight를 freeze한 상태로만 평가했으며 fine-tuning된 경우의 성능 차이는 다루지 않음
• 향후 연구로는 다른 biosensor 계열이나 더 큰 mutational space에 대한 검증, 그리고 fine-tuning 혹은 다른 conditioning 전략의 효과에 대한 추가 분석이 필요함

Evaluation

총평: 단백질 엔지니어링 실무에 직접적으로 관련된 두 가지 extrapolation 체제를 동일 데이터셋에서 체계적으로 비교함으로써 PFM 활용의 실용적 지침을 제시한 견실한 benchmark 연구이며, biosensor 엔지니어링을 위한 모델 선택 기준을 명확히 재정의했다는 점에서 의미가 크다.