FluorCode: Predicting Fluorescent Protein Photophysical Properties with LoRA-Fine-Tuned Protein Language Models

Motivation

• Known: Fluorescent protein의 photophysical property(excitation/emission wavelength, quantum yield, brightness 등)는 chromophore-forming tripeptide와 그 주변 미세환경에 의해 결정되며, FPbase 같은 curated dataset을 활용해 FPredX와 같은 alignment 기반 machine learning 모델이 예측에 사용되어 왔다.
• Gap: 기존 random cross-validation 프로토콜은 protein ML 전반에서 sequence-similarity leakage로 인한 성능 과대평가 문제가 알려져 있었으나, fluorescent protein property prediction 분야에서는 이 문제가 다뤄진 적이 없었으며, alignment 기반 방법이 novel(원격 상동) FP에 대해 얼마나 취약한지도 체계적으로 검증되지 않았다.
• Why: Novel fluorescent protein을 엔지니어링하거나 후보를 스크리닝할 때는 훈련 데이터와 거리가 먼 서열에 대한 일반화 성능이 핵심인데, 부적절한 평가 프로토콜을 사용하면 실제로는 신뢰할 수 없는 모델을 과신하게 되어 실험 자원의 낭비나 잘못된 결론으로 이어질 수 있다.
• Approach: alignment 기반 one-hot encoding(FPredX 재현) baseline과 LoRA-fine-tuned ESM2-650M에 chromophore-aware attention pooling을 결합한 FluorCode를 sequence-identity-clustered cross-validation(50%)과 random cross-validation 하에서 비교하고, 여기에 Pocket-3D 구조 기반 descriptor를 late-fusion으로 추가하는 ablation을 수행한다.

Achievement

1. Clustered CV에서의 견고성 입증: sequence-identity-clustered cross-validation(50%) 하에서 alignment 기반 baseline은 excitation MAE가 12.7→35.6 nm로 급격히 악화되고 brightness 예측이 노이즈 수준(R=0.13)으로 붕괴하는 반면, LoRA-ESM2 MLP 모델은 excitation MAE 8.9→11.3 nm, brightness R=0.96으로 견고함을 유지함을 보였다.
2. Random CV의 과대평가 실증: 기존 protein ML에서 지적된 random cross-validation의 성능 과대평가 문제가 fluorescent protein 예측에서도 재현됨을 실험적으로 보여, 유사 변이체가 train/test fold에 동시에 존재해 20 nm 이상의 일반화 격차(generalization gap)를 은폐한다는 것을 확인했다.
3. 구조 정보의 한계 확인: 913개 chromophore-grafted 구조로부터 추출한 Pocket-3D chromophore-anchored descriptor를 강력한 PLM baseline에 late-fusion으로 추가해도 일관된 성능 향상이 없음을 보여, 현재 형태의 hand-crafted 구조 정보가 LoRA-ESM2 기반 sequence representation을 넘어서지 못함을 입증했다.

How

• FPbase API로 1,040개 단백질 항목을 수집하고 MAFFT alignment, trimAl filtering을 거쳐 986개 protein, 이 중 GFP-family 927개(chromophore triad Ser65–Tyr66–Gly67 매핑 성공)로 최종 데이터셋 구성
• Baseline: FPredX 방식의 alignment 기반 one-hot encoding(1,271 feature) + XGBoost, Optuna로 hyperparameter 튜닝(30 trial, 3-fold inner CV)
• 제안 모델: ESM2-t33-650M에 rank-16, α=32 LoRA adapter를 마지막 6개 transformer layer(27-32)의 query/key/value/output projection에 삽입(약 983K trainable parameter, 전체의 0.15%), multi-task masked Huber loss로 5개 photophysical target을 동시 예측
• Chromophore-aware attention pooling: chromophore triad 위치에 +3.0 positive bias를 부여한 4-head attention으로 잔기별 embedding을 pooling하여 1,280차원 protein-level embedding 생성
• Downstream head로 XGBoost와 MLP(LayerNorm, dropout, GELU 등) 두 가지를 비교
• 구조 분기: SimpleFold-100M으로 913개 단백질의 backbone 구조를 예측하고 chromophore를 grafting, energy minimization 후 Pocket-3D chromophore-anchored descriptor를 추출하여 late-fusion ablation 수행
• Sequence-identity-clustered cross-validation(50% 임계값)과 standard random cross-validation을 모두 적용해 비교

Originality

• Fluorescent protein property prediction 분야에서 처음으로 sequence-identity-clustered cross-validation을 도입해 random CV의 성능 과대평가 문제를 정량적으로 드러냄
• Chromophore triad 위치에 학습 가능한 positive bias를 부여한 chromophore-aware attention pooling이라는 도메인 특화 pooling 메커니즘을 제안
• LoRA를 이용해 대형 PLM(ESM2-650M)을 소규모 fluorescent protein dataset에 파라미터 효율적으로 fine-tuning하는 파이프라인 구축
• Chromophore-grafted, energy-minimized 예측 구조로부터 Pocket-3D descriptor를 추출하는 구조 기반 late-fusion ablation을 통해 explicit structural information의 실질적 기여도를 검증

Limitation & Further Study

• Dataset 규모가 927개 GFP-family 단백질로 여전히 제한적이며, non-GFP-family(cofactor-dependent) 59개 단백질은 별도 분석에서 제외되어 일반화 범위가 좁음
• Pocket-3D descriptor가 hand-crafted feature에 의존하고 있어 학습 기반 구조 표현(예: structure-aware PLM, geometric deep learning)과의 비교가 부족하며, 예측 구조(SimpleFold-100M)의 정확도가 결과에 미치는 영향에 대한 검증이 제한적
• 50% 하나의 clustering threshold만 주로 제시되어 다양한 stringency에서의 체계적 분석(Figure 5는 언급되나 본문 발췌에 상세 결과 부족)이 더 필요
• 후속 연구로는 더 큰 규모의 다양한 FP family, 실제 실험 구조 데이터, 그리고 구조와 서열 표현을 보다 긴밀하게 통합하는 architecture 탐색이 필요

Evaluation

총평: 기존 protein ML의 평가 프로토콜 문제를 fluorescent protein 예측 분야에 명확히 적용하여 실질적 함의를 제시하고, LoRA 기반 PLM이 novel FP에 대한 일반화에서 우수함을 설득력 있게 보여준 실용적이고 신뢰할 수 있는 연구이다.