BioReason-Pro: Advancing Protein Function Prediction with Multimodal Biological Reasoning

Motivation

• Known: 단백질 기능 예측은 기존에 shallow sequence similarity에 의존하거나 분리된 classification 작업으로 취급해왔다. Protein foundation models(ESM3, ProtT5)는 풍부한 sequence-structure-function 관계를 인코딩하지만 암시적 지식에 머물러 있다. LLM의 chain-of-thought 추론은 복잡한 다단계 문제 해결에 효과적임이 알려져 있다.
• Gap: 기존 방법들은 protein foundation models의 표현 깊이와 structured multi-step reasoning을 결합하지 못했다. 또한 free-text 기반 접근들(Prot2Text, ProtT3, STELLA 등)은 설명적이지만 증거에 대한 추론을 제공하지 않으며, GO term 예측 방법들은 GO terms를 분리된 분류 대상으로 취급하여 새로운 또는 조합적 기능에 대한 표현력이 제한적이다.
• Why: 단백질 기능은 sequence, structure, domain architecture, evolutionary context, interaction networks의 상호작용으로 결정되며, 이는 전문가 생물학자가 주석 작성 시 통합하는 증거 출처와 동일하다. 스케일 가능한 기능 특성화는 UniProt의 250백만 개 단백질 중 0.1% 미만만 실험적으로 검증되어 있어 매우 중요한 문제다.
• Approach: Qwen3-4B 기반 LLM에 ESM3 residue-level embeddings과 GO graph encoder를 통합하여 biological context를 natural language로 추론한다. GPT-5를 사용해 130K 이상의 synthetic reasoning traces를 생성하여 supervised fine-tuning을 수행하고, reinforcement learning으로 추가 최적화한다. CAFA 프레임워크에 따라 시간적 홀드아웃으로 데이터를 분할한다.

Achievement

Figure 3 | BioReason-Pro evaluation on protein function prediction. (A) LLM-as-Judge framework. GPT-5.1 evaluated

GO-GPT 성능: weighted Fmax 0.65–0.70으로 CAFA 5 경쟁의 상위 접근 가능 방법들을 초과. BioReason-Pro GO 예측: 73.6% Fmax 달성. 기능 요약: LLM judge 점수 8/10. 인간 전문가 평가: 79% 사례에서 UniProt 주석보다 선호. Binding partner 예측: de novo로 실험 검증된 결합 파트너 예측, cryo-EM 구조의 정확한 contact residues에 per-residue attention 집중.

How

Figure 1 | Overview of BioReason-Pro for protein function prediction. (A) BioReason-Pro architecture. A multi-

• ESM3 및 GO graph encoder를 통한 multimodal embedding 입력
• InterPro, STRING, PDB, 세포 소재지 메타데이터로 biological context 풍부화
• GO-GPT의 GO term 예측 결과를 초기 가설로 활용
• GPT-5 생성 synthetic traces로 supervised fine-tuning (133,492 단백질, 3,135 생물체)
• 최적화 정확도 향상을 위한 reinforcement learning
• CAFA 시간적 홀드아웃 프로토콜 준수

Originality

• 최초성: 첫 번째 multimodal reasoning LLM으로 protein foundation models와 structured reasoning을 결합
• GO-GPT 설계: Gene Ontology의 계층적 및 교차 측면 의존성을 capture하는 autoregressive transformer (기존 분리된 분류 대신 sequence generation으로 취급)
• 합성 훈련 데이터: LLM(GPT-5) 생성 reasoning traces를 대규모로 활용한 신규적 접근
• 다층 평가: LLM judge, 인간 전문가, 구조 기반 검증(cryo-EM) 포함

Limitation & Further Study

• 합성 데이터 의존성: 훈련이 GPT-5 생성 traces에 의존하여 분포 편향 가능성
• 컨텍스트 길이: ESM3 context window 제약으로 단백질을 2000 amino acids로 절단
• 평가 범위: 인간 전문가 평가 규모 미상 (79% 선호도의 샘플 크기 불명확)
• 일반화 검증: 매우 낮은 훈련 데이터 유사도 단백질에 대한 추가 벤치마크 부족

후속 연구:

• 더 긴 시퀀스 처리를 위한 구조 요약 방법 개발
• 다양한 생물학적 도메인에 대한 전문화된 모델 학습
• 실시간 피드백을 통한 지속적 모델 개선 메커니즘
• 다른 생물학적 작업(상호작용 예측, 경로 주석)으로의 확장

Evaluation

총평: BioReason-Pro는 protein function prediction을 위해 multimodal embeddings과 structured reasoning을 통합한 혁신적 접근이다. GO-GPT의 우수한 성능, 인간 전문가의 높은 선호도(79%), 구조적 근거에 기반한 binding partner 예측의 정확성 등이 강점이다. 합성 훈련 데이터 의존성과 컨텍스트 길이 제약이 제한 사항이나, 전체적으로 단백질 기능 주석 자동화에 크게 기여하는 의미 있는 작업이다.