GOAgent: Tool-Orchestrating Language Agents for Protein Function Annotation

Motivation

• Known: 전통적인 homology 기반 bioinformatics pipeline은 잘 특징지어진 단백질에는 신뢰할 만한 annotation을 제공하지만 reference database에 근접 homolog가 없는 novel sequence에는 일반화되지 않으며, protein language model 기반 deep learning 방법들은 homology 기반 접근보다 개선되었지만 학습 label의 완전성에 의해 제한되고 해석 가능성이 부족하다.
• Gap: 기존 deep learning 기반 protein function 예측 모델들은 학습 데이터의 다양성 부족에 제약받고 예측을 이끄는 특징에 대한 해석 가능성이 낮으며, 새로운 modality나 tool을 유연하게 통합하기 어렵다는 한계가 있다.
• Why: 단백질 서열 생산 속도가 기능 특성화 속도를 크게 앞지르는 상황에서, 정확도뿐 아니라 감사 가능한(auditable) 추론 과정과 확장성을 갖춘 GO annotation 방법은 미주석 단백질 규명과 새로운 bioinformatics tool의 신속한 통합에 실질적으로 기여할 수 있다.
• Approach: LLM agent가 physicochemical 서열 분석, transmembrane topology 예측, PROSITE motif scanning, binding-site 추정, Rosetta 기반 구조 지표, SignalP6 등 사전 정의된 bioinformatics tool suite를 호출하고 그 출력을 자연어로 추론하여 GO term을 예측하도록 하며, 사전 정의 tool 대신 sandboxed 실행 환경을 직접 오케스트레이션하는 변형도 함께 평가한다.

Achievement

Figure 3. Evaluation under CAFA5 metrics. During training, we

1. GOAgent 제안: 학습된 protein embedding 없이 established bioinformatics tool의 출력에 대한 추론만으로 GO annotation을 수행하는 tool-orchestrating LLM agent를 도입했다.
2. Tool-augmented 성능 향상: tool-augmented Qwen3-8B가 zero-shot Qwen3-8B를 능가하고 일부 경우 zero-shot Qwen3-14B와 동등하거나 이를 상회함을 보였다.
3. End-to-end 학습 효과: GRPO 기반 multi-turn tool-calling rollout 학습을 통해 standard GO term prediction과 더 어려운 per-domain annotation task 모두에서 untrained tool-using agent 대비 추가적인 성능 향상을 확인했다.
4. Tool ablation 분석: 성능 향상이 특정 단일 tool에 편중되지 않고 toolset 전반에 분산되어 있음을 확인했다.
5. 코드 및 데이터 공개: Modal Labs에서 재현 가능한 multi-turn tool-calling agent 학습·평가 코드베이스를 공개하고, CAFA5 전체 데이터셋과 temporal evaluation 데이터셋 일부에 대한 precomputed tool 출력을 배포했다.

How

Figure 3. Evaluation under CAFA5 metrics. During training, we

• CAFA5 dataset(Molecular Function, Biological Process, Cellular Component 세 GO subontology 포함)을 이용해 1,500개 단백질, 각 8개 rollout replicate로 agent를 학습하고 1,000개 held-out 단백질로 일반화 성능을 평가
• physicochemical 서열 특성화, transmembrane topology 예측, PROSITE motif scanning, binding-site likelihood 추정(protein/nucleic acid/small-molecule), Rosetta 기반 구조 지표 및 solvent accessibility, inter-residue bond 분석, SignalP6 기반 signal peptide 분류 등 curated bioinformatics tool suite 구성
• 각 tool은 sequence hash를 식별자로 받아 구조화된 JSON을 반환하고 이를 자연어로 rendering하여 agent가 추론에 활용하도록 설계
• 사전 정의 tool 호출 방식과, sandboxed 실행 환경에서 관련 입력 파일을 받아 agent가 직접 분석을 오케스트레이션하는 방식을 비교 평가
• baseline으로 tool 없는 agent와 zero-shot Qwen3-14B를 설정하고, tool 장착 시 GO term prediction 개선 정도를 측정
• GRPO를 이용해 multi-turn tool-calling rollout을 통한 end-to-end policy optimization 수행
• sequence-level 뿐 아니라 domain-level GO term 예측(각 예측 term을 특정 functional region에 결합)으로 과제를 확장
• CAFA5 표준 metric과 GO semantic similarity(SimGIC, BMA-Lin) 등으로 평가하고, tool ablation을 통해 각 tool의 기여도 분석
• UniProt 학습 cutoff 이후 공개된 temporal dataset(Fallahpour et al., 2026 제공) 일부에 대해서도 평가 수행

Originality

• 학습된 protein embedding에 의존하지 않고, 기존 established bioinformatics tool의 출력을 자연어로 추론하는 방식으로 GO annotation을 수행하는 tool-orchestrating LLM agent 패러다임 제시
• 사전 정의 tool 호출과 sandboxed 자유 오케스트레이션 두 가지 agent 설계를 비교 평가
• GRPO를 이용한 multi-turn tool-calling rollout 기반 end-to-end 학습을 protein function annotation에 적용
• sequence-level뿐 아니라 predicted term을 특정 functional domain과 연결하는 per-domain annotation task로 평가 범위 확장
• model-agnostic하고 modular한 tool 통합 구조를 통해 새로운 bioinformatics tool을 손쉽게 추가할 수 있는 확장성 확보

Limitation & Further Study

• GOAgent는 BioReason-Pro와 같은 dedicated multimodal protein function 모델의 raw accuracy에는 미치지 못한다고 저자들 스스로 명시
• multi-step rollout의 계산 비용으로 인해 temporal evaluation dataset 전체에 대한 full-dataset 평가는 수행되지 않음
• 학습에 사용된 단백질 수(1,500개)와 rollout replicate 수(8개)가 비교적 제한적이어서 대규모 다양성에 대한 일반화 검증이 추가로 필요
• tool suite가 curated된 특정 bioinformatics tool들에 국한되어 있어, molecular dynamics 시뮬레이션 등 추가 modality 통합 및 효과 검증이 향후 과제로 남음
• 정확도와 해석가능성 간 trade-off에 대한 정량적 비교(예: 해석가능성의 실질적 이점을 측정하는 지표)가 부족함

Evaluation

총평: tool-augmented LLM agent와 policy optimization을 결합해 해석 가능하고 확장 가능한 protein function annotation 프레임워크를 제시한 실용적이고 흥미로운 연구이나, 최고 성능의 전용 multimodal 모델에는 미치지 못하며 평가 규모와 계산 비용 측면의 한계가 있어 향후 대규모 검증이 필요하다.