Proteo-R1: Reasoning Foundation Models for De Novo Protein Design

Motivation

• Known: 기존 diffusion 기반 단백질 설계 모델들(ProteinMPNN, RFDiffusion 등)은 구조 생성을 직접 수행하지만 설계 의도가 diffusion 과정 내에 암묵적으로 인코딩되어 해석가능성과 제어성이 제한된다는 점은 잘 알려져 있다. 인간 단백질 공학자는 먼저 기능적으로 중요한 잔기를 식별한 후 기하학적 최적화를 수행하는 방식을 취한다.
• Gap: 기존 생성 모델들은 모든 잔기를 균일하게 다루며 추론과 생성이 얽혀 있어, 설계 논리의 재사용성과 제어가능성이 떨어진다. 또한 textual guidance를 continuous dynamics에 직접 주입하는 방식은 안정성과 해석가능성 측면에서 문제가 있다. LLM의 추론능력과 diffusion 모델의 기하학적 생성능력을 명시적으로 분리하여 통합하는 프레임워크가 필요하다.
• Why: 단백질 설계는 구조적 안정성과 기능적 효율성을 동시에 만족해야 하는데, 기존 black-box 생성 모델은 설계 결정의 생화학적 근거를 명시하지 않는다. 따라서 결과의 신뢰성 평가와 재설계가 어렵다. 추론 단계를 분리함으로써 과학적 해석가능성을 높이고 도메인 지식을 체계적으로 활용할 수 있다.
• Approach: Proteo-R1은 두 가지 전문 모듈로 구성된다: (1) Understanding Expert: multimodal LLM이 sequence encoding(ESM-2), structure encoding(AF3 style), textual context를 통합하여 functional residue를 식별하고 biochemical identity를 결정한다. (2) Generation Expert: AF3-like diffusion model이 understanding expert의 residue-level constraint를 hard constraint로 받아 조건부 코디자인을 수행한다. 두 모듈 간 정보 흐름은 residue embedding space에서의 명시적 injection을 통해 이루어진다. 3단계 curriculum learning으로 cross-modal grounding, geometric reasoning, end-to-end design을 순차적으로 안정화한다.

Achievement

Figure 2. Three-stage training diagram of Proteo-R1. In Stage I (Multimodal Alignment), the framework uses general prote

• 해석가능성 향상: residue-level 결정이 명시적으로 표현되어 설계 과정을 추적 및 검증 가능
• 제어성 강화: key interaction anchor를 hard constraint로 고정함으로써 생성 과정에서 의도적 제어 실현
• 모듈성 확보: understanding expert와 generation expert의 분리로 다양한 생성 백엔드(AF3-like, flow-matching 등)와의 호환성 제공
• 구조적 합리성: antibody-antigen CDR 코디자인 실험에서 purely generative baseline 대비 improved structural realism, binding rationality 달성
• 지식 재사용성: 설계 논리를 독립적으로 검사, 수정, 재사용 가능하게 함

How

Figure 2. Three-stage training diagram of Proteo-R1. In Stage I (Multimodal Alignment), the framework uses general prote

• Understanding Expert: 마스크된 CDR region을 가진 복합체를 입력으로, ESM-2를 통한 sequence embedding, AF3 style structural representation, 텍스트 기반 생화학 맥락(antigen hotspot, design intent 등)을 multimodal alignment으로 통합
• Key Residue Identification: LLM이 salt bridge hotspot, specificity-determining motif 등 기능적으로 중요한 잔기 위치와 선호 biochemical identity 결정
• Residue Embedding Injection: understanding expert의 hidden representation을 projection layer를 통해 diffusion model의 residue embedding space로 변환하고, key residue position의 standard <X> embedding을 명시적으로 대체
• Conditional Codesign: generation expert의 diffusion process에서 고정된 residue constraint를 유지하면서 나머지 자유도 최적화
• 3단계 학습: Stage I (Multimodal Alignment, general protein PDB), Stage II (Mid-Training, antibody-specific data SAbDab), Stage III (Joint Training, end-to-end optimization)

Originality

• Novel architectural paradigm: reasoning과 generation의 명시적 분리는 기존 CoT-guided diffusion과 근본적으로 다른 접근. 인간 전문가의 설계 방식을 직접 모방한 구조적 혁신
• Residue-level constraint 메커니즘: embedding injection을 통한 hard constraint 방식은 textual guidance 주입의 문제점(stability, interpretability)을 우회하는 창의적 해결책
• Multimodal reasoning integration: sequence, structure, textual context를 simultaneously leverage하면서도 diffusion 모델의 inductive bias 보존
• Modular design philosophy: understanding expert와 generation expert의 독립적 개선과 상호 교체 가능성 제공

Limitation & Further Study

• 평가 범위 제한: 현재 antibody CDR codesign 한정, 다양한 단백질 설계 작업(de novo fold, enzyme design 등)으로 일반화 검증 필요
• LLM 성능 의존: understanding expert의 정확도가 최종 설계 품질을 결정하는데, LLM의 hallucination이나 오류 전파 위험 미분석
• Computational overhead: 3단계 curriculum learning과 embedding projection 메커니즘으로 인한 계산 비용 증가, inference time 비교 미제시
• 학습 데이터 부족: SAbDab 데이터셋 규모와 다양성 제한으로 더 큰 scale 단백질 시스템 적용성 불명확
• 후속 연구: generation expert의 구체적 아키텍처 (AF3 variant 상세 스펙), understanding expert의 LLM 선택 rationale, constraint violation 시 복구 메커니즘 상세 기술 필요

Evaluation

총평: Proteo-R1은 단백질 설계에 명시적 추론 단계를 도입하여 해석가능성, 제어성, 모듈성을 획기적으로 개선하는 중요한 방법론을 제시한다. dual-expert architecture와 residue-level constraint 메커니즘은 창의적이며 기술적으로 견고하다. 다만 평가가 antibody CDR에 국한되고 LLM 오류 전파나 계산 효율성 분석이 부족한 점이 아쉽다. 향후 다양한 단백질 설계 작업으로 일반화하고 이러한 실무적 측면들을 보완한다면 단백질 공학 분야에서 매우 영향력 있는 방법론이 될 수 있을 것으로 판단된다.