Retro-Expert: Collaborative Reasoning for Interpretable Retrosynthesis

Motivation

• Known: 기존 retrosynthesis 예측은 specialized ML model 기반의 static pattern-matching(분류 또는 auto-regressive 생성) 방식과, SFT로 학습된 LLM 기반 방식으로 나뉘며, 각각 SMILES 매핑 학습을 통해 반응물을 예측한다.
• Gap: specialized model은 black-box 예측 메커니즘으로 인해 화학적으로 근거 있는 설명을 제공하지 못하고, LLM 기반 방법은 SFT를 통해 고정된 답변 형식과 암기된 반응 패턴을 모방하는 데 그쳐 화학 원리에 기반한 논리적 추론이 부족하다. 또한 pure RL을 직접 적용하면 domain knowledge disparity와 exploration의 cold start 문제가 발생한다.
• Why: 해석 가능하고 신뢰할 수 있는 retrosynthesis 예측은 신약 개발 및 분자 설계 실무에서 화학자의 신뢰를 얻기 위해 필수적이며, black-box 예측을 벗어나 화학 논리에 기반한 자연어 설명을 생성하는 것은 실제 적용 가능성을 크게 높인다.
• Approach: Retro-Expert는 specialized model이 추출한 화학 지식을 고품질 decision space로 증류하고, 이를 바탕으로 LLM이 critical-generative reasoning을 수행하여 해석 가능한 추론 경로와 반응물 예측을 생성하며, 이후 Chem-RM 기반의 Knowledge-Grounded Policy Optimization(KGPO)으로 정책을 정제하는 협력적 추론(collaborative reasoning) 프레임워크를 제안한다.

Achievement

Figure 3. Comparison of correct predictions distributions across

1. 성능 우위: Retro-Expert는 LLM 기반 방법과 specialized model 기반 방법 모두를 다양한 지표에서 능가하는 예측 정확도를 달성했다.
2. 해석 가능한 설명 생성: 화학 논리에 근거한 자연어 추론 과정을 생성하여 화학자의 신뢰도를 높이는 것으로 평가되었다(인간 평가 포함).
3. 일반화 및 확장성: multi-step retrosynthesis로의 강한 일반화 성능과 효율적인 확장 가능성을 입증했다.

How

Figure 4. Visualization of the KGPO’s optimization pipeline. Our Retro-Expert conducts case-by-case critical thinking an

• Chemical Decision Space Construction: reaction type classifier, reaction center localization, reactant generator 등 specialized model을 활용하여 target product를 분석하고, LLM 추론을 위한 "knowledge anchor" 역할을 하는 고품질 chemical decision space를 구축한다.
• Collaborative Reasoning Engine: LLM이 decision space 위에서 critical-generative reasoning을 수행하여 분자 특징을 분석하고 후보를 비판적으로 평가하며, 유효한 knowledge prior를 선택하거나 새로운 것을 생성하여 다단계 논리를 자연어 추론 체인으로 표현한다.
• Knowledge-Grounded Policy Optimization (KGPO): 화학 도구(chemical tool)에 기반한 novel reward model인 Chem-RM을 사용하여 순수 RL(SFT 없이)로 LLM의 추론 전략을 최적화하고, 최적이자 신뢰할 수 있는 추론 경로를 학습하도록 유도한다.
• 기존 conventional RL pipeline(SFT+RL 필요)과 달리, decision space를 직접 활용해 SFT 단계 없이 LLM을 최적화한다(Figure 1 비교).

Originality

• SFT 기반 패턴 모방을 배제하고, specialized model의 지식과 LLM 추론을 결합한 decision space를 활용해 pure RL만으로 화학적 추론을 유도하는 새로운 패러다임을 제시함.
• LLM과 specialized model의 상호보완적 강점을 결합하는 collaborative reasoning 구조(지식 증류 → critical reasoning → policy 최적화)를 설계함.
• 화학 도구 기반의 reward model인 Chem-RM을 도입해 reasoning 경로의 화학적 타당성을 직접적으로 보상 신호에 반영함.

Limitation & Further Study

• Chem-RM 및 decision space 구축이 specialized model(반응 유형 분류기, 반응 중심 위치 지정기 등)의 품질에 의존적이므로, 이들 모델의 오류가 전체 파이프라인에 전파될 위험이 있음.
• 발췌된 내용만으로는 다양한 화학 반응 유형(예: 희귀 반응, 복잡한 다단계 반응)에 대한 일반화 한계나 계산 비용(RL 학습에 따른 자원 소모)에 대한 구체적 분석이 제한적으로 보임.
• 향후 연구로 다양한 도메인(예: 약물 유사 분자, 산업 규모 반응 데이터셋)에서의 검증 및 reward model의 hallucination 방지 메커니즘 강화가 필요해 보임.

Evaluation

총평: specialized model과 LLM의 강점을 결합해 SFT 없이 pure RL로 해석 가능한 retrosynthesis 추론을 달성한 점이 인상적이며, 화학 응용에서 해석가능성과 성능을 동시에 추구한 실용적 기여가 돋보인다.