Retro-Forge: A Multi-Step Pairwise Retrosynthesis Framework for Solid-State Materials Synthesis

Motivation

• Known: 기존 PP 연구는 retrieval 기반, 열역학적 최적화, ranking 기반, 그리고 최근의 LLM fine-tuning 접근법 등이 있으며, 이들은 모두 target composition에서 전체 precursor set으로의 단일 단계(single-shot) 매핑으로 문제를 정식화해왔다.
• Gap: 고체 상태 반응은 실제로 인접한 반응물 쌍 사이의 순차적 pairwise 반응으로 진행된다는 도메인 지식이 있음에도 이를 학습 가능한 단위로 다룬 연구가 없었고, 기존 text-mined 데이터셋(Kononova et al., Lee et al.)은 추출 오류, 화학적 무효성, 조성 편향 문제를 가지며, LLM 기반 평가는 pretraining 데이터 오염(contamination) 문제로 진정한 일반화 성능을 판별하기 어려웠다.
• Why: 유효한 합성 경로 없이는 AI가 제안한 신물질이 실험적으로 실현될 수 없기 때문에, PP는 MSP의 첫 단계이자 이후 모든 단계의 오류를 전파시키는 가장 중요한 결정 지점이며, 이를 화학적으로 타당하고 오염 없는 방식으로 해결하는 것은 AI 기반 물질 발견을 실험실로 연결하는 핵심 병목을 해소한다.
• Approach: Kononova와 Lee corpora를 화학적으로 검증·필터링해 Pairwise Reaction Dataset(PRD, ~6k entries)을 구축하고, PRD로 fine-tuning한 GPT-4.1-mini를 이용한 synthetic data augmentation으로 데이터를 확장한 뒤, 이를 통해 학습한 단일 단계 pairwise reactant prediction(PRP) 모델을 tree search로 재귀 적용하여 완전한 합성 경로를 생성한다.

Achievement

Figure 1. Overview of Retro-Forge. (a) Data augmentation pipeline. Verified pairwise reactions from the Kononova and Lee

1. Pairwise Reaction Dataset (PRD) 구축: Kononova et al.과 Lee et al. corpora를 화학적으로 검증된 pairwise 반응(A+B→C)만 남기도록 필터링하여 약 6천 개의 chemically valid 반응과 4,476개의 unique target으로 구성된 최초의 고체 합성 pairwise 데이터셋을 구축했다.
2. 데이터 증강 파이프라인 제안: PRD로 fine-tuning된 GPT-4.1-mini가 Tier 2(13,909개 target, 19,195쌍)와 Tier 3(Materials Project에서 max-entropy sampling한 50,000개 target, 70,199쌍) target에 대해 synthetic pairwise 반응을 생성하도록 하여 데이터 희소성 문제를 완화했다.
3. 다단계 pairwise retrosynthesis 프레임워크 구현: 단일 단계 PRP 모델을 tree search로 재귀 적용해 intermediate를 계속 분해하여 최종적으로 precursor catalog(1,186개 unique precursor) 내의 leaf node에 도달하는 완전한 합성 경로(예: LiFeV2O7 → LiVO3+Fe2O3 → Li2CO3+V2O5+Fe2O3)를 생성했다.
4. contamination-free 평가 프로토콜 도입 및 SOTA 대등 성능 달성: 2024년 10월 이후 등록된 ICSD 논문에서 추출한 110개의 novel evaluation target(모든 training tier에 부재)을 대상으로 target-wise 및 reaction-wise top-k 지표로 평가한 결과, Retro-Forge가 state-of-the-art 단일 단계 PP baseline과 대등한 성능을 보이면서도 오염 없는 평가에서 검증되었다.

How

Figure 1. Overview of Retro-Forge. (a) Data augmentation pipeline. Verified pairwise reactions from the Kononova and Lee

• Kononova et al.(2019) 및 Lee et al.(2025) 합성 corpora를 필터링해 검증된 pairwise 반응(A+B→C)만 추출하여 Tier 1 ground truth(PRD, 5,973개 반응) 구성
• Tier 1으로 fine-tuning한 GPT-4.1-mini가 "Predict two precursors or intermediates for [target]" 프롬프트로 Tier 2(pairwise 분해가 없는 기존 target)와 Tier 3(Materials Project에서 MTEncoder 임베딩 기반 max-entropy sampling으로 선정한 target)에 대해 target당 3개씩 후보를 생성하고 필터링
• 증강된 데이터로 단일 단계 pairwise reactant prediction(PRP) 모델을 staged fine-tuning으로 학습
• 학습된 PRP 모델을 tree search에 재귀적으로 적용해 target을 두 개의 reactant/intermediate로 분해하고, 모든 leaf node가 precursor catalog(1,186개, 금속/준금속 ≤1개, 정수 화학양론 및 전하 중성 조건 만족)에 도달할 때까지 반복
• 평가는 target-wise top-k(임의의 top-k 예측이 유효한 ground-truth precursor set과 일치하면 성공)와 reaction-wise top-k(정확한 precursor set 일치) 두 지표로 수행, 110개 contamination-free target(2025년 ICSD 등록, Claude Sonnet 4.6으로 추출) 사용

Originality

• PP를 단일 단계 매핑이 아닌 학습 가능한 pairwise 반응의 연쇄로 정식화한 최초의 시도로, 유기화학의 retrosynthesis에서의 bond disconnection 개념을 고체 상태 합성에 적용한 점이 독창적이다
• 기존 rule-based 열역학적 pairwise 접근법(Szymanski et al.)과 달리 ab initio formation energy 없이 대규모 corpus로부터 직접 학습 가능한 pairwise 반응 단위를 제안
• 화학적으로 curation된 pairwise 데이터셋(PRD)을 최초로 구축하고, LLM 기반 synthetic augmentation으로 데이터 희소성을 해결하는 파이프라인 설계
• LLM pretraining 데이터 오염 문제를 인지하고 시간적으로 분리된(post-October-2024) target으로 contamination-free 평가 프로토콜을 도입한 점이 방법론적으로 신뢰성을 높임

Limitation & Further Study

• 평가 target이 110개로 규모가 제한적이며, 이는 통계적 유의성 및 다양한 화학 공간에 대한 일반화 검증에 한계가 있을 수 있음
• 데이터 증강에 사용된 GPT-4.1-mini 자체가 생성한 synthetic pairwise 반응의 화학적 타당성 검증이 완전하지 않을 가능성이 있으며, 필터링 기준의 엄밀성에 대한 추가 검증이 필요함
• tree search 기반 recursive decomposition이 잘못된 intermediate로 수렴하거나 조합 폭발(combinatorial explosion) 문제를 겪을 가능성에 대한 논의가 부족함
• 제안된 방법이 기존 SOTA와 "on par"한 성능에 그치며 명확한 우위를 보이지 못했다는 점에서, pairwise 정식화의 실질적 이점(예: 실험적 합성 성공률 향상)에 대한 추가 실증이 필요함
• 후속 연구로 실제 실험실 검증(autonomous lab)과의 연계, 반응 조건(온도, 시간 등) 예측으로의 확장이 필요함

Evaluation

총평: 고체 상태 합성 계획을 pairwise 반응의 연쇄로 재정식화하고 오염 없는 평가 프로토콜을 도입한 점에서 방법론적 기여가 명확하며, 향후 pairwise reactant prediction 성능 개선이 합성 경로 발견 전반의 향상으로 이어질 수 있음을 시사하는 의미 있는 워크숍 논문이다.