When Single Answer Is Not Enough: Rethinking Single-Step Retrosynthesis Benchmarks for LLMs

Motivation

• Known: 기존 single-step retrosynthesis(SSRS) 평가는 USPTO-50K와 같은 patent 기반 데이터셋에서 단일 ground-truth 반응에 대한 Top-K exact-match accuracy를 표준 지표로 사용해왔으며, round-trip accuracy, MaxFrag accuracy, coverage, class diversity 같은 보조 지표들도 제안되어 왔다.
• Gap: 실제 합성 계획은 하나의 target에 대해 여러 유효한 retrosynthetic disconnection이 존재하는 open-ended 문제임에도, 기존 Top-K 기반 지표들은 단일 ground-truth를 가정하여 reaction-center validity, functional-group compatibility, selectivity 같은 핵심 화학적 기준을 직접 검증하지 못하며, LLM을 활용한 OOD 합성 계획 평가를 위한 객관적이고 재현 가능한 벤치마킹 프레임워크가 부재하다.
• Why: LLM이 신약 개발의 합성 계획(synthesis planning) 분야에 빠르게 도입되고 있는 상황에서, 화학적으로 타당한 답변을 정답과 다르다는 이유로 오답 처리하는 기존 평가 방식은 모델의 실제 유용성을 왜곡할 수 있어, 신뢰할 수 있는 벤치마크 설계는 CASP 시스템의 실질적 채택과 발전에 직결되는 문제이다.
• Approach: ChemCensor라는 화학적 타당성 기반 신규 지표를 제안하여 exact-match 대신 plausibility를 평가하고, 이를 활용해 ChemCensor로 검증된 대규모 reaction 데이터셋 CREED를 구축한 뒤 이를 이용해 C3LM 모델을 파인튜닝하여 general-purpose 및 chemistry-specialized LLM baseline들과 비교한다.

Achievement

1. ChemCensor 지표 제안: exact-match Top-K accuracy를 넘어 reaction-center validity, functional-group precedent 등 화학적 기준으로 SSRS 예측을 평가하는 새로운 metric을 개발했다.
2. CREED 데이터셋 구축: 약 3천 개의 in-house reaction template으로부터 파생된 약 2270만 개 규모의 reaction 데이터셋(CREED)과 ChemCensor로 검증된 subset(CREED-CCV)을 공개했다.
3. URSA-expert-2026 벤치마크 공개: 완전히 새로운 100개 분자 구조에 대해 전문가가 합성 가능성을 평가한 벤치마크 세트를 제시했다.
4. C3LM 모델 학습 및 성능 개선: CREED로 학습한 C3LM 계열 모델이 Grok-4.1, Gemini 3 Flash, Claude Sonnet 4.5/Opus 4.5, GPT 5.2, DeepSeek 3.2, NatureLM, ether0, RetroDFM-R 등 다양한 general-purpose 및 chemistry-specialized LLM baseline들 대비 ChemCensor 통과율에서 우수한 성능을 보였다.

How

• ChemCensor는 반응 중심(reaction center) 유효성, functional group(FG) 호환성 precedent 존재 여부, reactant-product 중복 여부 등을 검사하는 화학 규칙 기반 평가 파이프라인으로 구성되며, in-house 반응 데이터베이스에서 precedent를 검색하여 예측된 disconnection의 타당성을 판정한다.
• CREED는 약 3천 개의 전문가 코딩된 reaction template을 기반으로 대규모 조합적 enumeration을 통해 2270만 개의 반응 레코드를 생성하고, 이 중 일부를 ChemCensor로 재검증하여 CREED-CCV subset을 구성한다.
• URSA-expert-2026 벤치마크는 완전히 새로운 100개 분자에 대해 화학 전문가의 synthetic feasibility 평가를 결합해 벤치마크 세트를 구성하고, USPTO-50K-test-mini와 함께 평가에 사용한다.
• C3LM 모델군(LFM2, Qwen3 기반 등)을 CREED, CREED+USPTO 등 다양한 조합으로 파인튜닝하고, RFT(강화학습 기반 fine-tuning) 등의 변형도 함께 비교 평가한다.

Originality

• 단일 ground-truth 가정을 벗어나 화학적 plausibility 중심의 평가 패러다임(ChemCensor)을 제안한 점이 기존 Top-K/round-trip/MaxFrag 계열 지표들과 차별화된다.
• 수천만 규모의 template 기반 CREED 데이터셋과 ChemCensor로 검증된 CCV subset을 함께 공개하여 데이터 품질과 규모를 동시에 확보했다.
• 완전히 새로운 분자에 대한 전문가 평가 기반 벤치마크(URSA-expert-2026)를 구축해 OOD 상황에서의 실질적 합성 계획 능력을 측정하려는 시도가 독창적이다.
• 다양한 최신 general-purpose LLM(Grok, Gemini, Claude, GPT, DeepSeek)과 chemistry-specialized LLM(NatureLM, ether0, RetroDFM-R 등)을 동일한 새로운 지표로 광범위하게 비교한 점도 특징적이다.

Limitation & Further Study

• ChemCensor가 in-house reaction database와 template에 의존하는 것으로 보이며, precedent 검색 기반 판정 방식의 커버리지와 편향성(특정 화학 영역에 대한 과소/과대 표현)에 대한 검증이 충분히 제시되지 않았다.
• URSA-expert-2026이 100개의 분자로 규모가 작아 통계적 유의성 및 일반화 가능성에 한계가 있을 수 있다.
• CREED가 template 기반으로 생성되었기 때문에 template에 포함되지 않은 새로운 반응 유형이나 예외적 화학반응에 대한 다양성이 제한적일 수 있으며, 이에 대한 정량적 분석이 추가로 필요하다.
• 저자 전원이 상업적 AI 기업 소속으로, 벤치마크와 모델 설계에 이해상충 가능성이 존재하여 독립적인 제3자 검증이 요구된다.
• 후속 연구로는 multistep retrosynthesis(MSRS)로의 확장, ChemCensor의 외부 공개 데이터베이스 기반 재현성 검증, 그리고 더 다양한 화학 영역을 포괄하는 대규모 전문가 평가 벤치마크 구축이 필요하다.

Evaluation

총평: 기존 Top-K exact-match 패러다임의 근본적 한계를 지적하고 화학적 타당성 중심의 새로운 평가 체계와 대규모 데이터셋을 함께 제시한 실용적 기여가 크지만, 상업적 이해관계에 따른 독립적 검증 필요성과 벤치마크 규모의 제한은 향후 보완이 필요하다.