SynthonBench: Benchmarking Sample-Efficient Optimization in Combinatorial Chemical Spaces

Essence

Figure 3

SynthonBench는 synthon 기반 combinatorial chemical library(make-on-demand/fragment-space)에서 정해진 oracle 호출 예산 하에 다양한 탐색·최적화 방법을 exact metric(top-k recall, regret, docking-call reduction factor(DCRF))으로 비교할 수 있는 재현 가능한 벤치마크이다. 전체 product universe의 oracle 값을 미리 계산해 lookup table로 제공함으로써, docking software 없이도 정확하고 값싸게 새로운 방법을 채점할 수 있게 한다.

Motivation

Known: Ultra-large synthesis-on-demand library(REAL-style, Freedom Space 등)는 조기 hit discovery의 표준 입력으로 자리 잡았으며, synthon 기반 combinatorial space를 직접 탐색하는 VirtualFlow, V-SYNTHES, SpaceLight, SASS, Deep Docking, HASTEN, SpaceHASTEN, SpaceGA, SALSA, Thompson sampling 등 다양한 방법론이 제안되어 왔다.
Gap: 기존 GuacaMol, MOSES, PMO, DOCKSTRING 같은 벤치마크는 distribution learning, de novo design, 분자 최적화, docking score 목표를 다루지만 synthon-space에서의 예산 제약형 acquisition 정책 자체를 공정하고 exact하게, license-free로 비교할 수 있는 공통 벤치마크는 없었다.
Why: 산업계에서 보고되는 수백~수천 배 비용 절감 주장이 사실인지, 그리고 어떤 탐색 전략이 실제로 synthon-space에서 sample-efficient한지를 검증할 공통의 exact 기준이 있어야 재현성 있는 방법론 비교와 신뢰할 수 있는 스케일링 법칙 도출이 가능하다.
Approach: 전체 product universe에 대해 oracle 값을 한 번만 사전 계산해 고정된 lookup table로 서빙함으로써, 어떤 acquisition 정책이든 API를 통해 reaction/synthon tuple을 질의하고 공유된 oracle 예산 하에서 exact metric으로 평가받도록 설계된 benchmark 겸 audit 프레임워크를 제안한다.

Achievement

Figure 1

완전하고 정확한 벤치마크 인프라: Freedom Space 5.0 make-on-demand library의 subset을 기반으로 3개의 1M Glide Docking HTVS table(KIF11, PYRD, TGFR1), 1M/10M/100M 규모의 matched docking-surrogate task, 그리고 Synthetic Properties, Lead Rediscovery, Lead Optimization 3개의 non-docking suite를 포함하는 재현 가능한 벤치마크를 공개했다.
GA 계열 방법의 우위 입증: 기본 10,000-call docking budget에서 typed GA가 mean top-1000 DCRF 21.5를 달성(random 0.86, exact-oracle ceiling 99.06 대비)하며 SpaceGA가 근소하게 뒤따르고, non-docking suite 전반에서도 typed GA가 유일한 top significance group으로 random-to-optimum utility gap의 76%를 해소함을 보였다.
예산 규모별 방법론 특성 규명: call 예산이 1,000 이하로 부족할 때는 factored bandit(SALSA-inspired TS 등, 1,000-call에서 39.6×)이 우세하며, factored bandit은 경쟁력 있는 DCRF를 보이지만 평균적으로 negative closure를 보여 globally optimal이 아닌 locally enriched set을 회수한다는 한계를 규명했다.
HASTEN 계열 active learning의 스케일링 법칙 확인: HASTEN 프로토콜이 전체 library를 먼저 enumerate하는 대신 가장 높은 reduction factor를 달성하며, SpaceHASTEN이 iterative search 방법 중 가장 강한 scaler(top-0.1% DCRF 17→109→163, 1M→100M)임을 보였고, 방법 순위가 oracle과 scale에 걸쳐 강하게 전이됨(Spearman ρ 0.86–0.95)을 확인했다.

How

Figure 3

Reaction template R과 synthon set S_{r,i}로 정의되는 product universe P_R 위에서, optimizer는 (r, s1,...,sm) tuple을 제안하고 공유된 budget B 내에서 oracle 값을 받는 fixed-budget, deterministic black-box optimization 문제로 형식화한다.
탐색(search) 단계에서는 method가 API와 하나의 공유 oracle budget만 상호작용하며, API는 reaction slot당 유효한 synthon id를 반환하고 제안된 tuple을 즉시 score한다.
감사(audit) 단계에서는 질의된 product identifier를 precomputed reference score table과 join하여 top-1000 recall, DCRF, top-0.1% DCRF, regret 등 exact metric을 산출하며, 이 과정은 전체 product space를 enumerate하거나 저장할 필요가 없다.
Glide Docking HTVS, ML surrogate, Synthetic Properties, Lead Rediscovery(ECFP4/FCFP4 aripiprazole similarity 등), Lead Optimization(MPO) 등 다양한 oracle과 1M/10M/100M 규모에서 typed GA, SpaceGA, SALSA-inspired Thompson sampling, HASTEN/SpaceHASTEN, random baseline 등을 동일한 synthon-space interface와 10,000-call 기본 예산 하에서 비교한다.
방법 순위의 전이 가능성을 검증하기 위해 서로 다른 oracle·scale 간 Spearman rank correlation을 측정한다.

Originality

synthon-based combinatorial chemical space에서 search와 audit을 명확히 분리하고, 전체 product universe에 대한 oracle 값을 사전 계산된 lookup table로 제공하여 exact하고 license-free하며 재현 가능한 채점을 가능케 한 최초의 체계적 벤치마크라고 주장한다.
DCRF(docking-call reduction factor)라는 실무적으로 해석 가능한 새로운 지표를 제안해, brute-force virtual screening 대비 몇 배의 oracle call 절감이 가능한지를 직접적으로 답한다.
GuacaMol, MOSES, PMO, DOCKSTRING 등 기존 분자 생성/도킹 벤치마크와 달리, "무엇을 만들 것인가"가 아니라 "어떤 reaction/synthon을 샘플링할 것인가"라는 acquisition 정책 자체를 측정 대상으로 삼는 차별화된 문제 설정을 제시한다.
fixed-budget pure exploration/active search 관점에서 GA 계열, factored bandit, active-learning(HASTEN) 계열 방법을 통일된 프로토콜 하에 정량 비교한 최초의 대규모 cross-oracle, cross-scale 실증 분석을 제공한다.

Limitation & Further Study

HASTEN 계열 active-learning 방법은 전체 library를 먼저 enumerate해야 높은 reduction factor를 달성할 수 있어, 진정한 non-enumerated synthon-space 탐색과는 다른 전제를 가지므로 공정 비교의 해석에 주의가 필요하다.
사용된 MPO 지표는 RDKit 기반 물리화학적 기술자에 국한되어 있어 실제 ADMET이나 학습 기반 property prediction을 반영하지 못하는 한계가 있다.
벤치마크가 Freedom Space 5.0의 subset과 특정 target(KIF11, PYRD, TGFR1)에 한정되어 있어, 더 다양한 library와 target, 그리고 wet-lab assay 같은 실제 costly oracle로의 일반화 검증이 추가로 필요하다.
factored bandit 방법이 negative closure를 보이는 원인에 대한 심층 분석(예: 탐색 다양성 부족의 구조적 원인)이 후속 연구로 요구된다.

같이 보면 좋은 논문

ChemCrow: Augmenting large-language models with chemistry tools

기반 연구SPECTER2 유사도 0.92로 Computational Molecular Design와 LLMs for Molecular Biology & Chemistry가 맞닿아, 'ChemCrow: Augmenting large-language models with chemistry tools'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

PDFBench: A Benchmark for De Novo Protein Design from Function

기반 연구PDFBench의 평가 프레임워크를 실제 단백질 설계 모델에 적용한 사례

다른 접근oracle 호출 예산 하에서의 탐색 효율성 평가라는 유사한 벤치마크 설계 철학을 공유

A Hybrid Physics-Deep Learning Framework for Combinatorial De Novo Design of Small-Molecule Binding Proteins

기반 연구SPECTER2 유사도 0.93로 Computational Molecular Design와 AI-Driven Drug and Materials Discovery가 맞닿아, 'A Hybrid Physics-Deep Learning Framework for Combinatorial De Novo Design of Small-Molecule Binding Proteins'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Benchmarking and Experimental Validation of Machine Learning Strategies for Enzyme Engineering

기반 연구SPECTER2 유사도 0.93로 Computational Molecular Design와 AI-Driven Drug and Materials Discovery가 맞닿아, 'Benchmarking and Experimental Validation of Machine Learning Strategies for Enzyme Engineering'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Do Larger Models Really Win in Drug Discovery? A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction

기반 연구SPECTER2 유사도 0.92로 Computational Molecular Design와 LLMs for Molecular Biology & Chemistry가 맞닿아, 'Do Larger Models Really Win in Drug Discovery? A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

General Multimodal Protein Design Enables DNA-Encoding of Chemistry

기반 연구SPECTER2 유사도 0.93로 Computational Molecular Design와 AI-Driven Drug and Materials Discovery가 맞닿아, 'General Multimodal Protein Design Enables DNA-Encoding of Chemistry'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Synthon Contrastive Learning for Synthesizable 3D Molecule Generation

다른 접근SynthonBench가 벤치마킹 대상으로 삼을 수 있는 synthon 기반 생성 모델 연구

When Single Answer Is Not Enough: Rethinking Single-Step Retrosynthesis Benchmarks for LLMs

다른 접근synthon 기반 조합 라이브러리 탐색을 위한 다른 벤치마킹 방법이다.

APEX: Approximate-but-exhaustive search for ultra-large combinatorial synthesis libraries

다른 접근초대형 조합 합성 라이브러리 탐색이라는 동일 문제를 다룬 관련 연구.

Factorized Search and Cartography of Synthon-Based Chemical Spaces

다른 접근화학 공간 검색을 위한 대안적 표현/탐색 방법을 제시한다.