Practical Bayesian Optimization for Scientific Discovery

Motivation

• Known: Bayesian optimization(BO)은 비용이 큰 실험적 발견 과정에서 표준적으로 쓰이는 도구이며, Gaussian process(GP) surrogate가 closed-form posterior와 regret guarantee를 제공하는 원칙적 기본 선택지로 알려져 있다. 최근 과학 분야 foundation model들이 단백질, DNA, RNA, 소분자 등에 대해 풍부하고 전이 가능한 표현을 제공한다는 것도 알려져 있다.
• Gap: GP는 관측 수에 대해 cubic하게 스케일링되고 discrete sequence/molecule에 적합한 kernel 설계가 어려우며, foundation model embedding을 BO와 결합하는 기존 연구들은 GP kernel feature, Random Forest 입력, LLM in-context token 등으로 파편화되어 있어 어떤 설계 선택이 실제로 중요한지에 대한 head-to-head 비교가 부족했다. 또한 in-context LLM surrogate와 steered generative model이라는 두 경쟁 패러다임과 foundation-model 기반 BO의 비교도 충분히 이루어지지 않았다.
• Why: 단백질 엔지니어링, 유전체 조절, RNA 설계, 분자 최적화 등 실제 lab-in-the-loop 실험 캠페인에서 어떤 foundation model, surrogate, acquisition function, fine-tuning regime 조합이 제한된 실험 예산 하에서 가장 sample-efficient한 후보 선택을 가능하게 하는지 실무적 지침을 제공하기 때문에 중요하다.
• Approach: SciOpt이라는 모듈형 BO 프레임워크를 제안하여 foundation-model backbone, surrogate head, acquisition function, fine-tuning regime을 독립적인 설계 축으로 분리하고, 이를 61개 실제 데이터 회귀 태스크에서 체계적으로 ablation하며 LLM in-context surrogate 및 steered discrete diffusion model과 비교한다.

Achievement

Figure 2. Per-modality Pareto frontier of NBSF against Top-5% count, sequential BO (T=100, k=1). Each marker is one meth

1. SciOpt 프레임워크 제안: 단백질, RNA, DNA, 소분자를 하나의 모듈형 파이프라인으로 통합하며, frozen foundation-model embedding과 sample-efficient surrogate head를 결합하고 backbone/head/acquisition/fine-tuning regime을 독립 축으로 노출.
2. 대규모 체계적 실증 연구: 9개 surrogate, 모달리티당 2개 FM backbone, 3개 acquisition function, 3개 fine-tuning regime, 5개 batch size를 교차하는 61개 실제 데이터 회귀 태스크에서 ablation을 수행. GP surrogate가 Thompson sampling과 결합된 neural alternative(MLP ensemble, variational Bayesian last layer)에 일관되게 뒤처짐을 확인했고, VBLL+Thompson sampling이 chemistry/RNA/DNA에서 유일한 Pareto-optimal 지점, MLP Ensemble이 protein에서 우위를 보임을 발견.
3. 배치 크기 영향 규명: 작은 batch size가 동일한 총 실험 예산 하에서 더 빠르게 peak performance에 도달하고 더 많은 elite 후보를 회수함을 태스크와 surrogate 선택에 걸쳐 일관되게 보임.
4. 경쟁 패러다임과의 head-to-head 비교: SciOpt가 in-context LLM surrogate(Qwen3.6-35B)를 모든 모달리티의 대표 데이터셋에서 Top-5% coverage 기준으로 능가하고, steered masked-diffusion generative model(SGPO)을 combinatorially complete한 GB1, TrpB, PhoQ 단백질 데이터셋에서 능가함을 보임.

How

Figure 1. SciOpt. A modular Bayesian optimization framework that couples a frozen scientific foundation model to a learn

• SciOpt를 closed-loop selector로 설계: 후보를 FM으로 임베딩(z)하고, surrogate가 축적된 측정치 Dt로부터 평균/불확실성을 예측하며, acquisition rule이 다음 후보(배치)를 선택하는 루프를 반복.
• Foundation-model backbone: 모달리티별 주요 FM(ESM-C 600M, RNA-FM, NTv3-650M, ChemFM-1B)을 사용, frozen 설정에서는 임베딩을 (FM, task) 쌍마다 미리 계산.
• Surrogate head를 세 그룹으로 분류: non-adaptive baseline(Random, Zero_Shot), greedy 방법(EvolvePro random forest, linear head, MLP), uncertainty-aware 방법(random forest, exact GP, MLP ensemble, variational Bayesian last layer/VBLL).
• Acquisition function으로 Greedy, LogEI(expected improvement 기반), Thompson sampling 세 가지를 비교하고 batch size k에 대해 top-k 선택 혹은 posterior sample 기반 선택을 적용.
• Fine-tuning regime을 Frozen, Supervised Fine-Tuning(LoRA adapter 사용), Self-Supervised Fine-Tuning 세 가지로 구분하여 비교.
• SciOpt를 in-context LLM surrogate(Qwen3.6-35B) 및 steered discrete diffusion model(SGPO)과 직접 비교.

Originality

• foundation model 기반 BO를 backbone, surrogate head, acquisition function, fine-tuning regime이라는 네 개의 독립적 설계 축으로 명시적으로 분리해 모듈화한 프레임워크(SciOpt)를 제시한 점.
• 단백질, DNA, RNA, 소분자 네 도메인에 걸쳐 61개 실제 실험 벤치마크 태스크를 활용한, 저자들이 주장하는 가장 광범위한 cross-domain foundation-model 기반 BO 연구.
• BO 기반 접근을 단순 벤치마크 비교에 그치지 않고 AI-for-Science의 두 경쟁 패러다임인 in-context LLM surrogate와 steered generative diffusion model과 직접적인 head-to-head 비교를 수행한 점.

Limitation & Further Study

• 비교 대상 LLM(Qwen3.6-35B)과 diffusion model(SGPO) 각각 단일 모델/설정으로 비교되어 다른 LLM이나 생성 모델 아키텍처에도 결론이 일반화되는지는 추가 검증이 필요함.
• Frozen FM 설정이 계산적으로 다루기 쉬워 주요 61개 태스크 sweep에 사용되었는데, Fine-tuning regime(특히 self-supervised)의 효과가 상대적으로 제한된 범위에서만 탐구되었을 가능성.
• 실험이 in-silico 벤치마크(기존 실험 데이터셋)에 기반하므로, 실제 lab-in-the-loop 실험 캠페인에서의 실시간 노이즈, 배치 지연, 실험 오차 등 실환경 요인이 충분히 반영되지 않았을 수 있음.
• 후속 연구로는 다양한 LLM/생성모델 백본과의 비교 확장, 실제 wet-lab 실험을 통한 검증, 더 다양한 fine-tuning 및 acquisition 조합에 대한 심층 분석이 필요.

Evaluation

총평: Foundation model 기반 Bayesian optimization의 설계 선택지들을 실질적 규모로 체계적으로 비교하고 경쟁 패러다임과의 명확한 비교를 제공한 실용적이고 가치 있는 실증 연구로, AI-for-Science 실무자들에게 유용한 지침을 제시한다.