LABO: LLM-Accelerated Bayesian Optimization through Broad Exploration and Selective Experimentation

Motivation

• Known: Bayesian optimization(BO)은 surrogate model과 acquisition function을 이용해 비용이 큰 objective function을 효율적으로 탐색하는 표준 기법이며, 최근 연구들은 LLM을 BO 파이프라인에 결합해 cold-start 문제 완화나 후보 제안 개선에 활용해왔다(LLAMBO, BOPRO, ReasoningBO, CAKE, FIBO, ChemBOMAS, ToSFiT 등).
• Gap: 기존 LLM-in-the-loop BO 방법들은 LLM을 초기화 단계 가이드나 acquisition/surrogate의 부분적 보조 신호로만 활용할 뿐, 실제 실험 대비 현저히 낮은 LLM 평가 비용을 체계적으로 활용하여 탐색 공간 전체에 대한 저비용 광범위 탐색을 수행하지 못한다는 한계가 있다.
• Why: 과학적 실험은 비용이 크고 데이터가 희소하여 BO의 sample efficiency가 실질적 병목이 되는데, LLM의 저비용 in-context 예측을 이론적으로 정당화된 방식으로 BO 루프에 통합하면 동일한 실험 예산 하에서 더 나은 후보를 발견할 수 있어 과학적 발견 워크플로우 전반에 실질적 이득을 줄 수 있다.
• Approach: LABO는 real-fidelity objective를 LLM-fidelity 예측의 스케일된 성분과 discrepancy 성분으로 분해하는 KOH joint GP surrogate를 적용하고, discrepancy 항이 유발하는 예측 불확실성 정도에 따라 실제 실험 여부를 결정하는 discrepancy-dominance gating criterion을 도입한 dual-fidelity BO 프레임워크이다.

Achievement

Figure 2. Optimization performance across six scientific tasks. Shaded regions indicate standard deviation over five ind

1. LABO 프레임워크 제안: LLM 예측(LLM-fidelity)과 실제 실험 관측(real-fidelity)을 단일 BO 루프 내에서 결합하는 원칙적인 프레임워크를 제시함.
2. 이론적 regret bound 확립: LLM 가이드가 유용할 때 sample efficiency가 향상됨을 보이고, LLM-fidelity 신호가 오도된 경우에도 regret이 제한됨을 KOH 모델링 가정 하에서 증명함.
3. 다양한 과학적 최적화 태스크에서의 경험적 검증: 6개 과학 태스크에서 동일한 real-fidelity 실험 예산 하에 기존 방법 대비 일관되게 우수한 성능을 보이며, LLM 예측이 도움이 되지 않는 경우에도 vanilla BO와 동등한 성능을 유지함(Fig 2).

How

Figure 1. Overview of the LABO workflow. Initialization combines prior knowledge and LLM reasoning to propose high-poten

• Warm-start 단계: LLM을 이용해 초기 real-fidelity 측정을 위한 고잠재력 후보를 제안하고, 무시할 만한 비용으로 탐색 공간을 폭넓게 커버하는 LLM-fidelity 예측 집합을 생성.
• Surrogate 모델링: real-fidelity objective를 스케일된 LLM-fidelity 성분과 discrepancy process로 분해하는 KOH joint GP를 적합.
• Gating 메커니즘: 예측 불확실성 중 discrepancy 항이 지배적인 정도를 기준으로, 후보가 실제 real-fidelity 실험을 트리거해야 하는지 동적으로 결정하는 discrepancy-dominance gating criterion 적용.
• 이론 분석: cumulative regret bound를 유도하여 LLM 신호가 informative할 때의 효율성 이득과 noisy/misaligned 신호 하에서의 강건성을 정식화.
• 실험 검증: COF, Fullerene 등을 포함한 6개 과학 태스크에서 ablation(Fig 3)과 LLM/real-fidelity 샘플 분포 분석(Fig 4, 5)을 통해 방법의 동작을 검증.

Originality

• LLM을 BO 루프에서 초기화 보조나 국소적 제안 신호로만 쓰던 기존 접근과 달리, LLM 예측을 별도의 저비용 fidelity 레벨로 명시적으로 정식화하여 실제 실험(real-fidelity)과 함께 dual-fidelity 최적화 문제로 재구성함.
• multi-fidelity emulation의 전통적 도구인 KOH(Kennedy–O'Hagan) joint GP 모델을 LLM 예측과 실험 관측의 결합에 적용한 점이 참신함.
• 예측 불확실성에서 discrepancy 항의 기여도를 기준으로 실제 실험 여부를 결정하는 discrepancy-dominance gating criterion을 새롭게 설계함.
• LLM 신호의 유용성 여부에 관계없이 성능을 보장하는 regret bound를 제공하여, 경험적 휴리스틱에 머물던 기존 LLM-BO 연구들과 달리 이론적 근거를 마련함.

Limitation & Further Study

• 논문이 KOH 가정(선형 스케일링 및 discrepancy 구조)에 강하게 의존하는데, 이 가정이 실제 과학 도메인에서 항상 타당한지에 대한 폭넓은 검증이 부족할 수 있음.
• LLM 예측의 품질이 도메인/태스크에 따라 크게 달라질 수 있어, gating criterion의 하이퍼파라미터나 임계값 설정이 일반화되기 어려울 가능성이 있음.
• Conflict of Interest에서 명시되었듯 저자 소속 기관이 개발한 LLM(Intern S1 등)이 평가에 포함되어 있어 결과 해석 시 편향 가능성을 고려할 필요가 있음.
• 후속 연구로는 다양한 LLM 백본에 대한 강건성 분석, 더 고차원적이고 복잡한 실제 실험 도메인으로의 확장, gating 임계값의 자동 적응 메커니즘 개발 등이 필요함.

Evaluation

총평: LLM 예측을 저비용 fidelity로 정식화하여 KOH joint GP와 gating criterion을 통해 실제 실험과 결합한 이론적으로 탄탄한 프레임워크로, 과학적 BO에서 LLM 활용의 새로운 방향을 제시하는 좋은 연구이다.