Towards Diverse Scientific Hypothesis Search with Large Language Models

Motivation

• Known: LLM을 evolutionary algorithm(EA)의 mating operator로 활용해 반복적으로 가설을 제안·평가·선택하는 LLM-augmented EA 방식이 분자 발견, 방정식 발견, 알고리즘 발견 등 다양한 과학적 가설 탐색 과제에서 널리 사용되고 있다.
• Gap: 기존 evolutionary search 방식은 selection pressure로 인해 hypothesis space의 좁은 영역에 확률 질량이 집중되는 diversity collapse가 발생하며, 이는 validation이 노이즈가 많고 비용이 크며 여러 경쟁 가설이 동시에 유효할 수 있는 실제 과학적 발견 상황에서 치명적 한계로 작용한다.
• Why: 과학적 발견에서는 단일 최적 가설보다 다운스트림 검증의 불확실성에 대비할 수 있는 다수의 고품질·다양한 대안 가설 집합이 필요하기 때문에, 제한된 validation budget 하에서 품질과 다양성을 동시에 확보하는 탐색 방법론은 실질적 파급력이 크다.
• Approach: 가설 탐색을 evolving power factor를 가진 Boltzmann distribution으로부터의 근사적 샘플링 문제로 재정식화하고, 서로 다른 온도(temperature) 수준에서 EA를 병렬로 수행하며 Metropolis-Hastings 기반 swap을 통해 온도 간 정보 교환을 수행하는 EvoDiverse를 제안한다.

Achievement

1. 문제 재정식화: 가설 탐색을 순수 최적화도 아니고 정확한 샘플링도 아닌, 제한된 validation budget 하에서 다양하고 고품질인 가설을 효율적으로 생성하는 문제로 새롭게 정식화하였다.
2. EvoDiverse 프레임워크 제안: classical parallel tempering에 착안하여 고온(탐험적) 및 저온(수렴적) population을 유지하고, Metropolis-Hastings 기반 원칙적 swap 메커니즘으로 EA의 수렴성을 해치지 않으면서 탐색 다양성을 향상시켰다.
3. 다중 도메인 검증: 분자 발견(molecular discovery), 방정식 발견(equation discovery, LLM-SRBench), 알고리즘 발견(algorithm discovery, 제약 최적화) 등 이질적인 과학적 발견 과제 전반에서 동일한 validation budget 하에 가설 품질과 다양성을 동시에 일관되게 향상시켰다.
4. 강건성 입증: 생성된 후보 가설들이 더 비용이 큰 다운스트림 계산 검증(computational validation) 하에서도 강건하게 유지됨을 보였다.

How

• 표준 EA의 population을 여러 온도(inverse temperature β) 레벨로 확장하여, 각 온도별로 독립적인 mating 및 selection 과정을 수행 (고온: explorative LLM proposal + tolerant selection, 저온: conservative LLM proposal + aggressive selection)
• 각 온도 레벨의 population이 evolving power factor를 가진 Boltzmann distribution ∝exp(−ξ_n β h(x))를 근사하도록 EA의 selection 강도를 조절
• 두 온도 레벨의 population 간 개체 교환(swap)을 Metropolis-Hastings acceptance ratio A(X, X′)로 결정하여, 두 온도의 목표 분포와 근사적으로 일치하는 이동만 허용함으로써 EA 수렴성을 방해하지 않으면서 정보 교환
• 고온 population에서 발견된 다양한 유망 후보가 swap을 통해 저온 population으로 유입되어 국소 최적점(local optima) 탈출과 탐색 강화에 기여
• 분자 발견, 방정식 발견(LLM-SRBench 벤치마크), 제약 최적화를 포함한 알고리즘 발견(예: circle packing) 등 세 가지 도메인에서 baseline EA 대비 best-score trajectory 및 다양성 지표를 비교 평가

Originality

• 과학적 가설 탐색을 순수 최적화가 아닌 "제한된 validation budget 하 다양·고품질 샘플링" 문제로 재개념화한 관점의 참신성
• 물리학의 parallel tempering 샘플링 알고리즘을 LLM 기반 evolutionary search에 접목하여, exact sampling의 계산적 불가능성과 순수 optimization의 diversity collapse 문제를 동시에 완화하는 절충적 설계
• Metropolis-Hastings 기반 swap을 통해 EA의 수렴 특성을 훼손하지 않으면서 온도 간 정보 교환을 이론적으로 정당화한 점

Limitation & Further Study

• 온도 레벨 수, 각 온도의 β 값, swap 빈도 등 하이퍼파라미터 설정에 대한 민감도 분석과 자동화된 설정 방법이 충분히 다뤄지지 않았을 가능성이 있음
• 발췌된 내용상 두 온도 레벨(고온/저온) 중심으로 설명되어 있어, 온도 레벨 수가 늘어날 때의 확장성 및 계산 비용 증가에 대한 논의가 필요함
• LLM 자체의 proposal 분포가 명시적 확률로 정규화되지 않는다는 근본적 한계로 인해 이론적 수렴 보장이 근사적 수준에 그칠 수 있음
• 후속 연구로 다양성 측정 지표의 표준화, 더 많은 과학 도메인(예: 소재 발견, 생물학적 서열 설계)으로의 확장, open-source가 아닌 폐쇄형 LLM에서의 적용성 검증이 필요함

Evaluation

총평: 가설 탐색의 목표를 최적화에서 "제한된 예산 하의 다양성 있는 샘플링"으로 재정의하고 이를 parallel tempering에 기반한 실용적 알고리즘으로 구현한 점이 돋보이는 견고한 연구이며, 여러 과학 도메인에서의 일관된 개선을 보여 실용적 가치가 크다.