Evidence-Grounded Tree-Based Hypothesis Generation for Scientific Discovery

Motivation

• Known: 기존 AI Scientist 시스템들은 개별 연구 단계(실험 설계, 데이터 분석 등)를 자동화하는 데는 성공적이었으나, LLM의 prior가 기존 문헌의 그럴듯한 연속을 선호하도록 학습되어 있어 창의적 ideation에는 취약하다는 점이 알려져 있다. Retrieval augmentation 역시 무엇을 검색할지와 어떻게 가중치를 부여할지 모두 동일한 prior에 의해 결정되므로 이 편향을 근본적으로 해소하지 못한다.
• Gap: evidence 관리와 reasoning이 하나의 모듈에 뒤엉켜 있어 hypothesis generation이 좁고 prior-driven한 맥락에 국한되며, 지속적인 reasoning chain과 실험 피드백을 통한 반복적 ideation 개선이 이루어지지 못하고 있다는 연구 공백이 존재한다.
• Why: 과학적 발견의 핵심인 창의적 ideation 단계를 자동화하는 것은 AI Scientist가 단순 보조 도구를 넘어 독립적이면서도 협업 가능한 연구팀 구성원으로 기능하기 위한 필수 조건이며, 이를 구조적으로 해결하면 신약 발견과 같은 실제 연구 파이프라인에 즉각 적용 가능하다.
• Approach: retrieval을 generation으로부터 분리하거나 planning을 execution으로부터 분리하는 기존의 구조적 분리 전략에서 착안하여, evidence curation(Context Optimizer)과 reasoning(Hypothesis Generator)을 엄격히 분리하고, 실험 결과를 다시 시스템에 피드백하는 closed-loop 구조를 제안한다.

Achievement

1. EGAS 아키텍처 제안: Context Optimizer, Hypothesis Generator, Diagnostician 등으로 구성된 evidence-grounded closed-loop AI Scientist 프레임워크를 제시하였다.
2. 구조적 분리를 통한 편향 완화: CO가 해석·요약·판단 없이 evidence를 색인·grounding만 수행함으로써 HG가 LLM prior에 의해 좁혀지지 않은 추론 공간에서 탐색하도록 하였다.
3. Tree-of-Thoughts 기반 hypothesis 탐색: structurally induced diversity와 grounding-aware evaluation(node-level, trajectory-level)을 결합하여 Router가 가지치기·확장·졸업(graduation)을 판단하는 두 단계 평가 체계를 설계하였다.
4. 실제 신약 발견 팀 통합 proof-of-concept: target suggestion부터 wet-lab validation까지 이어지는 end-to-end closed-loop을 신약 발견 팀의 통합 구성원으로 시연하였다.

How

• Context Optimizer(CO)가 Librarian 역할을 수행하며 evidence를 수집·grounding·색인하되 해석은 하지 않고, append-only 방식으로 장기 메모리를 축적한다.
• Hypothesis Generator(HG)는 Explorer(가설 생성/확장), State Estimator(평가), Router(다음 탐색 행동 결정)의 세 인지 모듈로 구성된 Tree-of-Thoughts 탐색을 수행한다.
• HG는 evidence를 무작위 샘플링이 아니라 서로 다른 부분집합으로 분할하고 각기 다른 reasoning mode로 탐색함으로써 structurally induced diversity를 확보한다.
• 각 hypothesis는 node-level(증거 기반성·검증가능성) 및 trajectory-level(추론 경로의 정당성) 두 단계로 평가되어 Router가 pruning, 확장, graduation을 결정한다.
• graduated hypothesis는 Experiment Designer가 실험을 설계하고 In Silico Scientist 또는 Wet-Lab Assistant가 실행하며, Wet-Lab Analyzer가 데이터를 해석하고 Diagnostician이 이상 신호를 사전에 차단한다.
• Knowledge Consolidator가 negative result를 포함한 모든 결과를 표준화하여 CO에 재통합함으로써 지식이 축적되는 closed-loop을 완성한다.
• 평가 로드맵으로 knowledge cutoff 기반 novel hypothesis 재현 테스트, CO/HG 개별 모듈 품질 평가, Diagnostician의 이상탐지 정확도 평가, 점진적 wet-lab validation 확장 전략을 제시한다.

Originality

• evidence curation과 reasoning의 책임을 서로 다른 모듈로 완전히 분리하여, 사후 오류 추적 시 원인을 context 문제인지 reasoning 문제인지 구분할 수 있게 한 설계가 독창적이다.
• 무작위 샘플링 기반 다양성이 아닌, evidence 부분집합 분할과 reasoning mode 차별화를 통한 "structurally induced diversity" 개념을 Tree-of-Thoughts 탐색에 도입하였다.
• node-level과 trajectory-level의 이중 평가 체계를 통해 가설 자체의 오류와 가설 생성 과정(추론 경로)의 오류를 분리하여 진단하는 방식이 신규성 있다.
• Diagnostician을 통해 이상 실험 신호가 지식 베이스를 오염시키기 전에 사전 차단하는 피드백 메커니즘을 closed-loop 시스템에 통합한 점이 특징적이다.

Limitation & Further Study

• 논문이 workshop 포지션/개념 논문 형태로, 정량적 실험 결과나 벤치마크 성능이 본문 발췌에는 제시되어 있지 않아 실제 효과 검증이 부족하다.
• CO의 성능이 정확한 entity linking에 의존하는 병목 구조이며, HG의 최종 hypothesis 품질은 여전히 기반 LLM의 reasoning 능력에 근본적으로 제한된다는 저자들 스스로의 한계 인정이 있다.
• 제안된 평가 로드맵(knowledge cutoff 기반 재현 테스트 등)이 실제로 수행되었는지 불분명하며, 후속 연구에서 대규모 정량 평가와 다양한 도메인 적용 결과가 필요하다.
• 인간 개입 지점이 다수 존재한다고 언급되나 구체적인 governance 프로토콜의 효과성 검증은 appendix로 미뤄져 있어 본문만으로는 실증적 완결성이 낮다.

Evaluation

총평: evidence curation과 reasoning의 구조적 분리라는 아이디어는 명확하고 신약 발견이라는 실질적 응용 맥락에서 흥미로운 방향을 제시하지만, workshop 초록 수준의 개념 제안에 머물러 있어 정량적 검증과 실증 결과가 뒷받침되어야 완성도가 높아질 것이다.