Sibyl: A Multi-Agent Pipeline for Autonomous Hypothesis Generation

Motivation

• Known: 기존 LLM 기반 과학 보조 시스템들은 문헌 요약이나 아이디어 브레인스토밍에는 활용되어 왔으나, 검증 가능한 예측을 생성하고 이를 시간적으로 사후 검증하는 end-to-end 파이프라인은 드물다.
• Gap: LLM이 생성한 과학적 주장이나 인용의 hallucination을 체계적으로 감지하고, 생성된 가설의 실제 예측력을 temporal backtesting으로 정량 평가하는 표준화된 프로토콜이 부재했다.
• Why: AI가 과학적 가설을 자율적으로 생성한다고 주장할 때 신뢰성과 검증 가능성을 담보하는 감사(provenance audit) 및 평가(backtesting) 표준을 제시함으로써, AI-for-science 연구에서 재현성과 신뢰성 문제를 해결하는 실질적 방법론을 제공한다.
• Approach: Claude Haiku와 Claude Sonnet을 작업 복잡도에 따라 차등 배치한 tiered agent architecture를 구축하고, 각 예측이 원문 quote와 DOI까지 추적 가능한 provenance chain을 통해 검증되도록 설계했다.

Achievement

1. temporal backtesting을 통한 실증적 검증: X-ray binary astrophysics 도메인에서 2014년 이전 문헌만으로 60개의 예측을 생성하고, 이 중 11개(18%)가 2015년 이후 독립 출판물에 의해 확인되었으며, 가장 보수적인 provenance 필터 적용 시에도 12.5%의 확인율을 유지함을 보였다.
2. cross-prediction consistency check를 통한 hallucination 탐지: 사전에 설계되지 않았음에도 파이프라인의 자체 중복성에서 발생한 이 메커니즘이 실제로 조작된 인용(fabricated content가 실제 bibcode에 결합된 사례)을 탐지한 유일한 장치였음을 확인했다.
3. 도메인 독립적 아키텍처 검증: corpus query terms, triage prompt, source-class ontology 세 요소만 도메인 특화이고 나머지 인프라는 재학습이나 구조 변경 없이 새로운 도메인으로 전이 가능함을 제시했다.

How

• Corpus assembly, full-text fetch, abstract triage(Haiku), claim extraction(Sonnet)까지는 완전 자율(A) 단계로 처리
• Extraction agent는 typed JSON schema와 verbatim quote provenance를 의무화하여 구조화된 claim record 생성
• Audit agent(stage 4.5)가 quote verification, population consistency, formula provenance, sample size accuracy의 4가지 기준으로 모든 claim을 검증하고 실패 시 제외 또는 human review로 flag
• Synthesis agent가 검증된 claim들을 wiki 형태 지식베이스로 컴파일하며, 3개 이상 출처는 established, 그 미만은 candidate correlation으로 구분
• Reasoning agent가 지식베이스의 gap을 탐색하여 mechanistic hypothesis와 falsification condition이 포함된 구조화된 예측 생성
• Wiki 컴파일 후와 prediction 생성 후 두 지점에서 도메인 전문가의 human-in-the-loop 필수 검토(semi-autonomous, A→H)
• Orchestrating layer가 stage sequencing, 50개 논문마다 checkpoint/resume, human review gate를 관리하며 JSON claim, Markdown wiki, prediction template 등 지속적 구조화 파일을 통해 단계 간 통신
• Prediction → mechanistic basis → supporting claims → verbatim quotes → source papers(DOI)로 이어지는 provenance chain을 구축하고, 동일 source paper가 여러 예측에 인용될 때 내용 일관성을 검사하는 cross-prediction consistency check 추가

Originality

• 단순 요약이나 브레인스토밍을 넘어, falsifiable prediction 생성과 temporal backtesting을 결합한 end-to-end 평가 프레임워크를 제시한 점이 독창적
• 사전 설계되지 않고 파이프라인의 구조적 중복성에서 우연히 발생한 cross-prediction consistency check가 citation hallucination을 탐지하는 유일한 안전장치였다는 발견은 예상치 못한 architectural insight를 제공
• task complexity에 따라 Haiku/Sonnet을 차등 배치하는 tiered agent design과 mandatory human checkpoint를 아키텍처 수준에서 강제하는 governance 설계가 결합된 점

Limitation & Further Study

• 현재 결과는 X-ray binary astrophysics라는 단일 도메인의 proof-of-concept에 불과하며, 도메인 특화 요소(query terms, triage prompt, ontology)를 제외한 나머지 인프라의 실제 cross-domain 일반화는 아직 검증되지 않음(exoplanet 도메인 배포는 계획 단계)
• 60개라는 작은 표본 크기와 18%/12.5%라는 confirmation rate의 통계적 유의성 및 신뢰구간이 제시되지 않아 결과의 견고성 판단이 제한적
• ablation study(quote requirement 유무, wiki knowledge base 유무, threshold 변화)가 아직 수행되지 않아 각 구성요소의 기여도가 불분명
• confirmation rate가 novelty가 낮은 rediscovery와 open testable candidate를 구분하지 않은 채 집계되어, 실제 과학적 발견 기여도를 과대평가할 위험이 있음(후속연구에서 이를 분리한다고 언급되나 본 논문에는 미반영)
• LLM API(Claude 계열)에 의존하는 구조로 재현성 및 장기적 비용·접근성 문제가 남아있음

Evaluation

총평: AI 기반 과학적 가설 생성의 신뢰성 문제를 provenance audit과 temporal backtesting이라는 실용적 평가 프로토콜로 접근한 흥미로운 workshop-level 초기 연구이나, 단일 도메인의 소규모 proof-of-concept 단계로 일반화 가능성과 통계적 견고성 검증이 추가로 필요하다.