Sibyl: Temporal Backtesting for Literature-Based Scientific Discovery with Large Language Model Agents

Motivation

• Known: 고전적 literature-based discovery(LBD)는 Swanson의 ABC model처럼 MeSH term co-occurrence 통계에 기반했고, 이후 Tshitoyan et al.(2019)의 word embedding 기반 접근은 재료과학 분야에서 후보 물질을 예측하는 데 성공했다. 최근 LLM 기반 연구 보조 도구(Elicit, Semantic Scholar, Consensus)나 자율 AI 과학자 시스템(The AI Scientist, FutureHouse)들이 등장했지만, 이들은 각각 latent reasoning에 그치거나 실제 검증 프레임워크가 부재하다.
• Gap: 기존 시스템 중 (i) full-text 과학 논문에 대한 LLM 기반 추론, (ii) 유형화되고 출처가 명시된(provenanced) claim의 구조화된 추출, (iii) held-out 미래 문헌에 대한 예측 확인율을 측정하는 엄밀한 temporal 평가 프레임워크를 모두 결합한 시스템은 존재하지 않았다.
• Why: 과학 문헌이 폭발적으로 증가하는 상황에서 개별 연구자가 발견하지 못한 암묵적 연관관계를 자동으로 탐지하고, 이를 실제로 검증 가능한 형태로 평가하는 프레임워크는 AI-for-science 커뮤니티에 신뢰할 수 있는 자동 가설 생성 및 평가 방법론을 제공한다는 점에서 중요하다.
• Approach: SIBYL은 corpus를 cutoff 연도 기준으로 training/validation으로 분할하고, 7단계 파이프라인(corpus assembly, full-text fetch, triage, claim extraction, provenance audit, wiki KB compilation, prediction generation, backtesting)을 통해 pre-cutoff 문헌만으로 예측을 생성한 뒤 post-cutoff 문헌으로 검증한다.

Achievement

Figure 1. SIBYL pipeline architecture. Stage 4.5 (red) is the provenance audit, added after initial deployment revealed

1. 대규모 파이프라인 구축: 14,400편의 refereed 논문을 수집하고 99.9% 성공률로 full-text를 파싱해 11,000개 이상의 구조화된 claim을 추출했다.
2. 예측 생성 및 검증: 2014년 cutoff 기준 pre-2015 문헌만으로 60개의 반증 가능한 예측을 생성했고, 이 중 11개(18%)가 시스템이 전혀 관찰하지 않은 post-2015 독립 문헌에 의해 확인되었다.
3. 오류 유형 규명: 사후 provenance audit을 통해 corpus contamination, validation-era leakage, citation hallucination이라는 세 가지 체계적 실패 모드를 식별했고, 특히 citation hallucination은 novel cross-prediction consistency check로 탐지했다.
4. 강건성 검증: 점진적으로 보수적인 필터를 적용해도 확인율이 12.5-18% 범위에서 안정적으로 유지됨을 sensitivity analysis로 보였다.

How

Figure 1. SIBYL pipeline architecture. Stage 4.5 (red) is the provenance audit, added after initial deployment revealed

• Stage 1: NASA ADS API를 통해 identity term과 evolution-mechanism term을 결합한 hybrid query로 corpus를 수집하고 cutoff 연도로 training/validation을 분할.
• Stage 2: ar5iv.org에서 full-text HTML을 가져와 section 경계를 보존한 구조화된 JSON으로 파싱.
• Stage 3: 비용 효율적인 Claude Haiku로 abstract-level triage 점수와 논문 유형을 분류해 관련성 높은 논문만 필터링.
• Stage 4: 더 강력한 Claude Sonnet으로 claim type, variable a/b, direction, significance, sample size, source type, verbatim quote 등을 포함한 구조화된 JSON claim을 추출.
• Stage 4.5: provenance audit을 통해 corpus contamination, validation-era leakage, citation hallucination 등 오류를 탐지 (cross-prediction consistency check 포함).
• Stage 5-7: wiki 형태의 knowledge base 컴파일, 이를 기반으로 gap을 식별해 falsifiable prediction 생성, 마지막으로 post-cutoff corpus에 대해 temporal backtesting 수행.
• Stage 5와 6 이후에는 인간 전문가의 mandatory review checkpoint를 배치하여 human oversight를 확보.

Originality

• 금융의 backtesting 개념을 과학적 가설 생성 평가에 처음으로 적용한 temporal train/validation split 방법론을 제시했다.
• 모든 claim에 mandatory verbatim quote를 요구하는 provenance-anchored 구조화된 claim extraction 스키마를 설계했다.
• citation hallucination을 탐지하기 위한 novel cross-prediction consistency check를 고안했다.
• 기존 LBD/LLM 연구 보조 도구/자율 AI 과학자 시스템들 사이에서 "tool과 founder의 중간 지점"이라는 autonomy spectrum 상의 새로운 포지셔닝을 제시했다.

Limitation & Further Study

• 단일 도메인(X-ray binary astrophysics)에 대한 proof-of-concept 결과이며 다른 학문 분야로의 일반화 가능성은 아직 검증되지 않았다.
• 18%라는 confirmation rate이 절대적으로 높은 수준인지에 대한 기준이 불명확하며, false positive/negative에 대한 심층 분석이 부족할 수 있다.
• corpus contamination, validation-era leakage, citation hallucination과 같은 체계적 실패 모드가 존재해 완전 자동화된 파이프라인으로 보기 어렵고, 여전히 mandatory human review checkpoint에 의존한다.
• 저자 스스로 "ongoing project의 preliminary result"임을 명시하고 있어 후속 연구에서 더 큰 규모의 검증, 다양한 도메인 적용, 오류 완화 기법 개발이 필요하다.

Evaluation

총평: 과학적 가설 생성에 금융의 backtesting 개념을 도입한 참신한 평가 방법론과 provenance audit 프로토콜이 돋보이는 연구이나, 단일 도메인의 소규모 preliminary 결과라는 한계로 인해 향후 다양한 분야로의 확장과 더 엄밀한 검증이 필요하다.