SciPaths: Forecasting Pathways to Scientific Discovery

Motivation

• Known: 기존 AI4Science 벤치마크는 citation prediction, literature retrieval, idea generation 등에 초점을 맞추어 있으며, PRESCIENCE와 같은 citation 기반 forecasting 연구는 논문 단위의 참고문헌 집합으로 과학적 발전을 예측하고, GIANTS는 이미 알려진 parent paper로부터 downstream insight를 생성하는 방식으로 진전을 다룬다.
• Gap: 기존 접근법들은 논문 단위(paper-level)로 작동하여 하나의 논문 내 이질적인 여러 기여를 구분하지 못하고, exact citation matching에 의존해 같은 역할을 하는 다른 타당한 논문을 인용해도 오답 처리되며, 무엇보다 target contribution을 실현하는 데 필요한 enabling contribution을 식별하는 dependency-identification 단계 자체가 결여되어 있다.
• Why: 과학적 진보는 선행 기여들의 연쇄에 의존하므로, target contribution으로부터 역방향으로 추론하여 이를 가능케 한 enabling building block과 prior-work dependency를 식별하는 능력은 AI4Science 에이전트가 연구 방향을 제안하는 것을 넘어 그 실현 가능성을 검증하는 데 필수적이다.
• Approach: contribution-level target을 정의하고 enabling contribution 식별(Task A)과 prior-work grounding(Task B)을 분리한 formal task를 제시하며, downstream reuse 증거에 기반해 target contribution을 선정하고 전문가 주석을 통해 필요성(necessity) 기준으로 pathway를 구성한다.

Achievement

Figure 3. Task A diagnostic breakdown under the Gemini 3.1 Pro judge. Left: recall by enabling-contribution role, showin

1. SciPaths 벤치마크 구축: NeurIPS, ICML, ACL, EMNLP 2023–2025 논문으로부터 262개의 전문가 주석 gold pathway와 2,444개의 silver pathway를 구축하고, 각 pathway에 enabling contribution, functional role, rationale, prior-work grounding 또는 unmapped 결정을 기록했다.
2. 모델 성능의 한계 확인: frontier 및 open-weight 언어모델을 평가한 결과 최고 성능 모델도 strict semantic matching 기준 F1 0.189에 그쳐, 핵심 methodological dependency를 회복하는 것이 가장 어려운 과제임을 보였다.
3. 병목 지점 규명: gold enabling contribution이 주어졌을 때 prior-work grounding 성능이 크게 향상됨을 보여, decomposition quality(무엇을 찾아야 하는지 아는 것)가 end-to-end pathway 복구의 핵심 병목임을 실증했다.
4. 재사용 가능한 리소스 공개: silver 데이터, 평가용 development set, silver-construction pipeline을 공개하여 새로운 논문에 대한 pathway 주석 확장을 지원한다.

How

Figure 2. Constructing SCIPATHS from downstream usage evidence. Downstream citation contexts are clustered by the contri

• Task 정의: target contribution d, enabling contribution 집합 I(d), grounding function ϕ: I(d) → 2^(C<td), functional role ρ, rationale r을 포함하는 pathway P(d) = (d, I*(d), ϕ, ρ, r)를 formalize
• Target contribution 선정: ACL-ARC 기반 citation-intent classifier로 USES/EXTENDS citation context를 필터링한 뒤 LLM 기반 고정밀 2차 검증으로 false positive 제거
• Clustering: 검증된 reuse context에서 추출한 contribution description을 sentence encoder로 임베딩 후 의미적 유사도 기반 클러스터링을 통해 독립적인 citing paper 간 반복 사용을 통합
• 전문가 주석: 후보 target contribution을 전문가가 검증하고, necessity criterion(제거 시 target을 원래 형태로 실현 불가능하게 만드는 요소)에 따라 pathway로 분해
• 평가 프로토콜: Task A(enabling-contribution 생성)와 Task B(prior-work grounding)를 분리해 평가하며, strict semantic matching 및 Gemini 3.1 Pro judge를 이용한 진단적 breakdown 수행

Originality

• 기존 citation-based forecasting(PRESCIENCE)이나 GIANTS와 달리 논문 단위가 아닌 contribution 단위로 target을 표현하여 하나의 논문 내 이질적 기여를 구분
• enabling contribution 식별과 prior-work grounding을 별도의 두 단계(Task A, Task B)로 분리해 "무엇이 필요한가"와 "그것을 어떤 prior work가 실현하는가"를 독립적으로 평가
• exact citation matching 대신 contribution-level correctness 기반 평가로 전환하여, 동일 역할을 수행하는 다른 valid paper를 인용해도 정당하게 평가받도록 설계
• downstream reuse 증거(citation-intent classification + LLM verification + clustering)를 활용한 target contribution 선정 파이프라인 제안

Limitation & Further Study

• 벤치마크가 ML/NLP 분야 논문(NeurIPS, ICML, ACL, EMNLP)에 국한되어 있어 다른 과학 분야로의 일반화 가능성이 검증되지 않음
• 하나의 target contribution에 대해 여러 타당한 decomposition이 존재할 수 있음을 인정하면서도 P(d)를 단일한 gold standard로 취급하는 평가 방식이 실제 다양성을 완전히 반영하지 못할 가능성
• 최고 성능 모델의 F1이 0.189로 매우 낮아 strict semantic matching 기준 자체의 엄격성이나 평가 방법론의 타당성에 대한 추가 검증이 필요
• silver pathway는 hindsight 방식으로 생성되어 gold와의 품질 차이 및 노이즈 영향에 대한 분석이 제한적일 수 있음
• 후속 연구로 다양한 과학 분야로의 확장, decomposition quality를 개선하는 모델링 기법 개발, 그리고 multiple valid pathway를 다루는 평가 지표 고도화가 필요함

Evaluation

총평: 과학적 발견의 선행 의존성을 contribution 단위로 분해하고 grounding하는 새로운 과제와 이를 위한 견고한 벤치마크를 제시한 의미 있는 연구로, 현재 최고 수준 언어모델조차 낮은 성능을 보인다는 점에서 AI4Science 커뮤니티에 중요한 도전 과제를 던진다.