CrossTrace: A Cross-Domain Dataset of Grounded Scientific Reasoning Traces for Hypothesis Generation

Motivation

• Known: 과학 논문 기반 가설 생성을 위한 기존 데이터셋들(HypoGen, IdeaBench, ResearchBench)은 단일 도메인으로 제한되거나 명시적인 추론 체인이 없으며, 개별 단계의 원문 그라운딩이 부족하다는 것이 알려져 있다.
• Gap: 기존 데이터셋들은 다음 세 가지 핵심 제약을 가지고 있다: (1) 도메인 제한 - HypoGen은 CS 논문만 5,500개 포함, (2) 추론 체인 부재 - IdeaBench와 ResearchBench는 종이 수준 메타데이터만 제공, (3) 그라운딩 부족 - 개별 단계가 원문으로 연결되지 않아 검증 불가능하다.
• Why: 과학 분야에서는 매년 200만 개 이상의 생의학 논문이 발표되고 있어, 개별 연구자가 문헌을 읽고 혁신적인 연구 방향을 발견하기 어렵다. LLM 기반 가설 생성 모델은 구조화된 추론 추적을 통해 훈련할 때 훨씬 우수한 성능을 보여주므로, 고품질의 멀티도메인 그라운드 추론 추적 데이터셋이 시급하다.
• Approach: Input/Trace/Output 스키마를 정의하여 기존 Bit-Flip-Spark 프레임워크를 확장했다. 각 추론 단계마다 원문 인용구로의 직접적인 그라운딩을 포함하고, 8가지 발견 패턴 분류법을 수립했다. Qwen2.5-7B-Instruct를 CrossTrace에서 QLoRA로 파인튜닝한 후, 생의학과 CS 데이터의 균형 잡힌 조합 훈련이 단일 도메인 훈련을 초과하는지 검증했다.

Achievement

Figure 1: Experimental results comparing Baseline, Run 1, and Run 2b across IAScore (both judges)

IAScore 대폭 향상: GPT-4o 판정 기준 0.828에서 0.968로, Claude Opus 4.5 기준 0.716에서 0.888로 상승. 구조적 준수: 0%에서 100%로 개선. spark cosine similarity: 0.221에서 0.620으로 증가. 검증 정확도: 150개 층화 기록의 인간 검증 결과 99.7% 단계 수준 그라운딩 정확도, 0% 조작률. 도메인 일반성 증거: 동일한 크기의 생의학과 CS 데이터로 훈련한 모델이 도메인 전문가의 99.3%/99.7% 성능 달성, 과학적 추론이 도메인 전반에 걸쳐 전이 가능함을 입증.

How

Figure 1: Experimental results comparing Baseline, Run 1, and Run 2b across IAScore (both judges)

• Input/Trace/Output 스키마 설계로 확립된 지식에서 새 가설까지의 3-6단계 구조화 추론 캡처
• 각 추론 단계마다 원문 인용구로 직접 링크하여 그라운딩 검증 가능하게 구성
• 8가지 발견 패턴(간격 메우기, Swanson ABC, 유추 전이 등) 분류법 정의
• Qwen2.5-7B-Instruct를 QLoRA로 파인튜닝
• 도메인별 훈련(생의학 전용, AI/ML 전용, 균형 조합)의 교차 검증 실시
• 3명의 독립적인 도메인 전문가에 의한 블라인드 평가(유용성 4.18/5, 합리성 3.76/5, 전체 3.84/5, ICC = 0.929)

Originality

• 처음으로 멀티도메인 커버리지, 단계 수준 추론 추적, 원문 그라운딩을 결합한 데이터셋 구축
• 기존 Bit-Flip-Spark 스키마에 단계 수준 검증을 추가하는 확장 제시
• 8가지 발견 패턴 분류법으로 도메인 간 추론 전략 차이 분석 가능하게 함
• 도메인 일반성 가설을 엄격한 대조 실험(동일 크기 데이터셋 비교)으로 검증

Limitation & Further Study

• 데이터셋 크기가 1,389개로 HypoGen의 5,528개보다 작으며, 추출 데이터의 자동화 수준이나 구체적인 추출 프로토콜 설명이 부족함. - 생의학과 AI/ML 외의 도메인(화학, 물리학 등)은 교차 도메인 카테고리로만 포함되어 별도의 깊이 있는 분석 부족. - 논문에서 원문 그라운딩의 정확도는 150개 샘플만 검증했으므로 전체 1,389개에 대한 계산적 검증 방법론이 더 상세히 필요함. - 향후 더 큰 스케일의 다도메인 데이터 수집, 자동 추론 추적 추출 알고리즘 개발, 더 깊은 도메인별 분석 수행이 필요.

Evaluation

총평: CrossTrace는 과학 가설 생성을 위한 최초의 대규모 멀티도메인 그라운드 추론 추적 데이터셋으로, 구조화된 추론이 도메인 경계를 넘어 전이 가능함을 보여준다. 데이터 인프라로서의 가치가 높고 기술적으로 건실하며, 99.7% 단계 그라운딩 정확도와 모델 성능 향상 근거가 설득력 있다. 다만 자동 추출 방법론의 상세 기술과 더 큰 규모의 멀티도메인 확장이 향후 과제이다.