OpenDiscoveryTrace: Process Traces for Evaluating AI Scientist Workflows

Motivation

• Known: 기존 연구는 AlphaFold, LLM 기반 자율 화학 실험 등 AI가 과학 연구를 대규모로 수행할 수 있음을 보였고, ScienceAgentBench, MLAgentBench, MLE-bench 등 여러 벤치마크가 AI scientist agent의 성능을 평가해왔다.
• Gap: 그러나 이러한 벤치마크들은 모두 생성된 코드, 가설, 논문 등 최종 산출물만 평가하고 그 산출물에 도달한 추론 과정은 폐기하기 때문에, 과학적 방법론을 감사하거나 실패 모드를 진단하거나 체계적 추론과 우연한 성공을 구분하는 것이 불가능하다.
• Why: 추론 과정에 대한 완전한 결정 trace가 없으면 AI 거버넌스 차원의 감사가 불가능하고, agent 개선을 위해서도 실패 모드는 trajectory 속성이지 output 속성이 아니므로 process-level 데이터가 필수적이다.
• Approach: 저자들은 thought, tool call, observation, error, revision trigger, confidence 등 9개 필드로 구성된 구조화된 trace 스키마를 ReAct 프레임워크를 확장하여 설계하고, 7개 모델(GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro 등 frontier 3종과 Qwen2.5-7B 등 open-weight 4종)이 124개 과학 태스크를 수행하는 과정을 기록한 558개 trajectory 데이터셋을 구축했다.

Achievement

Figure 1. OPENDISCOVERYTRACE:

1. 행동 차이 발견: 세 frontier 모델(GPT-5.4, Gemini 3.1 Pro, Claude Opus 4.6)이 84-89%로 유사한 성공률을 보이지만, Claude Opus 4.6은 GPT-5.4보다 30배 많은 에러(2.5 vs 0.08 per trajectory, p<0.0001, Cliff's delta=0.613)를 발생시킴을 통계적으로 입증했다.
2. 에러 프로파일 질적 차이 규명: Claude의 에러는 66.7%가 tool misuse인 반면 GPT-5.4의 에러는 83.6%가 reasoning error로, 두 모델이 실패하는 방식이 근본적으로 다름을 밝혔고 이는 4개 도메인 전반에서 견고하게 재현됨을 확인했다.
3. 벤치마크 태스크 정의 및 baseline 제공: outcome prediction, error localization, claim verification, autonomy classification, process quality scoring의 5개 벤치마크 태스크를 정의하고 logistic regression, random forest, LSTM, Transformer 기반 baseline을 제시했다.
4. 초기 실패 개입 가능성 제시: 첫 에러의 68.1%가 step 0에서 발생함을 발견하여 초기 tool call 모니터링으로 대부분의 실패를 예방할 수 있음을 시사했다.

How

Figure 1. OPENDISCOVERYTRACE:

• ReAct 프레임워크를 확장하여 phase, thought, action(tool/input/output), observation, error, revision_trigger, confidence, step_id, timestamp의 9개 필드로 구성된 step 단위 trace 스키마를 설계
• 3개 frontier 모델에 대해 4개 도메인(신약 개발, 재료과학, 유전체학, 과학 문헌 분석) × 3개 난이도로 균형 잡힌 124개 태스크씩 총 372개 trajectory 수집
• 4개 open-weight 모델에 대해 각 30개씩 단일 응답 trajectory 수집, 추가로 Qwen2.5-7B에 대해 전체 multi-step harness를 A100에서 구동한 tool-scaffolded trajectory 6개 수집
• 60개 live-retrieval 변형 trajectory 및 PubMed/PubChem API 연동 파일럿 포함
• 363개 trajectory에 대해 LLM-as-judge 평가를 수행하여 성공률, 에러 빈도, 에러 유형을 정량화하고 Mann-Whitney/Kruskal-Wallis 검정(H=122, p<10^-4)과 Cliff's delta로 통계적 유의성 검증
• LSTM 및 Transformer baseline을 outcome prediction 태스크에 적용하여 majority baseline 대비 성능(AUROC≤0.42)을 확인, 태스크의 non-trivial함을 입증

Originality

• 기존 AI scientist 벤치마크들이 모두 output-only 평가에 머물렀던 반면, 최초로 공개된 구조화된 process trace 데이터셋을 제안했다는 점에서 문제 설정 자체가 독창적이다.
• 9-필드 trace 스키마를 ReAct 프레임워크 확장으로 설계하여 thought, tool call, error, revision trigger, self-reported confidence를 통합적으로 기록한 점이 새롭다.
• frontier 모델과 open-weight 모델을 동일 조건(tool-scaffolded)에서 직접 비교 가능하게 한 설계가 독특하다.
• 단순 정확도가 아닌 에러 유형별 질적 분석(tool misuse vs reasoning error)을 통해 성능이 유사한 모델 간의 숨겨진 행동 차이를 드러낸 접근이 참신하다.

Limitation & Further Study

• 현재 단계(Phase 1)는 363개 trajectory에 대한 pilot 분석에 불과하며, 전체 200개 태스크와 9개 모델에 대한 1,800+ trajectory 확보는 향후 Phase 2로 예정되어 있어 아직 완결된 결과가 아니다.
• LLM-as-judge 평가에 의존하고 있어 인간 전문가 annotation(Phase 3, 120개 샘플, Krippendorff's α≥0.67 목표)이 아직 완료되지 않아 평가의 신뢰성 검증이 부족하다.
• 데이터셋 구축 비용이 약 $340로 저렴하지만 규모가 작아 통계적 검정력이 제한적일 수 있으며, 특히 open-weight 모델의 tool-scaffolded trajectory는 6개에 불과해 일반화하기 어렵다.
• live retrieval 및 ELN(전자실험노트) 통합을 통한 물리적 실험실 trace 캡처는 아직 파일럿 단계로, 계산 전용 환경을 넘어선 hybrid computational-physical 세팅으로의 확장이 검증되지 않았다.
• provider ToS에 따라 전체 trace 공개가 제한될 수 있어 재현성 및 완전한 감사 가능성이 부분적으로 훼손될 위험이 있다.

Evaluation

총평: Output만 평가하던 AI scientist 벤치마크의 사각지대를 process trace로 메우려는 시의적절하고 실용적인 시도로, 초기 pilot 결과만으로도 흥미로운 통계적 발견을 제시했으나 아직 규모와 인간 검증이 부족한 workshop-stage 연구이다.