AI scientists produce results without reasoning scientifically

Motivation

• Known: LLM 기반 systems의 과학 자동화에 대한 기대가 높아지고 있지만, DENDRAL과 달리 LLM 기반 agent는 추론 과정이 불투명하다. 기존 벤치마크는 task completion만 평가하며, 추론 과정이 과학적 inquiry의 자기 수정 특성을 따르는지 평가하지 않는다.
• Gap: LLM 기반 scientific agent들이 과학적 결과를 생산하지만, 그들의 추론이 과학적 inquiry를 자기 수정 가능하게 만드는 인식론적 규범을 실제로 따르는지가 불명확하다. 추론 과정 자체의 직접적 평가가 부족하다.
• Why: 현재 배포되는 LLM 기반 agent들의 추론 구조를 이해하는 것이 중요하다. 과학적 지식의 타당성은 그것을 생산한 과정의 인식론적 건전성에 달려 있으며, outcome-based evaluation만으로는 근본적인 실패를 감지할 수 없다.
• Approach: 8개 scientific domain에서 25,000개 이상의 agent run을 통해 두 가지 complementary lens로 평가한다. (i) base model과 agent scaffold의 기여도를 분리하는 systematic performance analysis, (ii) agent 추론의 epistemological structure에 대한 behavioral analysis를 수행한다.

Achievement

Figure 2: Performance is primarily driven by model choice and degrades with epis-

• Base model vs scaffold 기여도: Base model이 41.4% 설명 분산을 차지하는 반면 scaffold는 1.5%만 기여
• 추론 실패 패턴: 68% 추적에서 증거 무시, 26%에서만 refutation-driven belief revision, 수렴적 multi-test 증거 희소
• 일관된 실패: 문제 유형(workflow vs hypothesis-driven) 불문하고 동일한 undisciplined reasoning 패턴
• 개선 한계: 성공적 추론 궤적을 context로 제공해도 패턴 지속, scaffold engineering 단독으로는 수리 불가능

How

Figure 4: Reasoning breakdowns dominate across all domain groups. (A) Epistemo-

• Environments 설계: 8개 domain을 epistemic demand(workflow vs hypothesis-driven)와 task scope 두 축으로 조직화
• Subtask 분해: 각 domain을 retrieval, execution, reasoning, validation 같은 구체적 인지 작업으로 세분화
• Agent 모델링: LLM-based agent를 language decision process로 모델링하여 base-model policy와 scaffold component 분리
• Trace 분석: 25,000+ agent run의 추론 궤적을 epistemological structure(evidence handling, hypothesis formation, belief revision) 기준으로 분석
• Controlled comparison: 3개 frontier model × 2개 scaffold architecture 조합으로 각 요소의 독립적 기여도 평가

Originality

• 이중 분석 프레임: Performance analysis와 epistemological analysis를 결합한 새로운 평가 방식
• 인식론적 관점: 철학적 'justified true belief' 개념을 과학 agent 평가에 적용한 혁신적 접근
• 대규모 추적 분석: 25,000+ agent run의 상세한 epistemological trace 분석은 기존 벤치마크(task completion만 측정)와 근본적으로 다름
• Base model vs scaffold 분해: Agent 성능의 원인을 정량적으로 속성화하는 체계적 방법론

Limitation & Further Study

• 도메인 범위: 화학, 재료과학, 전자공학 중심으로 8개 domain만 평가; 생물학, 물리학 등 다른 과학 분야의 확대 필요
• 모델 커버리지: 3개 frontier model만 평가; 더 많은 open-source 및 specialized scientific model 필요
• 인과성 추론: Epistemological pattern과 task failure 간의 명시적 인과 관계 증명 부족
• 장기 효과: 반복 시행에서 unreliability 증가를 확인했으나, 매우 긴 horizon에서의 누적 효과는 미탐구
• 개선 방향: Base model level 변화의 필요성을 강조하지만 구체적 훈련 목표(reasoning as training target)의 정의가 부족

Evaluation

총평: 본 연구는 LLM 기반 scientific agent의 인식론적 신뢰성에 대한 근본적 문제를 제기하는 중추적 기여를 한다. 대규모 실험(25,000+ runs)과 이중 분석 방법론을 통해 scaffold engineering의 한계와 base model level 개선의 필수성을 명확히 입증했다. 결과 기반 평가로는 감지 불가능한 추론 실패를 체계적으로 드러냄으로써 과학 agent 평가의 새로운 기준을 제시한다.