Reasoning Is More Than the Model: Harness-Aware Evaluation of Agents on Verifiable Reasoning Tasks

Motivation

• Known: 기존 연구는 MATH, GPQA, HLE, FrontierMath 등 prompt-in/answer-out 방식의 model-centric reasoning benchmark로 모델의 추론 능력을 측정하거나, AgentBench, SWE-bench, OSWorld, τ-bench 등에서 특정 harness를 고정한 채 여러 모델을 비교해왔다.
• Gap: 기존 평가는 harness 없이 모델만 테스트하거나 단일 harness를 고정해 도메인 내에서 모델을 비교하기 때문에, harness 설계가 측정된 reasoning capability에 얼마나 영향을 미치는지가 가려진다. 즉 end-to-end 점수가 base-model reasoning과 harness orchestration을 혼동(conflate)하게 된다.
• Why: OpenClaw와 같은 open agent들이 모델-harness 시스템으로 구현되면서 reasoning의 패러다임이 model reasoning에서 agentic reasoning으로 이동하고 있으며, tool 접근성이나 state 관리 같은 harness 수준 선택이 agent 행동에 결정적 영향을 미치므로 재현 가능하고 해석 가능하며 책임성 있는 평가 체계가 필요하다.
• Approach: 실험을 R = U(B, fθ, H, E, S, C) 튜플로 정형화하여 benchmark, model, harness, environment, scorer, budget을 독립적으로 통제하고, macro-level(직접 추론 vs harnessed 실행 비교)과 micro-level(핵심 harness 능력에 대한 ablation) 평가를 결합해 trajectory 단위로 성공·실패를 분석한다.

Achievement

1. AlphaDiana 시스템 구축: benchmark, model, harness, environment, scorer, budget, trajectory logging을 표준화한 통합 평가 시스템을 구축하여 모델과 harness 양쪽에 대한 통제된 비교(controlled comparison)를 가능하게 했다.
2. Macro-level 발견: 세 가지 모델(Qwen3.5-27B, Gemma-4-31B-IT, Kimi-K2.6), 세 가지 harness(OpenClaw, ZeroClaw, OpenCode), no-harness baseline, 네 가지 benchmark(IMO-AnswerBench, HLE 검증가능 subset, AIME 26, GPQA-Diamond)에 걸쳐 harnessing 효과가 모델에 따라 다르며 균일하지 않음을 확인했다(어떤 모델에는 도움, 다른 모델에는 해가 됨).
3. Micro-level 발견: tool 접근과 skill loading을 분리해 분석한 결과, tool과 skill이 호환되는 model-harness 설정에서는 성능을 향상시키지만 강력한 direct reasoning을 방해하거나 불안정하게 만드는 non-monotonic한 효과를 관찰했다.
4. Trajectory-level 귀인 분석: reasoning, tool use, execution, state, budget, recovery, verification 등 여러 축에 걸쳐 성공/실패를 귀인함으로써 harness가 반복적 문제 해결(iterative problem-solving)을 가능하게 하는 동시에 체계적 오류(systematic errors)도 유발할 수 있음을 보였다.

How

• 실험을 R = U(B, fθ, H, E, S, C) 형태로 형식화: B(benchmark), fθ(base model), H(harness), E(environment/sandbox), S(scorer), C(config/budget)
• Agent System을 Aθ,H = H ⊙ fθ로 표현하여 direct-model baseline과 harnessed 실행을 동일한 프레임에서 비교
• 공유 러너(runner) U가 task 로딩, agent 실행, scoring, 결과 저장(trajectory logging 포함)을 일괄 수행하여 재현성 확보
• 결과는 ρ = (x, y, ŷ, s, τ, z) 형태의 record로 저장되어 accuracy, cost, failure, tool 사용, trajectory를 집계·분석
• macro-level: 동일 모델·harness·benchmark 조합에서 direct inference vs harnessed execution 비교
• micro-level: tool access, skill loading 등 핵심 harness capability를 개별적으로 isolate하는 ablation 수행
• action distribution을 6가지 functional action type으로 분류해 trajectory 단위 분석 수행(Fig. 5)

Originality

• 기존 벤치마크들이 모델 또는 단일 harness 고정 비교에 머무른 것과 달리, 모델과 harness를 모두 변수로 두어 model-harness 상호작용을 명시적으로 통제·비교하는 최초의 통합 시스템을 제안
• Foundation Model을 엔진(engine), Agent System을 자동차(car), AlphaDiana를 토너먼트 주최자(tournament organizer)에 비유하는 개념적 프레이밍으로 harness-aware 평가의 필요성을 직관적으로 제시
• 단순 정확도(accuracy)를 넘어 reasoning, tool use, execution, state, budget, recovery, verification 등 다차원 귀인을 통해 "성공 여부"가 아닌 "성공/실패의 이유"를 설명하는 것을 목표로 함

Limitation & Further Study

• 평가 대상 모델(3개)과 harness(3개+baseline)의 수가 제한적이어서 일반화 가능성에 한계가 있을 수 있음
• 논문 발췌본에서 구체적 정량적 결과(수치, 표)가 충분히 제시되지 않아 주장(harness 효과의 non-monotonic함 등)의 통계적 견고성을 판단하기 어려움
• 오픈소스 모델 및 harness 위주로 평가되어 폐쇄형 상용 시스템(GPT 계열 등)에 대한 일반화는 검증되지 않음
• 후속 연구로 더 다양한 모델·harness·태스크 도메인(예: 장기 horizon, multi-agent 협업)으로 확장하는 방향이 필요함

Evaluation

총평: Model-centric 평가에서 harness-aware 평가로의 패러다임 전환을 명확히 제시하고 이를 위한 실용적 시스템을 구축한 의미 있는 연구로, agent 평가의 재현성과 해석가능성 향상에 기여할 것으로 보이나 구체적 실험 결과의 상세한 검증이 추가로 필요하다.