LongCoT: Benchmarking Long-Horizon Chain-of-Thought Reasoning

Motivation

• Known: 기존 벤치마크들(FrontierMath, HLE 등)은 짧은 reasoning chain으로 어렵지만 단기적인 문제를 평가하거나, agentic benchmark는 tool use와 scaffolding에 의존하며, long-context benchmark는 긴 입력에 대한 retrieval만 요구하고 출력은 짧다.
• Gap: 모델이 CoT가 길어질수록 planning, 상태 유지, 진행 상황 모니터링, credit assignment를 얼마나 신뢰성 있게 지속할 수 있는지를 tool이나 scaffold의 개입 없이 순수하게 측정하는 벤치마크가 부재했다.
• Why: 테스트 타임 스케일링과 긴 context 활용이 확산되는 상황에서, 복잡한 자율 작업을 안정적으로 수행하려면 모델이 장시간에 걸쳐 일관된 reasoning trace를 유지하는 근본적 능력이 필수적이기 때문이다.
• Approach: 도메인 전문가가 설계한 파라미터화된 템플릿(explicit composition 또는 implicit search)을 통해 짧은 prompt와 검증 가능한 정답을 가지면서도 상호의존적 subproblem 그래프를 요구하는 문제를 확장 가능하게 생성하고, tool 없이 모델 단독의 long-horizon 추론 능력만을 격리하여 평가한다.

Achievement

1. LongCoT 벤치마크 공개: 5개 도메인(chemistry, mathematics, computer science, chess, logic)에 걸친 2,500개 전문가 설계 문제로 long-horizon reasoning을 직접 측정하는 hard benchmark를 제시했다.
2. 확장 가능한 문제 생성 방법론: 파라미터화된 explicit/implicit 템플릿을 통해 개별 step은 tractable하지만 전체 그래프 탐색은 매우 어려운 문제를 스케일러블하게 생성하는 방법을 개발했다.
3. 프론티어 모델 평가 및 gap 규명: GPT 5.2(9.8%), Gemini 3 Pro(6.1%) 등 최고 성능 모델도 10% 미만 정확도에 그침을 보이며 기존 벤치마크 성능과 실제 long-horizon reasoning 능력 사이의 큰 격차를 드러냈다.

How

• 화학, 수학, 컴퓨터과학, 체스, 논리 5개 도메인에서 도메인 전문가가 파라미터화된 템플릿을 설계, explicit composition(그래프가 prompt에 명시)과 implicit search(단일 질문이 큰 그래프 구조의 탐색을 요구) 두 유형으로 문제를 구성
• 각 atomic step/subproblem은 개별적으로는 tractable하도록 난이도를 통제하여, 실패가 순수하게 long-horizon 능력의 한계에서 기인하도록 설계
• 짧은 prompt(median 2K tokens)와 검증 가능한 최종 답으로 구성하되, 해결에는 수만~수십만 reasoning token이 소요되는 상호의존 step들의 그래프(DAG, search tree, cyclic graph, constraint graph, execution trace) 탐색이 필요
• 기본 평가는 코드 실행이나 tool 없이 모델 단독으로 진행하여 dependency 구조를 외부로 offload하지 못하게 하고, 별도로 코드 실행을 포함한 scaffolded track도 평가(Section 4.2)
• 여러 open/closed-source frontier 모델을 평가하고 도메인별, 문제 유형별, horizon 길이별 성능 변화 및 실패 유형을 분석

Originality

• 기존 벤치마크들이 짧은 reasoning chain(FrontierMath, HLE) 또는 tool/scaffold 의존적 agentic 워크플로우(SWEBench, BrowseComp 등), 혹은 long-input retrieval(LongBench v2, MRCR v2)에 그치는 것과 달리, 짧은 입력·긴 출력·tool-free·난이도 통제·검증 가능성을 모두 결합한 유일한 벤치마크임을 Table 1 비교를 통해 명시적으로 제시함
• 단순히 반복 연산을 강요하는 것이 아니라, 의미 있게 구성된(subproblem이 실제로 결합·의존하는) step들의 그래프 구조를 통해 난이도를 부여하는 설계 철학
• 화학 반응 cascade, 연쇄 경시대회 문제, 체스 minimax 등 다양한 도메인에서 DAG, cyclic graph, game tree 등 서로 다른 computational dependency 구조를 포괄

Limitation & Further Study

• 벤치마크가 알고리즘적으로 구조화된 도메인(화학, 수학, 컴퓨터과학, 체스, 논리)에 국한되어 있어, 실제 open-domain 자율 에이전트 작업에서의 long-horizon reasoning을 얼마나 대표하는지는 추가 검증이 필요함
• 발췌된 내용만으로는 채점(verification) 방식의 세부 신뢰도, 모델별 실패 유형 분석의 구체적 내용이 충분히 드러나지 않음
• 코드 실행을 허용하는 scaffolded track 결과와 tool-free 결과 간의 괴리에 대한 심층 분석이 후속 연구로 필요해 보임
• 최고 성능 모델도 10% 미만이라는 결과가 향후 모델 발전에 따라 빠르게 saturate될 가능성에 대한 논의가 부족함

Evaluation

총평: LongCoT는 long-horizon CoT reasoning이라는 중요하지만 그동안 직접 측정되지 않았던 능력을 tool-free 설정에서 엄밀하게 격리해 측정하는 잘 설계된 벤치마크로, 프론티어 모델들의 명확한 한계를 드러내는 유의미한 기여를 한다.