SHAPE of Chain-of-Thought in Math Reasoning

Motivation

• Known: 기존 CoT 분석은 길이, "wait"/"aha" 같은 self-revision 마커, planning·verification 같은 넓은 episode 라벨, 혹은 그래프·트리 같은 구조적 패턴 등 표면적 특성을 포착해왔으며, LLM은 긴 CoT를 통해 수학 추론 벤치마크에서 높은 성능을 달성한다.
• Gap: 기존 연구들은 모델이 실제로 어떤 수학적 해석(semantic space) 하에서 작업하고 있으며 그 해석 내에서 어떤 구체적 행동(heuristics)을 취하는지, 그리고 해석 간 전환이 어떻게 이루어지는지를 추적하지 못해, 정답 정확도 이면의 실제 수학적으로 의미 있는 문제해결 능력을 진단할 원칙적인 틀이 부재하다.
• Why: 모델이 어떤 전략을 사용하고 해석 간 이동을 어떻게 하는지 파악하는 것은 추론 실패를 진단하고 개선을 이끄는 원칙적 기반을 제공하며, post-training이 실제로 수학적 능력을 향상시키는지 검증하는 데 필수적이다.
• Approach: 수학교육 연구에서 확립된 semantic space와 heuristics 개념을 CoT 궤적에 적용하여, 자동화된 태깅·트래킹 파이프라인으로 대규모 CoT 데이터를 구조화된 SHAPE 궤적으로 변환·분석한다.

Achievement

1. CoT 특징으로서 heuristics의 우수성 검증: heuristic 수준 특징이 길이, lexical marker, episode label 등 기존 CoT 특징보다 여러 모델에 걸쳐 더 안정적으로 정답 정확도를 예측함을 보임.
2. 성공적 추론의 패턴 발견: 정답에 도달하는 추론은 소수의 semantic space에 집중적으로 heuristic 활동을 투입하는 반면, 오답 궤적은 여러 disparate space에 활동을 분산시키는 경향이 있음을 확인, 이는 인간의 문제해결 행동과 유사함.
3. post-training의 한계 진단: RL로 학습된 모델이 이미 잘 다루는 접근과 근본적으로 다른 해법이 필요한 문제에서 semantic-space 재구성에 실패하고 이미 방문한 공간 사이를 진동하며, RL이 heuristics 사용에서 mode-seeking(다양성 축소) 현상을 유도함을 규명.
4. heuristics 다양성을 촉진하는 post-training 방법 제안: RLVR(reinforcement learning with verifiable rewards) 과정에서 수학적 heuristics를 planning에 직접 통합하여 정확도를 개선함을 입증.

How

• CoT 궤적을 content unit으로 분할하는 Content Unit 모델, 각 unit에 heuristic 라벨을 부여하는 Heuristic Tagging 모델, 그리고 MAINTAIN/NEW/RETURN 상태로 semantic-space 변화를 분류하는 Semantic Space Tracking 모델로 구성된 자동화 파이프라인을 구축.
• Pólya, Schoenfeld, Koichu et al., Favier & Dorier 등 기존 heuristics 분류체계를 통합해 LLM CoT에 적용 가능한 unified taxonomy를 설계(Appendix A).
• MATH-Perturb 데이터셋에서 Qwen3-30B-A3B-Instruct/Thinking, Qwen3-8B, Nemotron-Cascade-8B 등 4개 모델의 48개 CoT 궤적을 수작업으로 annotation하여 gold standard 구축 후 annotator model 선정.
• 이 파이프라인을 활용해 다양한 LLM의 추론 패턴을 분석하고, post-training(RL) 전후 semantic-space·heuristics 사용 변화를 비교하며, heuristics 다양성을 촉진하는 RLVR 기반 post-training을 수행하여 Olmo-3-{Base, Think-RLVR} 등에 대해 효과를 검증.

Originality

• 수학교육학의 이론적 개념(semantic space, heuristics)을 LLM CoT 분석에 최초로 체계적으로 도입하여 이론적 근거를 갖춘 진단 프레임워크를 제시.
• 기존의 표면적 CoT 특징(길이, 렉시컬 마커, episode 라벨, 구조적 그래프/트리)과 차별화되는, 실제 수학적 문제해결 전략과 해석 변화를 포착하는 새로운 분석 축을 제안.
• 분석에 그치지 않고 발견된 통찰(heuristics 다양성 부족)을 실제 post-training 개선(RLVR 내 heuristics 기반 planning)으로 연결하여 진단-개선의 폐루프를 구성.

Limitation & Further Study

• 자동화 파이프라인이 태깅·트래킹 모델의 정확도에 의존하므로, 48개의 소규모 gold set만으로 검증된 annotator 모델의 일반화 가능성 및 오류 전파 위험이 존재할 수 있음.
• MATH-Perturb 등 특정 데이터셋과 소수 모델(Qwen3, Nemotron 계열)에 국한된 분석으로, 더 다양한 문제 유형(기하, 증명 등)과 대형 상용 모델로의 일반화 검증이 추가로 필요.
• heuristics taxonomy 자체가 여러 기존 분류체계를 통합한 것이라 주관적 설계 선택에 의존하며, taxonomy의 완결성·객관성에 대한 추가 검증이 필요.
• 발췌된 본문만으로는 제안된 post-training 방법(heuristics 기반 planning)의 구체적 알고리즘과 정량적 성능 향상 폭이 충분히 드러나지 않아 추후 상세 검증이 요구됨.

Evaluation

총평: 수학교육학의 이론적 개념을 LLM CoT 분석에 접목시킨 참신하고 이론적 근거가 탄탄한 진단 프레임워크로, 단순 분석을 넘어 post-training 개선까지 이어지는 완결성 있는 연구이나, 소규모 gold set과 제한된 모델·데이터셋 범위에서 오는 일반화 검증이 추후 과제로 남는다.