Beyond Direct Gains: Matched Controls for Evaluating Concept Scaffolds

Motivation

• Known: rationale, plan, generated knowledge, concept, hint 등 reasoning scaffold가 language model의 추론을 돕는다는 것은 널리 알려져 있으며, helpful scaffold 추가 시 accuracy가 개선되는 현상이 여러 연구에서 보고되어 왔다.
• Gap: 기존의 helpful-vs-no-scaffold 직접 비교는 accuracy 개선이 scaffold의 semantic content 때문인지, scaffold-shaped prompt block의 존재(format) 때문인지, 혹은 그럴듯하지만 부적용 가능한 보조 정보에 대한 민감도 때문인지 구분하지 못하는 under-identified 문제를 안고 있다.
• Why: concept/hint scaffold의 효과를 semantic content 기여로 잘못 귀속시키면 reasoning scaffold 설계 및 평가에 대한 잘못된 결론을 이끌 수 있으며, in-context learning, prompt sensitivity, misleading information, rationale faithfulness에 관한 최근 연구들과 연결되는 근본적 평가 방법론 문제이기 때문에 중요하다.
• Approach: no-scaffold(N), format-only(F), helpful(D), misleading(M), wrong-fact(W)의 다섯 가지 matched 조건을 정의하고, format-only 대비 helpful gain(G_helpful) 등 네 가지 진단적 delta를 계산하는 matched-control protocol을 제안하며, 2,000개 학부 수학 문제에 대해 문제당 3개의 randomized version을 사용해 per-instance accuracy와 stable accuracy를 구분해 평가한다.

Achievement

Figure 1. Matched-control protocol: for each base problem, we construct five concept conditions, compute diagnostic cont

1. Matched-control protocol 제안: N, F, D, M, W 다섯 조건과 G_format, G_helpful, G_mislead, G_corrupt 네 가지 diagnostic delta를 정의하여 concept scaffold의 효과를 semantic content, format, misleading sensitivity로 분해했다.
2. 대규모 실증 평가: UGMathBench 기반 2,000개 base problem, 문제당 3개 randomized version, 조건당 6,000개 solver prompt로 총 9개 instruction-compatible model setting(Qwen2.5, Qwen2.5-Math, DeepSeek-R1 distilled, Qwen3, Gemma 3, Phi-4-mini, Llama 3.2)에 대해 평가했다.
3. stable accuracy 개념 도입: 문제의 3개 randomized version 모두 정답이어야 correct로 인정하는 stable accuracy S를 주요 지표로 채택하여, 단일 표본 버전에서의 우연한 개선과 근본적 reasoning objective에 대한 안정적 개선을 구분했다.
4. 핵심 실증 결과: 대부분의 setting에서 helpful concept이 format-only 대비 stable accuracy를 개선하지만 평균 gain은 미미함(G_helpful=+1.22점)을 보였고, 이를 semantic effect의 순수 추정치가 아닌 진단적 helpful-over-format contrast로 해석해야 함을 논증했다.
5. Pseudo-concept 구축 파이프라인: UGMathBench에 CHAMP-style concept label이 없다는 한계를 극복하기 위해 Qwen2.5-72B-Instruct를 teacher로 활용한 concept 생성 및 reference-answer 기반 검증, 필터링 절차를 마련했다.

How

Figure 1. Matched-control protocol: for each base problem, we construct five concept conditions, compute diagnostic cont

• 각 base problem q와 gold answer y에 대해 N(문제만 제공), F(scaffold block은 유지하되 concept을 [N/A]로 대체), D(problem-level helpful concept 제공), M(다른 문제에서 샘플링한 mathematically valid하지만 inapplicable한 concept 제공), W(subject-level false mathematical fact 제공)의 다섯 조건을 구성
• 네 가지 diagnostic delta 계산: G_format=A(F)-A(N), G_helpful=A(D)-A(F), G_mislead=A(M)-A(F), G_corrupt=A(W)-A(F)
• UGMathBench에서 subject-stratified proportional sampling(seed 42)으로 5,061개 문제 중 2,000개 base problem 선정, 문제당 3개 solver version으로 조건당 6,000개 prompt 구성
• Qwen2.5-72B-Instruct가 version 1과 reference answer를 이용해 1-3개의 재사용 가능한 concept을 생성하고, teacher가 문제를 풀어 도출된 답이 reference와 일치하지 않으면 annotation을 invalid 처리하는 방식으로 검증
• per-instance accuracy I와 stable accuracy S(세 버전 모두 정답이어야 정답 인정) 두 지표를 병행 보고하며, S를 주요 지표로 채택
• 10,000회 paired bootstrap resampling(2,000개 base problem 단위, 각 문제의 세 버전 보존)으로 불확실성 추정
• Qwen2.5, Qwen2.5-Math, DeepSeek-R1 distilled, Qwen3(thinking disabled), Gemma 3, Phi-4-mini, Llama 3.2 등 9개 instruction-compatible setting에서 deterministic decoding과 rule-based answer-equivalence evaluator로 평가

Originality

• concept scaffold 평가를 causal identification 문제로 재구성하여, 기존의 단순 helpful-vs-no accuracy 비교가 여러 요인을 conflate한다는 점을 명시적으로 지적한 프레이밍이 독창적임
• format-only, misleading, wrong-fact라는 세 가지 negative/neutral control을 동시에 도입하여 semantic content, format effect, plausibility sensitivity를 분리한 5-condition 설계는 기존 prompt sensitivity/misleading information 연구를 scaffold 평가에 체계적으로 확장한 것
• per-instance accuracy와 stable accuracy(randomized version 전체 정답)를 구분해 도입한 점은 다중 버전 평가에서 안정성 개념을 정량화하는 새로운 시도

Limitation & Further Study

• Ghelpful 자체도 저자들이 인정하듯 순수한 semantic effect의 추정치가 아니며, format-only 조건이 진정한 counterfactual인지에 대한 추가적 검증이 부족함
• concept annotation이 Qwen2.5-72B-Instruct라는 단일 teacher model로 생성된 pseudo-label이므로, teacher model의 편향이나 한계가 concept 품질과 misleading/wrong-fact 조건의 대표성에 영향을 줄 수 있음
• 평가 대상이 UGMathBench 기반 수학 문제로 한정되어 있어, 다른 도메인(과학, 코딩 등)의 concept scaffold에 일반화되는지는 불확실함
• Qwen3는 thinking disabled 상태로만 평가되어, long-reasoning/chain-of-thought 강화 모드에서의 scaffold 효과는 다루지 않음
• 후속 연구로는 다양한 teacher model 및 도메인으로 protocol을 확장하고, misleading/wrong-fact 조건이 reasoning interference에 미치는 메커니즘을 더 세밀히 분석할 필요가 있음

Evaluation

총평: reasoning scaffold 평가에서 흔히 간과되는 identification 문제를 명확히 제기하고 실용적인 matched-control protocol과 stable accuracy 지표를 제안한 견실한 연구로, workshop paper 수준에서 방법론적 기여가 뚜렷하지만 단일 도메인·단일 teacher model에 국한된 실증 범위는 향후 확장이 필요하다.