Decodable but Not Faithful: Coupling Natural-Language Rationales to Programmatic Verifiers

Motivation

• Known: Chain-of-thought는 정확도를 높이지만, 생성된 rationale이 모델의 실제 내부 추론 과정을 충실히 반영하지 않을 수 있다는 것(unfaithfulness)이 이전 연구들에서 알려져 있었고, probing 연구에서는 높은 decodability가 곧 causal use의 증거는 아니라는 점이 경고되어 왔다.
• Gap: 기존 verifier 활용은 대부분 outcome-level(최종 답 검증, reranking, reward model 훈련)에 그쳤으며, rationale의 hidden state 표현 자체를 verifier 출력에 직접 결속시켜 decodability와 faithfulness의 관계를 체계적으로 규명한 연구는 부재했다.
• Why: probe accuracy를 faithful reasoning의 증거로 사용하는 관행이 널리 퍼져 있는데, 이 연구는 consistency loss로 representation coupling을 98.6%까지 끌어올려도 생성된 설명이 완전히 unfaithful할 수 있음을 보여줌으로써, 해석가능성 및 verifier 기반 훈련(RLVR 포함) 연구 전반에 중요한 경고를 제공한다.
• Approach: rationale span에 inline claim을 삽입하고, mean-pooled rationale hidden state로부터 programmatic verifier의 출력을 예측하는 auxiliary consistency head를 훈련하여 언어모델링 목적함수에 consistency loss를 추가한다.

Achievement

1. Decodability-Faithfulness Gap 규명: LeanCheck와 KataGo에서는 rationale-only/proof-only pooling이 counterfactual conflict 하에서도 완벽한 방향성 분리(perfect directional separation) 및 81% 정확도의 10-way win-rate bucket 인코딩을 달성했지만, 코드 설명 설정에서는 98.6% coupling에도 불구하고 생성된 설명이 무관한 알고리즘을 기술하는 등 완전히 unfaithful했다.
2. Capacity-artifact 배제: pretrained GPT-2와 from-scratch 모델을 통제 비교하여 이 간극이 모델 용량(capacity) 문제가 아니라 구조적(structural) 문제임을 입증했다.
3. Causal 영향 확인: synthetic activation patching을 통해 rationale representation이 실제로 claim logit에 causal한 영향(73-89% vs. 31% baseline)을 미침을 확인했다.
4. FEVER를 통한 evidence sensitivity 분리: evidence-only pooling이 raw accuracy를 희생하는 대신 genuine evidence sensitivity를 고립시켜 보여준다.
5. Fine-grained vs binary claim 분석: consistency loss가 binary claim보다 fine-grained claim에 불균형적으로 더 큰 이득을 준다는 것을 per-claim 분석으로 밝혔다.

How

• rationale span 내부에 explicit inline claim을 삽입하는 시퀀스 포맷 설계
• mean-pooled rationale hidden state 위에 linear classifier 형태의 auxiliary consistency head를 두고 verifier target(label/scalar)을 예측하도록 훈련, consistency loss를 language-modeling loss에 추가
• decodability(consistency-head accuracy) → counterfactual span swap(반사실적 조건에서 예측 변화 확인) → causal influence(activation patching으로 claim logit 이동 확인) → generation quality(실제 설명의 유용성 평가)로 이어지는 diagnostic ladder 구축
• LeanCheck(Lean 정리 증명), KataGo(바둑 엔진), synthetic 코드 환경, FEVER(사실 검증) 등 다섯 개 도메인에서 실험 수행
• pretrained GPT-2 대 from-scratch 모델 비교를 통한 capacity 통제 실험 수행

Originality

• 기존 probing 연구와 달리 사전에 존재하는 representation을 단순 decoding하는 것이 아니라, consistency loss로 representation 자체를 verifier target을 인코딩하도록 능동적으로 훈련시킨 뒤 이 coupling이 generation 행동으로 전이되는지 테스트하는 방식이 독창적이다.
• decodability에서 faithfulness까지의 escalating diagnostic ladder(consistency accuracy → counterfactual following → causal patching → per-claim 분석 → generation quality)를 체계적으로 구성하여, 각 단계가 이전 단계가 놓치는 정보를 드러내도록 설계했다.
• 정리 증명기, 바둑 엔진, 코드 오라클, 사실 검증 라벨 등 이질적인 다섯 개 도메인에 걸쳐 동일한 프레임워크를 적용하여 일반화 가능한 결론을 도출했다.

Limitation & Further Study

• 본문 발췌에는 코드 실험의 구체적 실패 메커니즘(왜 fluent하지만 unrelated한 설명이 생성되는지에 대한 이론적 설명)이 충분히 제시되지 않아 원인 규명이 기술적 관찰에 머무를 가능성이 있다.
• 다섯 도메인 각각의 모델 규모와 학습 데이터 스케일이 상이할 수 있어, 대규모 최신 LLM(GPT-4급)에서도 동일한 gap이 재현되는지는 추가 검증이 필요하다.
• decodability-faithfulness gap을 좁히기 위한 구체적 해법(예: generation-level regularization, RL 결합 등)은 제안되지 않고 진단에 그친 것으로 보이며, 후속 연구에서 이 gap을 실제로 줄이는 학습 방법론 개발이 필요하다.
• 워크숍 논문 형태로 발췌된 내용상 통계적 유의성 검정이나 재현성 관련 세부사항(시드 수, 분산 등)이 명확히 드러나지 않는다.

Evaluation

총평: probe accuracy나 representation coupling을 faithful reasoning의 근거로 오인하는 관행에 경종을 울리는 중요하고 시의적절한 연구이며, 다양한 도메인에 걸친 diagnostic ladder 설계가 특히 인상적이다. 다만 gap을 해소하는 구체적 방법론 제시보다는 현상 규명에 초점이 맞춰져 있어 후속 연구로의 확장이 기대된다.