Confidence and Correctness Are Indistinguishable to a Prompted Model on Multimodal Geometry

Motivation

• Known: RLHF 및 RLVR(강화학습) 설정에서는 confidence를 최적화하는 것과 ground-truth correctness를 최적화하는 것이 서로 다른 결과를 낳으며, DCPO 등의 연구는 두 목적의 gradient가 negative Fisher-metric inner product를 가져 하나의 목적으로는 reasoning과 confidence를 동시에 개선할 수 없음을 보였다. 또한 self-improvement 과정에서 모델이 정확도보다 빠르게 confidence가 상승해 overconfidence가 커진다는 것도 알려져 있다.
• Gap: 이러한 confidence-vs-correctness 구분의 효과가 weight update가 없는 가벼운 in-context 루프(few-shot exemplar 축적)에도 전이되는지는 알려져 있지 않았으며, 특히 diagram 기반 multimodal geometry 문제에서 vision-language model에 대해 검증된 바가 없다.
• Why: in-context self-improvement는 fine-tuning 없이 few-shot exemplar를 누적하는 저렴하고 흔한 방식으로 agent들이 실시간으로 학습하는 주요 방법이 되고 있어, RL에서 관찰된 confidence-driven overconfidence 문제가 프롬프트 설계에도 나타나는지 아는 것은 self-evolving math agent의 신뢰성 확보에 실용적으로 중요하다.
• Approach: Claude Haiku와 Pixtral-12B 두 vision-language model에 대해 MathVerse의 diagram 기반 plane-geometry 문제로 confidence-selection arm과 correctness-selection arm을 각각 4라운드 실행하는 no-training in-context self-improvement loop를 설계하여 두 selection signal의 효과를 비교했다.

Achievement

1. Selection signal의 무효성 입증: 4라운드에 걸쳐 confidence 기반 예시 선택과 correctness 기반 예시 선택이 accuracy, calibration(ECE), 오답에 대한 confidence, abstention 모두에서 통계적으로 구별 불가능함을 보였다.
2. RL과의 대조 확인: DCPO 등 RLVR 연구에서 유의미했던 confidence-vs-correctness 구분이 prompt 기반 in-context 설정으로는 전이되지 않는다는 것을 실증적으로 확인했다.
3. 모델 간 차이 발견: 거의 동일한 accuracy에서도 오답에 대한 confidence는 Claude가 0.70, Pixtral이 0.94로 크게 달랐으며, 검증된 정답 피드백(verified-correct feedback)조차 이 confidence를 낮추지 못함을 보여 overconfidence가 모델 고유 속성임을 규명했다.

How

• MathVerse의 Vision Dominant/Vision Intensive 버전 중 multiple-choice 항목만 선별해 plane geometry(Angle, Length, Area, Applied) 40개의 고정 평가셋과 별도의 practice pool을 구성
• Claude Haiku(claude-haiku-4-5)와 Pixtral-12B(pixtral-12b-2409)에 diagram+question을 입력하고 답변(letter 또는 abstention)과 0-100 confidence를 함께 출력하도록 함
• 매 라운드 30개의 practice 문제를 풀게 하고, confidence arm은 self-reported confidence≥70인 예시를, correctness arm은 gold label과 일치하는 예시를 최대 3개까지 keep하여 다음 라운드 prompt에 text-only few-shot exemplar로 seed
• 평가는 temperature 0, practice는 temperature 0.7로 진행하며, 두 arm 모두 동일한 40-item 평가셋(동일 seed, 순서)에 대해 gold label로 채점하여 paired item-level test 수행
• ECE(M=10 bin)로 calibration을 측정하고, 오답에 대한 평균 confidence 및 abstention 비율을 라운드별로 비교

Originality

• 기존 RLHF/RLVR 연구(DCPO 등)에서 확립된 confidence-vs-correctness 구분을 학습이 전혀 없는 in-context prompting 설정으로 옮겨 검증한 최초의 시도로 보인다.
• 텍스트 전용 벤치마크가 아닌 diagram이 load-bearing인 multimodal geometry 문제(MathVerse)를 대상으로 확장했다는 점에서 기존 calibration 연구와 차별화된다.
• 두 signal 간 차이가 아니라 모델 간 차이(Claude vs Pixtral)가 오답 confidence를 좌우한다는 새로운 관찰을 negative result와 병치하여 제시했다.

Limitation & Further Study

• 평가셋이 40개 문제, practice 30개/라운드, 4라운드에 불과해 표본 크기가 매우 작아 통계적 검정력이 제한적이고, null 결과가 진짜 효과 부재인지 검정력 부족인지 구분하기 어렵다.
• 두 모델(Claude Haiku, Pixtral-12B)에만 국한되어 있어 결과의 일반화 가능성이 제한적이며, 더 다양한 모델·모델 크기·아키텍처에 대한 검증이 필요하다.
• carried exemplar가 diagram 없이 text-only로 제공되어 시각적 grounding 정보 손실이 결과에 영향을 미쳤을 가능성이 있고, geometry라는 단일 task domain에 국한되어 다른 reasoning task로의 일반화는 검증되지 않았다.
• 3-shot 수준의 저샷 설정이 calibration-accuracy trade-off에 민감하다는 선행연구(Zhang et al., 2024a)를 고려할 때, shot 수를 늘렸을 때도 결과가 유지되는지 추가 실험이 필요하다.

Evaluation

총평: RL 환경에서 알려진 confidence-vs-correctness 구분이 no-training in-context 설정에는 전이되지 않는다는 흥미로운 negative result를 제시하며 overconfidence가 모델 고유 속성이라는 실용적 시사점을 주지만, 표본 크기와 모델 수가 매우 제한적이어서 결론의 견고성에는 추가 검증이 필요하다.