The Consistency Dilemma in LLMs: Generator-Evaluator Agreement and Vulnerability to Mistakes

Motivation

• Known: 기존 연구는 LLM을 벤치마크(MMLU, BBH 등) 정확도로 평가하거나, 모델이 자신의 출력을 검증·수정하는 self-refinement/self-critique 파이프라인의 유용성을 탐구해왔다. 이러한 agentic pipeline은 모델이 생성 단계와 평가 단계에서 관련 개념을 동일하게 적용한다는 암묵적 가정에 의존한다.
• Gap: 모델이 벤치마크 문제를 정확히 풀 수 있어도, 동일한 개념에 대해 스스로 생성한 출력을 평가할 때 생성 시점과 다른 방식으로 개념을 적용해 self-consistency가 깨질 수 있는지, 그리고 이러한 self-consistency가 실제 신뢰성(reliability)과 어떤 관계가 있는지는 검증된 바 없다.
• Why: agentic pipeline에서 모델이 외부 검증 없이 스스로 출력을 평가·수정하는 사례가 급증하고 있어, generator와 evaluator 역할 간 개념 적용의 일관성이 깨지면 시스템 내부에서 drift가 발생해 잘못된 출력이 통과되거나 올바른 출력이 부당하게 거부될 위험이 있다. 특히 self-consistency를 모델 선택 기준으로 삼는 것이 오히려 위험할 수 있다는 "consistency dilemma"를 실증적으로 보여준다는 점에서 안전한 LLM 배포에 중요한 함의를 가진다.
• Approach: generator와 evaluator 역할에서 동일한 개념(concept)에 대한 모델의 응답 간 이항 일치도(binary agreement)를 측정하는 formalization을 제시하고, MCQ 변형·rationale 기반 변환·ontological 검사라는 세 가지 테스트 계열로 구성된 자동화된 테스트 스위트를 MMLU, BBH, MedicalQA, GDPVal, FinanceQA 등 5개 벤치마크에서 추출한 개념들에 적용한다.

Achievement

1. Self-consistency 지표 정립: generator와 evaluator 역할에서 모델이 동일 개념을 일관되게 적용하는 정도를 측정하는 formal한 measure(binary agreement score)를 정의했다.
2. 대규모 실증 평가: 10개 frontier 모델, 491개 개념, 5개 소스 벤치마크에 걸쳐 self-consistency의 상당한 편차(variation)를 발견했으며, 이는 벤치마크 정확도로는 설명되지 않는다.
3. Consistency Dilemma 발견: physician-validated 임상 실수 데이터셋(MedMistakes-Validated, Proniakin et al., 2025)을 활용해 (model, concept) 수준의 mistake vulnerability를 구성하고, self-consistency가 높은 모델일수록 벤치마크 성능을 통제한 후에도 mistake vulnerability가 더 높다는 안정적이고 체계적인 역상관을 밝혔다.

How

• 개념(concept)을 규칙·범주·원칙 등 여러 맥락에서 재사용 가능한 압축된 지식 단위로 정의하고, 짧은 라벨(예: myocardial infarction, Bayes' rule)로 대표한다.
• 각 테스트는 paired prompt (p_g, p_v)로 구성되어, 모델이 첫 prompt로 개념 c에 의존하는 출력 r_g를 생성하고, 두 번째 prompt로 그 출력이 애초 기준을 충족하는지 스스로 평가(r_v)하도록 한다.
• 결정론적 scoring rule s_t를 이용해 두 응답 간 binary agreement label Z를 산출하여 self-consistency를 계산한다.
• 세 가지 테스트 계열(MCQ perturbation, rationale-based transformation, ontological check)로 개념 사용의 서로 다른 붕괴 양상을 포착한다(예: "none of the above" 정답 유도 후 재풀이 실패, 스스로 만든 오류 추론을 승인, 스스로 나열한 속성 목록을 거부).
• MedMistakes-Validated 데이터셋에서 임상 vignette과 physician-validated 오류를 이용해 (model, concept)별 mistake vulnerability 지표를 구성하고, 동일한 개념 수준에서 self-consistency와의 연관성을 통계적으로 분석(벤치마크 성능 통제 포함)한다.

Originality

• 기존의 벤치마크 정확도 중심 평가와 달리, 모델이 서로 다른 역할(생성자 vs 평가자)에서 동일 개념을 얼마나 일관되게 적용하는지를 정량화하는 새로운 self-consistency 개념과 formal measure를 최초로 제안했다.
• 외부 정답 라벨 없이도 생성-평가 간 관계(relation)만으로 일관성을 측정할 수 있는 테스트 설계 방식을 고안했다(예: 모델이 스스로 만든 변형 문제를 다시 풀게 하거나, 스스로 생성한 잘못된 추론을 평가하게 하는 방식).
• self-consistency가 높을수록 오히려 더 안전하지 않을 수 있다는 반직관적 "consistency dilemma"를 physician-validated 임상 오류 데이터와 연결해 실증적으로 입증한 최초의 연구다.

Limitation & Further Study

• 분석은 특정 임상 도메인(MedMistakes-Validated)에 국한되어 있어, 다른 도메인(법률, 금융, 코딩 등)에서도 동일한 consistency dilemma가 성립하는지는 추가 검증이 필요하다.
• self-consistency와 mistake vulnerability 간의 관계는 상관관계로 제시되었으며, 왜 더 일관된 모델이 더 많은 실수를 재현하는지에 대한 인과적 메커니즘은 충분히 규명되지 않았다.
• 491개 개념과 10개 모델이라는 표본 크기가 최신 모델 생태계 전체를 대표하기에는 제한적일 수 있으며, 모델 업데이트에 따라 결과가 달라질 가능성이 있다.
• 후속 연구로는 consistency dilemma의 원인이 되는 내부 메커니즘(예: 학습 데이터의 편향, RLHF 과정에서의 개념 고착화 등)을 규명하고, self-consistency와 reliability를 동시에 개선할 수 있는 학습/추론 기법을 개발하는 방향이 필요하다.

Evaluation

총평: self-consistency를 무비판적으로 신뢰성의 대리 지표로 사용하는 관행에 경고를 던지는 참신하고 실증적으로 탄탄한 연구로, agentic pipeline 설계자들에게 중요한 시사점을 제공하지만 인과 메커니즘 규명과 도메인 일반화는 향후 과제로 남는다.