GLEAN: Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification

Motivation

• Known: LLM 기반 에이전트가 임상 진단 등 고위험 영역에서 자율적 의사결정에 활용되고 있으며, reward modeling, LLM-as-a-Judge, self-consistency, 외부 검증(retrieval-based checks, logical verification) 등 다양한 검증(verification) 기법이 연구되어 왔다.
• Gap: 기존 검증기(verifier)들은 도메인 지식 부족과 제한된 calibration으로 인해 성능이 떨어지며, reward model은 방대한 전문가 라벨링 비용이 들고 training-free 방법들은 암묵적 기준에 편향되거나 일관된 오류에 쉽게 속아 넘어가는 한계가 있다.
• Why: 고위험 도메인에서 에이전트의 잘못된 결정이 실행되기 전에 신뢰할 수 있는 correctness probability를 통해 이를 적발하고 risk control(abstention, escalation)을 가능하게 하는 것이 안전한 배포를 위해 필수적이기 때문이다.
• Approach: 전문가가 만든 protocol(guideline, checklist 등)을 에이전트 실행 trajectory의 단계별 정합성 평가에 활용하여 surrogate evidence로 축적하고, 이를 Bayesian logistic regression으로 calibrated correctness probability로 변환하며, 추정된 uncertainty에 따라 active verification(guideline 확장, differential check)을 트리거하는 순차적 evidence accumulation 프레임워크를 제안한다.

Achievement

1. 정합성 및 calibration 성능 향상: MIMIC-IV 데이터셋 기반 3개 질환의 agentic clinical diagnosis에서 best baseline 대비 AUROC 12% 향상, Brier score 50% 감소를 달성했다.
2. 높은 discrimination 및 calibration 지표: active verification 적용 시 AUROC 0.94 이상, Brier score 0.10 이하를 기록했다.
3. Best-of-N 성능 향상: GLEAN을 활용한 Best-of-N 선택으로 에이전트 진단 정확도를 55.6%에서 77.5%로 끌어올렸다.
4. 전문가 검증: 임상의를 대상으로 한 expert study를 통해 GLEAN의 실무적 유용성을 확인했다.

How

• guideline-grounded step-wise alignment score를 산출하여 multi-guideline rating을 surrogate feature로 집계
• 이 signal들이 correctness와 logit space에서 근사적으로 monotonic linear 관계를 보임을 확인하고, 이를 근거로 Bayesian logistic regression을 사용해 경량화된 방식으로 calibrated correctness probability를 산출
• trajectory를 따라 evidence를 축적하는 순차적(probabilistic sequential evidence accumulation) 정식화 채택
• 추정된 uncertainty가 임계값을 넘으면 active verification을 트리거: guideline coverage를 확장하거나 경쟁 대안과의 differential check를 수행하여 불확실한 사례에 대한 추가 evidence 수집
• 임상 진단(clinical diagnosis) task로 실증: MIMIC-IV 데이터셋 3개 질환에 대해 agentic diagnosis 파이프라인 구축 후 검증

Originality

• 고위험 에이전트 검증(agent verification)을 도메인 지식에 기반한 순차적 evidence accumulation 문제로 재구성한 개념적 프레이밍이 새로움
• 전문가 protocol(guideline)을 step-wise alignment score로 operationalize하고 Bayesian logistic regression을 통해 calibrated probability로 변환하는 경량 파이프라인 제안
• 불확실성 기반 active verification을 test-time scaling 관점과 연결하여 검증 단계에서도 추가 연산/evidence 투입을 통한 성능 향상을 도모한 점이 독창적

Limitation & Further Study

• guideline이 불완전하거나 구체성이 낮은 경우 surrogate evidence의 신뢰성이 떨어질 수 있으며, 이에 대한 active verification의 효과가 guideline coverage의 품질에 크게 의존할 것으로 보임
• 검증 대상이 clinical diagnosis라는 단일 고위험 도메인(3개 질환)에 국한되어 있어, 다른 고위험 도메인(법률, 금융 등)으로의 일반화 가능성은 추가 검증이 필요함
• Bayesian logistic regression 기반 calibration이 guideline score와 correctness 간의 monotonic linearity 가정에 의존하는데, 이 가정이 깨지는 복잡한 시나리오에서의 강건성 검토가 필요함
• expert study의 규모(참여 임상의 수, 평가 항목)에 대한 세부 정보가 제한적으로 제공되어 실무 적용성 평가의 일반화에 한계가 있을 수 있음

Evaluation

총평: 도메인 guideline을 활용해 고위험 에이전트 검증의 discrimination과 calibration을 동시에 개선하고 active verification까지 결합한 실용적이고 참신한 프레임워크로, 임상 진단이라는 대표적 고위험 시나리오에서 강력한 실증 결과를 보여준다.