CELEUS: Certifiable and Efficient LLM Evaluation via E-Processes

Motivation

• Known: 기존 certifiable evaluation 방법(예: Cer-Eval)은 순차적으로 평가 샘플을 선정하며 목표 정밀도(CI width)에 도달할 때까지 confidence interval을 갱신하는 방식을 사용하고, static one-shot CI 방법들도 존재한다.
• Gap: 기존 방법들은 일반적으로 anytime-valid하지 않아, CI가 반복적으로 갱신되고 중단 시점 결정에 사용될 때 주장된 커버리지(예: 95%)가 깨질 수 있다. 특히 Cer-Eval은 고정된 partition에 대한 adaptive concentration inequality에 의존하지만 실제 알고리즘은 평가된 데이터로부터 partition을 반복적으로 학습·갱신하여 double dipping 문제가 발생, 이론적 분석과 실제 절차 사이에 불일치가 생긴다.
• Why: LLM이 실세계 시스템으로 광범위하게 배포되는 상황에서, 평가 점수가 실제 성능을 통계적으로 신뢰할 수 있게 반영하는지 인증하는 것은 배포 결정의 신뢰성을 담보하는 데 필수적이며, 특히 사람 평가처럼 비용이 큰 평가에서 샘플 효율성까지 확보하는 것이 실용적으로 중요하다.
• Approach: e-process를 이용해 anytime-valid CI를 구성하고, uncertainty-guided sampling과 surrogate-assisted approximation을 결합한 조건부 편향 없는(unbiased) signal을 설계하여 evaluation risk를 추정한다.

Achievement

Figure 1. CI width versus the number of evaluated samples. Each trajectory is averaged over 50 seeds and surrogate–targe

1. Anytime-valid CI 보장: e-process 기반 test inversion을 통해 반복적인 CI 갱신 및 중단 시점 결정에도 커버리지가 깨지지 않는 CI를 구성함을 증명(Thm. 6).
2. 조건부 unbiased signal 설계: uncertainty-guided sampling과 surrogate-assisted approximation을 결합해 finite-pool evaluation risk에 대해 조건부로 편향 없는 signal을 구성함을 증명(Thm. 3).
3. 분산 감소 및 효율성 이론: surrogate score와 sample selection이 추정 분산을 줄여 더 적은 샘플로 목표 정밀도에 도달함을 분석하고, oracle variance-optimal sampling rule을 도출(Thms. 4, 5).
4. near-parametric 수렴율: CELEUS의 CI가 로그 인자를 제외하면 near-parametric rate로 수축함을 증명.
5. 실험적 효율성 입증: 실제 LLM 평가 과제에서 baseline 대비 54-62% 더 적은 평가 샘플로 목표 정밀도 도달, surrogate 모델(7-8B 파라미터) 활용 시 대형 모델(67-72B, 8×7B MoE) 평가에서 추가로 10-23% 효율 개선.

How

Figure 2. Mechanism analysis for CELEUS, pooled across the six surrogate-target pairs. Left: empirical bias of the final

• 데이터 pool DN에서 순차적으로 샘플을 평가하며, 각 라운드마다 evaluated risk와 surrogate score를 결합한 surrogate-completed estimate를 구성
• uncertainty-guided sampling rule로 다음 평가 샘플을 선택한 후, 관측된 risk에 대해 inverse-probability-weighted correction을 추가하여 surrogate residual을 보정
• 이렇게 구성된 signal이 finite-pool evaluation risk에 대해 조건부 unbiased함을 이론적으로 증명하고, 이를 기반으로 e-process를 구성해 test inversion을 통해 anytime-valid CI를 도출
• Hoeffding-style correction을 통해 finite-pool risk에 대한 CI를 population risk에 대한 CI로 확장
• oracle variance-optimal sampling rule을 유도하여 실제 empirical uncertainty-guided sampling 전략의 이론적 근거로 활용
• 진단 실험(Cer-Eval의 partitioning이 커버리지를 잃는 상황)과 실제 LLM 평가 과제(다양한 모델 크기 및 surrogate 모델 사용)에서 CI width, 평가 샘플 수, coverage를 측정하여 검증

Originality

• e-process를 LLM 평가의 인증(certification) 문제에 적용해 anytime-validity 문제를 근본적으로 해결한 최초의 접근으로 보임
• uncertainty-guided sampling과 surrogate-assisted approximation이라는 두 효율화 기법을 결합하면서도 conditional unbiasedness를 유지하는 signal을 설계한 것이 기술적으로 독창적
• 기존 Cer-Eval의 double dipping 문제(고정 partition 가정과 실제 adaptive partition 학습 간 불일치)를 명확히 지적하고 이를 이론적으로 해결
• oracle variance-optimal sampling rule을 도출하여 empirical heuristic의 이론적 정당성을 제공한 점도 독창적

Limitation & Further Study

• i.i.d. 가정이 population risk로의 일반화(Hoeffding 보정)에 필요하며, non-i.i.d.이거나 curated pool의 경우 population-level 해석에는 추가적인 distribution-dependent generalization bound가 필요함
• surrogate score의 품질에 따라 효율성 개선 정도가 달라질 수 있으며, surrogate가 부정확한 경우의 성능 저하에 대한 분석이 더 필요해 보임
• 실험이 특정 벤치마크와 특정 크기의 LLM들에 국한되어 있어, 더 다양한 태스크(예: open-ended generation, human preference) 및 더 큰 규모의 모델로의 일반화 검증이 후속 연구로 필요
• 후속 연구로는 non-i.i.d. 환경에서의 이론적 확장, 다양한 surrogate 모델 선택 전략에 대한 체계적 분석 등이 있을 수 있음

Evaluation

총평: e-process를 활용해 LLM 평가의 anytime-validity 문제를 이론적으로 엄밀하게 해결하면서도 실용적 효율성까지 확보한 견고한 연구로, certifiable evaluation 분야에 의미 있는 기여를 한다.