Online Safety Monitoring for LLMs

Motivation

• Known: 기존 LLM 안전 연구는 alignment training과 배포 전 offline evaluation, 그리고 post-hoc detection 기반의 inference-time guardrail에 집중해왔으며, conformal risk control과 같은 통계적 보정 기법이 존재한다.
• Gap: 기존 guardrail들은 대부분 post-hoc 탐지에 머물러 있어 생성이 진행되는 동안 실시간(online)으로 unsafe한 출력을 조기에 탐지하고 중단시키는 능력이 부족하며, sequential hypothesis testing 기반의 더 정교한 monitor(e-valuator)와 비교했을 때 단순한 threshold 기반 방법이 얼마나 경쟁력 있는지 검증되지 않았다.
• Why: 실시간으로 안전하지 않은 생성을 조기에 감지하고 중단시키는 것은 LLM이 검색, 코딩, 동반자 역할 등 실생활에 깊이 통합되면서 발생하는 잠재적 위해를 줄이는 데 필수적이며, 통계적 보장을 갖춘 간단한 monitor는 배포 시 실용적으로 채택되기 쉽다는 점에서 중요하다.
• Approach: 외부 verifier(예: process reward model, LLM safeguard) 또는 내부 LLM 신호로부터 얻은 안전성 신호 st를 risk control(conformal risk control, Bates et al. 2021의 UCB 기반 방법)로 보정한 단일 threshold λ에 대해 thresholding하여 알람을 발생시키는 stopping rule 기반 모니터를 설계한다.

Achievement

Figure 2. Monitoring harmlessness: All monitors maintain false

1. 간단한 통계적 모니터링 프레임워크 제시: false alarm risk(RI)와 missed detection risk(RII)를 각각 type I, type II error로 정식화하고, conformal risk control(CRC)과 high-probability control(UCB) 두 가지 보정 절차로 임의의 안전 신호를 이진 알람 결정으로 변환하는 방법을 제안했다.
2. 다양한 안전 시나리오에서의 검증: 수학적 추론(step-level correctness)과 multi-turn red teaming 대화(malicious use, toxicity)라는 서로 다른 안전 위험 유형에서 monitor를 평가하여 프레임워크의 범용성을 입증했다.
3. 복잡한 baseline 대비 경쟁력 입증: sequential hypothesis testing 기반의 더 정교한 e-valuator(Sadhuka et al., 2025)와 비교했을 때, 단순한 단일 threshold 방식이 유사하거나 더 나은 성능을 보이면서도 생성 과정에서 실패를 더 일찍 탐지함을 실험적으로 보였다.
4. 비용-성능 트레이드오프 분석: 외부 verifier 신호 대신 내부 LLM의 token log-probability를 저비용 대안으로 사용하는 ablation을 수행하여 실용적 배포 관점에서의 시사점을 제공했다.

How

Figure 2. Monitoring harmlessness: All monitors maintain false

• 안전성 신호 st를 외부 verifier(예: PRM, LLM safeguard의 predictive probability pψ(y|x, o1:t)) 또는 내부 생성 모델의 token log-probability pθ(ot|x, o1:t-1)로부터 정의
• 모니터를 Φt = 1{∃k, 1≤k≤t : sk < λ} 형태의 stopping rule로 정의하여, 신호가 임계값 λ 아래로 처음 떨어지는 시점에 알람을 발생
• 라벨이 있는 held-out calibration dataset Dcal을 이용해 false alarm risk RI(λ) = P(∃t≥1 : st<λ | y=1)를 정의하고, 이 risk가 λ에 대해 단조 증가함을 활용
• conformal risk control(CRC)로 기댓값 기준 risk를 목표 수준 ϵ 이하로 제어하는 λ̂_CRC를 유한샘플 보정식으로 산출
• Bates et al. (2021)의 방법과 Hoeffding-Bentkus upper confidence bound를 이용해 고확률(high-probability) 보장을 제공하는 λ̂_UCB를 산출
• 수학 추론과 red teaming 대화 데이터셋에서 두 calibration 방식을 각각 e-valuator(density estimator 기반 sequential test) baseline과 비교

Originality

• 기존 risk control(conformal risk control 등) 기법을 offline 예측 보정이 아닌 online, streaming 안전성 모니터링 맥락에 적용한 시도로, LLM 생성 과정 중 실시간 알람 결정에 통계적 보장을 부여했다는 점이 독창적이다.
• 복잡한 sequential hypothesis testing(e-valuator) 기반 monitor 대비, 단순한 단일 threshold 기반 stopping rule로도 경쟁력 있는 성능을 낼 수 있음을 실증적으로 보여, 모니터링 설계의 복잡도에 대한 통념에 의문을 제기한다.
• 외부 verifier 신호와 내부 LLM 신호(token log-probability) 간의 비용-성능 트레이드오프를 명시적으로 분석하여 실무적 배포 관점의 통찰을 제공한다.

Limitation & Further Study

• false alarm risk(type I error)에 초점을 맞추고 missed detection risk(type II error)는 부록으로 미뤄, 두 오류 간의 실제 trade-off에 대한 본문 내 종합적 분석이 부족하다.
• calibration dataset이 배포 데이터와 exchangeable하다는 가정에 의존하는데, 실제 배포 환경에서 분포 변화(distribution shift)가 발생하면 통계적 보장이 깨질 수 있어 이에 대한 강건성 검증이 필요하다.
• 단일 시간 불변(time-invariant) threshold λ를 모든 신호에 균일하게 적용하는 설계이므로, 생성 길이나 문맥에 따라 안전성 신호의 특성이 달라지는 경우 최적이 아닐 수 있으며, 이에 대한 시간 가변 threshold 확장 연구가 후속 과제로 남는다.
• 실험이 수학적 추론과 red teaming이라는 두 가지 시나리오에 한정되어 있어, 더 넓은 범위의 실제 배포 시나리오(예: 다국어, 다양한 도메인)에서의 일반화 가능성 검증이 추가로 필요하다.

Evaluation

총평: 간단한 threshold 기반 risk control monitor가 복잡한 sequential hypothesis testing 방법과 경쟁력이 있음을 실증적으로 보여준 실용적이고 명확한 워크숍 논문으로, LLM 온라인 안전 모니터링 분야에 간결하면서도 통계적으로 근거 있는 기준선을 제시한다.