Safety Overestimation: A Framework for Identifying Superficial Alignment in Large Language Models

Motivation

• Known: TruthfulQA, HarmBench, HELM 등 표준화된 safety benchmark와 Constitutional AI, RLHF 같은 정렬 기법이 LLM 안전성 평가의 주류 도구로 자리잡았으며, model card를 통한 공개가 표준적 disclosure 메커니즘으로 사용되고 있다는 점이 알려져 있다.
• Gap: GPT-4의 DAN jailbreak 사례처럼 벤치마크를 통과한 모델이 실제로는 쉽게 우회되는 사례들이 축적되어 있음에도, 벤치마크 점수와 배포 시 안전성 간의 관계를 정밀하게 정식화한 이론적 틀이 문헌에 존재하지 않았고, 이 괴리가 단순한 distribution shift인지 구조적 문제인지 구분할 방법이 없었다.
• Why: 의료, 법률, 교육, 시민 인프라 등 고위험 영역에 LLM이 배포되는 상황에서, 벤치마크 안전성이 실제 안전성을 체계적으로 과대평가한다면 이는 greenwashing과 유사하게 규제와 신뢰의 근간을 훼손할 수 있으며, 제3자 감사·model card 공개·규제 표준 수립에 직접적인 함의를 갖는다.
• Approach: domain adaptation theory의 분해 기법을 차용하여 evaluation-deployment gap을 distributional 성분과 structural 성분으로 나누는 probabilistic framework를 제시하고, Goodhart's Law의 변종들과 연결되는 다섯 가지 mechanism의 분류체계를 구축한 뒤 이를 SOI라는 multi-criteria 감사 rubric으로 종합한다.

Achievement

Figure 3. Hypothetical SOI profiles for two models with similar

1. Safety Overestimation의 형식적 정의: Safe(M,P) 함수와 ∆(M) = Safe(M,E) - Safe(M,D)를 정의하고, Ben-David et al.(2010)의 domain adaptation 분해를 응용해 ∆(M) = ∆dist(M) + ∆struct(M)로 나눈 뒤, ∆struct(M) > ε이면서 이것이 evaluation construct의 decoupling에 인과적으로 귀속될 때 safety overestimation으로 정의한다(Definition 1).
2. 다섯 가지 mechanism 분류체계: Benchmark Overfitting(extremal Goodhart), Refusal Theater(causal Goodhart), Context Collapse, Demographic Blind Spots 등 최소 4개 이상의 mechanism을 Goodhart's Law의 변종과 대응시켜 정리하고, 기존 문헌(Wei et al., Zou et al., Sharma et al., Ganguli et al., Hubinger et al. 등)의 실증 결과를 각 mechanism의 증거로 재해석한다.
3. Safety Overestimation Index(SOI) 제안: 네 가지 formal design requirement를 갖춘 multi-criteria audit rubric을 제안하고 SOI-DBS와 같은 구체적 empirical instantiation(fairness 문헌의 coefficient-of-variation 방법 응용)을 제시하여 제3자 감사와 규제 표준에 활용 가능한 실무적 틀을 제공한다.

How

Figure 2. Hypothetical refusal rate curves as a function of conver-

• Safe(M,P) = E_{x~P}[1[M(x) ∈ Y_safe]] 형태로 안전율을 정의하고, evaluation distribution E와 deployment distribution D 간의 gap ∆(M)을 수식화
• domain adaptation theory를 차용해 ∆(M)을 ∆dist(safety-optimal model M*와 무관한 순수 분포 차이)와 ∆struct(M이 E에 대해 갖는 추가적 optimization advantage)로 분해
• Goodhart's Law의 세 가지 변종(regressional, extremal, causal)을 다섯 mechanism 각각에 매핑(Table 1)
• 기존 발표된 실증 연구(jailbreak, adversarial suffix transfer, sycophancy, red-teaming 실패 사례, deceptive alignment 등)를 각 mechanism의 실증적 근거로 종합(synthesize)
• Figure 2를 통해 대화 turn 수에 따른 가상의 refusal rate curve를 제시하여 context collapse mechanism을 시각적으로 예증
• 이를 기반으로 네 가지 formal design requirement를 만족하는 SOI rubric을 구성하고 SOI profile 예시(Figure 3)로 두 모델 간 비교 가능성을 제시

Originality

• greenwashing이라는 환경정책 개념을 LLM 안전성 평가에 유비적으로 도입하여 "safety overestimation"이라는 새로운 개념을 정식화한 점이 독창적이다.
• 기존에 산발적으로 보고된 jailbreak, sycophancy, red-teaming gap 등의 현상을 Goodhart's Law의 세 변종(regressional/extremal/causal)과 명시적으로 매핑하여 통합된 이론적 틀로 재구성한 점이 새롭다.
• 단순한 정성적 논의를 넘어 domain adaptation 이론에 기반한 확률론적 분해(∆dist vs ∆struct)를 통해 "구조적 괴리"를 "일상적 distribution shift"와 형식적으로 구분해낸 정의(Definition 1)를 제시한 것이 이론적 기여이다.

Limitation & Further Study

• 본 논문은 순수 이론/개념 논문으로, SOI의 실제 empirical instantiation이나 대규모 실험적 검증 없이 기존 문헌의 재해석에 의존하고 있어 제안된 프레임워크의 실증적 타당성이 아직 입증되지 않았다.
• Figure 2, 3에서 제시된 refusal rate curve와 SOI profile이 모두 "hypothetical"이라고 명시되어 있어, 실제 모델에 대한 SOI 측정 결과가 부재하다.
• ∆struct(M)을 계산하기 위해서는 safety-optimal model M을 필요로 하는데, 이 M을 실제로 어떻게 추정하거나 근사할 것인지에 대한 구체적 방법론이 제시되지 않아 실무 적용 시 identifiability 문제가 발생할 수 있다.
• 후속 연구로 SOI rubric을 실제 다양한 LLM에 적용한 실증적 벤치마킹 연구, M* 근사 방법론 개발, 그리고 five mechanisms 간 상호작용에 대한 정량적 분석이 필요하다.

Evaluation

총평: LLM 안전성 평가의 근본적 문제를 명확한 개념과 형식적 틀로 정리한 시의적절하고 통찰력 있는 개념 논문이지만, 실증적 검증이 부재한 순수 이론적 제안에 그치고 있어 향후 SOI의 실제 적용 연구가 뒷받침되어야 완성도를 갖출 것이다.