Computational Safety for Generative AI: A Hypothesis Testing Perspective

Motivation

• Known: AI safety 연구는 LLM과 T2I diffusion model 같은 GenAI 도구의 오남용(jailbreak, 유해 콘텐츠 생성, deepfake를 통한 허위정보 유포 등)을 방지하기 위한 risk governance, policy-making, legal regulation(예: EU AI Act) 및 attack-defense 연구가 활발히 진행되고 있다.
• Gap: 기존 AI safety 연구는 공격·방어 기법이나 특정 도메인 사례 중심으로 파편화되어 있으며, safety 문제를 정량적이고 통일된 수학적 틀(예: signal processing의 hypothesis testing)로 formalize하여 다루는 연구는 부족했다.
• Why: GenAI 모델들의 성능이 유사한 학습 데이터와 아키텍처(decoder-only transformer 등)로 인해 포화 상태에 이르면서, 신뢰할 수 있는 safety guardrail 개발이 책임성과 지속가능성 측면에서 핵심 차별화 요소가 되고 있기 때문에 안전성 문제를 엄밀하게 수학적으로 다루는 것이 중요하다.
• Approach: 논문은 GenAI 시스템을 model input, GenAI model, model output 세 부분으로 나누고, 각 부분의 safety 문제를 signal processing 관점의 hypothesis testing task로 재정식화하는 computational safety 프레임워크를 제시한다.

Achievement

Figure 2. Loss landscape analysis for benign and jailbreak prompts.

1. Computational safety 개념 정의: GenAI의 safety 문제를 signal processing 기반 hypothesis testing task로 형식화할 수 있는 문제 집합으로 computational AI safety를 정의함.
2. 통합 프레임워크 제시: model input, GenAI model, model output으로 구성된 시스템 관점에서, judge function(rule-based 혹은 AI-based, 예: LLM-as-a-judge)을 포함한 안전성 검증 프레임워크(Figure 1)를 제안함.
3. Jailbreak 탐지 사례 연구: sensitivity analysis와 loss landscape analysis(Figure 2, Figure 3)를 이용해 악성 prompt(jailbreak 시도)를 탐지하는 방법을 제시함.
4. AI-생성 콘텐츠 탐지 사례 연구: statistical signal processing을 이용해 AI-생성 이미지 등 콘텐츠를 탐지하는 방법(Figure 4)을 제시함.
5. 향후 연구 방향 제시: signal processing과 AI safety 교차 지점에서의 열린 문제와 기회를 논의함.

How

Figure 2. Loss landscape analysis for benign and jailbreak prompts.

• GenAI 시스템을 model input(사용자 쿼리 처리), GenAI model(추론 및 agentic 행동), model output(모델이 생성하는 결과)의 세 요소로 구조화.
• LLM의 pre-training(NTP loss, 수식 1)과 alignment 단계(SFT loss, 수식 2, RLHF, DPO)를 배경으로 설명.
• Diffusion model(DM)의 forward/reverse diffusion process와 classifier-free guidance 형태의 noise estimation(수식 3)을 배경으로 설명.
• 두 safety 문제(jailbreak prompt 탐지, AI-생성 콘텐츠 탐지)를 hypothesis testing 문제로 재구성.
• Model input safety를 위해 sensitivity analysis와 loss landscape analysis를 적용해 benign prompt와 jailbreak prompt 간 loss landscape 차이(Figure 2)를 분석하고, 탐지 및 완화(mitigation) 성능을 비교(Figure 3).
• Model output safety를 위해 statistical signal processing 기법을 활용해 real image와 AI-생성 image 간 loss landscape 차이(Figure 4)를 분석해 판별.
• Judge function(rule-based keyword matching 또는 AI-based LLM-as-a-judge/외부 분류기)을 통해 safety hypothesis의 타당성(ground truth label)을 확보하는 GenAI 고유의 검증 절차를 강조.

Originality

• AI safety 문제를 signal processing의 hypothesis testing 관점에서 통합적으로 재정식화하는 최초의 수학적 프레임워크(computational safety) 제안.
• Jailbreak 탐지와 AI-생성 콘텐츠 탐지라는 서로 다른 두 safety 문제를 동일한 hypothesis testing 틀 안에서 다루어 signal processing 기법(sensitivity analysis, loss landscape analysis, subspace projection)의 공통 적용 가능성을 제시.
• GenAI 특유의 judge function(rule-based vs. AI-based 인증)을 안전성 가설 검증의 필수 구성요소로 명시적으로 도입한 점.

Limitation & Further Study

• Position/perspective 논문 성격이 강해 제안된 프레임워크에 대한 엄밀한 실험적 검증이나 대규모 벤치마크 평가가 제한적일 수 있음.
• Judge function(LLM-as-a-judge 등) 자체의 신뢰성과 편향 문제가 전체 hypothesis testing 프레임워크의 타당성에 미치는 영향에 대한 심도 있는 분석이 부족함.
• Jailbreak 탐지와 AI-생성 콘텐츠 탐지 외에 더 다양한 safety 문제(예: bias, privacy leakage, agentic AI의 다단계 위험)로의 일반화 가능성에 대한 논의가 제한적임.
• 후속 연구로는 hypothesis testing 이론에 기반한 통계적 보장(예: false alarm rate, detection power)에 대한 정량적 분석과, 다양한 modality 및 agentic workflow로의 프레임워크 확장이 필요함.

Evaluation

총평: AI safety와 signal processing/hypothesis testing을 연결하는 참신하고 시의적절한 개념적 프레임워크를 제시하며, jailbreak 탐지와 AI-생성 콘텐츠 탐지라는 구체적 사례로 그 유용성을 보여주는 좋은 position paper이나, 실증적 검증의 깊이는 상대적으로 제한적이다.