Making Generative Models Know What They Don’t Know via Hypothesis Testing

Motivation

• Known: normalizing flow는 명시적 density를 제공하여 log-likelihood 기반 학습과 OOD 탐지에 자연스러운 후보로 여겨져 왔으나, Nalisnick et al.(2019a)이 보인 것처럼 flow가 in-distribution보다 OOD 샘플에 더 높은 likelihood를 부여하는 density paradox 현상이 잘 알려져 있다.
• Gap: 기존 GoF 기반 접근(typicality test, score-based test 등)은 H0 분포를 추정하기 위해 hold-out validation set이 필요하고 multiple-sample 상황에 더 적합하여 single-sample OOD 탐지에서 통계적 검정력(power)이 제한적이며, 또한 생성모델 자체의 통계적 적합도를 직접 평가하는 연구는 상대적으로 부족했다.
• Why: 안전이 중요한 시스템에서 모델이 학습 분포를 벗어난 입력을 인지하는 것은 필수적이며, 원리적으로 근거 있는 GoF 검정은 해석 가능하고 튜닝이 어려운 black-box score 기반 방법의 한계를 극복하면서 모델 적합도와 OOD 탐지를 동시에 다룰 수 있게 한다.
• Approach: normalizing flow f가 diffeomorphism이라는 성질을 이용해 데이터 공간에서의 가설 검정 H0: X∼pdata를 latent 공간에서의 H0: f(X)∼N(0,I)에 대한 잘 연구된 정규성 검정 문제로 치환하고, Radial, Max-Order, Kurtosis, Hermite 등 여러 검정 통계량을 적용한다.

Achievement

제안한 방법은 논문이 제기한 4가지 연구질문(R1 고차원 확장성, R2 단일 샘플 적용성, R3 모델 자체 적합도 평가, R4 OOD 탐지 효과)에 긍정적으로 답하는 실험 결과를 보여준다.

How

• normalizing flow의 change-of-variables를 이용해 latent 표현 z=f(x)를 얻고, 이를 N(0,I)에 대한 정규성 GoF 검정 대상으로 삼는다.
• Radial test(T(x)=||x||²~χ²), Max-Order test(T(x)=max|xᵢ|), Kurtosis test(4차 모멘트 기반), Hermite test(직교 Hermite 다항식 기반 smooth GoF test, T(x)≈χ²₄)의 네 가지 통계량을 정의하고 각각의 asymptotic null 분포를 유도한다.
• hold-out 데이터셋에서 p-value의 uniformity를 검정하여 모델이 데이터 분포에 잘 적합했는지(goodness-of-fit)를 직접 평가한다(Figure 2).
• 단일 샘플에 대해서는 recalibrated p-value(Sellke et al., 2001 방식)를 OOD score로 사용하여 in-distribution과 OOD 샘플을 구분한다(Figure 1, Figure 3).
• Glow 모델을 FashionMNIST/CIFAR10에서 학습시켜 MNIST 등을 OOD로 두고 실험을 수행한다.

Originality

• likelihood 기반 스코어링 대신, flow의 diffeomorphism 성질을 활용해 데이터 공간의 적합도 문제를 latent 공간의 표준정규분포 GoF 검정 문제로 치환하는 관점의 전환이 참신하다.
• 기존 연구들이 OOD 탐지 성능에 집중한 반면, 본 논문은 모델 자체가 데이터에 잘 적합되었는지(hold-out 데이터의 p-value uniformity)를 직접, 원리적으로 평가할 수 있는 프레임워크를 제시한다.
• Hermite 다항식 기반 smooth test 등 통계학의 고전적 정규성 검정 도구들을 고차원 생성모델의 latent space에 체계적으로 적용하고 recalibration을 통해 단일 샘플 OOD score로 전환한 점이 독창적이다.

Limitation & Further Study

• 본문 발췌에서는 이론적 유도와 실험 초기 결과 위주로, flow의 근사 오차(imperfect flow)가 실제 latent 분포를 N(0,I)에서 벗어나게 할 때 검정의 신뢰성에 미치는 영향에 대한 심층 분석이 부족해 보인다.
• 실험이 FashionMNIST/CIFAR10과 Glow 모델 등 제한된 벤치마크와 아키텍처에 국한되어 있어, 더 다양한 flow 구조·데이터셋·근접 OOD(near-OOD) 시나리오로의 일반화 검증이 필요하다.
• 여러 검정 통계량(Radial, Max-Order, Kurtosis, Hermite) 간의 상호보완성이나 결합 전략, 그리고 검정력 비교에 대한 정량적 분석이 추가로 요구된다.
• 후속 연구로 다변량 의존성을 고려한 확장된 GoF 검정, 다른 유형의 생성모델(diffusion 등)로의 적용 가능성을 탐구할 수 있다.

Evaluation

총평: Hypothesis testing 관점에서 normalizing flow의 OOD 탐지와 모델 적합도 평가를 통합적으로 다루는 참신하고 원리적인 접근으로, 워크숍 논문 수준에서 흥미로운 아이디어를 제시하지만 실험 범위와 이론적 견고성에 대한 추가 검증이 필요하다.