Tippett-minimum Fusion of Representation-space Diffusion Models for Multi-Encoder Out-of-Distribution Detection

Motivation

• Known: Score-based diffusion model(VP-SDE, PF-ODE)은 log-likelihood 기반 OOD detection에 자연스러운 후보이며, pixel-space보다 pretrained encoder의 representation space에서 밀도를 추정하는 RDM(representation-space diffusion model) 방식이 더 안정적이고 계산 효율적임이 알려져 있다. 또한 CLIP, DINOv2, ResNet-50 같은 서로 다른 encoder들이 서로 다른 이미지 구조(semantic, texture, low-level statistics)를 포착한다는 점도 알려져 있다.
• Gap: 단일 encoder 기반 RDM은 특정 shift type에는 강하지만 다른 shift type(예: covariate corruption vs semantic shift)에는 취약하다는 encoder별 특화(specialization) 현상이 존재하며, 어떤 encoder 조합을 언제 사용할지, 그리고 test 시점에 shift 유형을 모르는 상황에서 이를 OOD 라벨 없이 원칙적으로 결합할 방법이 부재했다.
• Why: 실제 배포 환경에서는 test 시점에 어떤 종류의 distribution shift가 발생할지 사전에 알 수 없으므로, 라벨 없이 ID 데이터만으로 encoder별 강점을 진단하고 이를 통계적으로 타당하게 결합하는 방법은 범용적이고 신뢰 가능한 OOD detector 구축에 핵심적이다.
• Approach: ID 데이터만을 이용한 통계적 진단 지표(η², Δμ, Spearman ρ)로 각 encoder의 shift-type 민감도를 정량화하고, Tippett의 minimum p-value 검정을 일반화한 2단계 min(·)-gate(EncMin2L)로 encoder-agnostic하게 여러 diffusion 기반 density model의 점수를 결합·보정한다.

Achievement

1. EncMin2L 프레임워크 제안: OOD 라벨 없이 ID 데이터의 empirical CDF만으로 여러 encoder·정규화 fork의 diffusion 기반 log-likelihood 점수를 calibration하고 Tippett minimum 검정으로 통합하는 2단계 min(·)-gate를 제시했다.
2. 네 가지 shift type 전반에서 성능 우위: SVHN(global domain shift), CIFAR-100(semantic shift), DTD(texture shift), CIFAR-10C(covariate shift) 네 벤치마크 모두에서 0.94 이상의 AUROC를 동시에 달성하며 monolithic multi-encoder baseline 대비 2.3배 적은 파라미터로 더 우수한 성능을 보였다.
3. encoder 특화 현상의 통계적 검증: η²(class-conditional F-test)와 Δμ(합성 corruption 하 log-likelihood shift) 진단을 통해 CLIP은 global shift에, DINOv2는 fine-grained semantic shift에, ResNet-50은 covariate shift에 각각 강함을 정량적으로 확인하고, leave-one-out ablation으로 이 특화가 실제 성능에도 반영됨을 사후 검증했다.

How

• CLIP ViT-B/32, DINOv2 ViT-B/14, ResNet-50 penultimate feature의 세 encoder에 대해 각각 정규화(normed)/비정규화(unnormed) 두 가지 fork(n=2)를 두어 총 6개의 representation space 생성
• 각 (encoder, fork) 쌍마다 독립적인 VP-SDE 기반 score network(MLP, hidden dim=2d_k, depth=6 residual layer)를 Adam optimizer로 학습
• PF-ODE의 instantaneous change-of-variables 공식과 Hutchinson trace estimation(M=10 Rademacher probe)으로 각 test 샘플의 정확한 log-likelihood ℓ_{k,f}(z) 계산
• Level 1: 각 encoder 내 n개 fork의 log-likelihood를 ID empirical CDF로 p-value 변환 후 min(·) 연산으로 결합, Beta(1,n) null 분포에 따른 CDF 재조정 수행
• Level 2: 모든 encoder의 Level 1 점수에 대해 다시 Tippett minimum 검정을 적용하고, held-out ID 데이터로 보정된 threshold τ로 최종 OOD 판정
• SVHN, CIFAR-100, DTD, CIFAR-10C 네 벤치마크에서 평가하고 leave-one-out ablation으로 encoder별 기여도 검증

Originality

• 여러 pretrained encoder의 representation space에 독립적인 diffusion 기반 밀도 모델을 학습시키고, 이를 통계적 다중검정(Tippett minimum p-value test) 관점에서 원칙적으로 결합한 최초의 시도로 보임
• 기존 concatenation이나 majority voting 기반 multi-encoder 결합과 달리, ID 데이터만으로 encoder 특화를 진단(η², Δμ)하고 이를 OOD 라벨 없이 calibration에 활용하는 encoder-agnostic 방법론 제시
• Fisher's method 대신 Tippett's test를 선택한 이론적 근거(단일 encoder가 지배적으로 반응하는 상황에 더 적합)를 encoder 특화 관찰과 연결하여 제시

Limitation & Further Study

• 발췌된 본문에서는 K=3, n=2로 고정된 소규모 encoder 집합만 다루고 있어, encoder 수가 늘어날 때 Tippett 검정의 통계적 파워나 계산 비용이 어떻게 변화하는지 불명확
• 진단 지표(η², Δμ)가 특정 encoder-shift 조합에 대해서만 검증되었으며, 새로운 encoder나 미지의 shift type에 대한 일반화 가능성에 대한 논의가 제한적
• threshold τ의 보정이 held-out ID 데이터에 의존하는데, ID 데이터의 크기나 분포 특성에 따른 민감도 분석이 부족해 보임
• 후속 연구로 더 다양한 encoder 조합, 더 많은 shift type(예: adversarial shift), 그리고 대규모 데이터셋(ImageNet-scale)에서의 확장성 검증이 필요

Evaluation

총평: ID 데이터만으로 encoder별 OOD 민감도를 진단하고 이를 통계적으로 타당한 Tippett minimum 검정으로 결합하는 아이디어는 실용적이면서도 이론적 근거가 탄탄하며, 다양한 shift type에서 일관된 고성능을 보인 점에서 의미 있는 기여로 평가된다.