Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection

Motivation

• Known: Anomaly detection 평가에서 cross-dataset 프로토콜(예: CIFAR vs. SVHN)과 within-dataset class-split 프로토콜(일부 클래스를 normal, 나머지를 anomaly로 지정)이 널리 쓰이며, 후자는 fully unconditional-OOD AD에 더 가까운 것으로 간주되어 왔다.
• Gap: 기존 연구는 class-split 프로토콜이 항상 유효한 unconditional-OOD AD 벤치마크라고 암묵적으로 가정해왔으나, held-out class가 normal mixture와 표현 공간에서 겹칠 때 AUROC가 chance 수준으로 붕괴하거나 역전(inversion)될 수 있고, 이때 선호되는 score 방향이 알려지지 않은 anomaly class에 의존하게 되는 근본적 실패 양상은 규명되지 않았다.
• Why: class-split AD 벤치마크는 방법론 비교와 논문 채택 여부를 좌우하는 핵심 평가 도구인데, 만약 이 프로토콜이 geometry-dependent stress test에 불과하다면, 데이터셋·분할에 특화된 편법을 활용하는 방법이 부당하게 우수한 성능을 보이는 것으로 오인될 수 있어 AD 분야 전체의 벤치마킹 신뢰성에 직결된다.
• Approach: 저자들은 class-conditional manifold 간의 overlap을 정량화하는 training-free 진단 지표(neighborhood class leakage 기반 ill-posedness index)를 제안하고, 이를 AUROC dispersion, near-random rate, inversion rate, direction instability 등의 지표와 함께 여러 데이터셋·표현 공간·scoring 방법에 걸쳐 검증한다.

Achievement

1. Score-direction instability 현상의 규명: class-split AD 프로토콜에서 held-out anomaly class에 따라 AUROC가 chance 수준으로 붕괴하거나 역전(AUROC<0.5)될 수 있으며, 이때 단순히 score를 뒤집는 방식으로는 문제가 해결되지 않음을 보였다.
2. Neighborhood class leakage 진단 지표 제안: 별도 학습 없이 local kNN 기반으로 class-conditional manifold overlap을 정량화하는 지표 L_k를 정의하고, 이것이 벤치마크 불안정성(ill-posedness)을 예측함을 보였다.
3. 다각적 실증 검증: Fashion-MNIST(negative control), CIFAR-10, Imagenette 세 데이터셋과 pixel space, VAE latent space 두 표현, kNN·Isolation Forest·Local Outlier Factor 세 scoring 방법에 걸친 통제된 실험 매트릭스로 현상과 진단 지표의 일반성을 확인했다.

How

• Within-dataset "K-1 vs 1" class-split 프로토콜을 정의하고, 각 클래스를 순서대로 held-out anomaly로 지정하여 class-wise AUC(c)를 계산
• Neighborhood class leakage ℓ_k(i)를 각 샘플의 k-nearest neighbor 중 다른 클래스 비율로 정의하고, 이를 평균한 데이터셋 수준 ill-posedness index L_k(T;r) 도입
• AUROC dispersion(mean, variance, IQR), near-random rate ρ_rnd(ε), inversion rate ρ_inv, direction instability rate ρ_dir(ε) 등 요약 통계량을 정의하여 프로토콜 불안정성을 정량화
• Fashion-MNIST, CIFAR-10, Imagenette에 대해 pixel space와 unconditional-OOD VAE latent space 두 표현에서 kNN, Isolation Forest, LOF 세 scoring family로 실험 수행

Originality

• Class-split AD 평가 프로토콜 자체를 hypothesis-test의 관점에서 재해석하여, 이 프로토콜이 언제 "ill-posed"해지는지를 최초로 형식화
• Score 역전(inversion)을 단순 artifact로 보고 flip하여 해결하려는 기존 관행의 근본적 한계(방향이 anomaly class에 의존적임)를 명시적으로 지적
• 학습이 전혀 필요 없는 neighborhood leakage 기반 진단 지표를 제안하여 벤치마크 신뢰성을 사전에 점검할 수 있게 함
• Direction instability rate 등 기존에 잘 다뤄지지 않은 새로운 정량 지표(ρ_dir) 도입

Limitation & Further Study

• 실험이 Fashion-MNIST, CIFAR-10, Imagenette 등 상대적으로 저해상도·소규모 이미지 데이터셋에 국한되어, 대규모·고차원 실세계 데이터에서의 일반화 가능성이 불확실함
• Neighborhood leakage는 Euclidean distance 및 고정된 k에 의존하는데, 이러한 선택이 결과에 미치는 민감도 분석이 제한적으로 보임
• 진단 지표가 불안정성을 "예측"한다는 상관관계는 보였으나, 이를 활용해 실제로 더 견고한 AD 평가 프로토콜을 설계하는 구체적 해법(개선 방안)까지는 제시하지 않음
• VAE latent space 외에 최신 self-supervised representation이나 대형 사전학습 encoder에서의 leakage 양상은 다루지 않아 후속 연구가 필요함

Evaluation

총평: Class-split anomaly detection 벤치마크의 근본적 한계를 명료하게 드러내고 이를 사전에 진단할 수 있는 간단하고 실용적인 지표를 제시한 점에서, AD 커뮤니티의 평가 관행에 중요한 경종을 울리는 연구이다.