SPOT-FM: A Zero-Shot Hypothesis Test for Tabular Anomalies via In-Context Synthetic Contrasts

Motivation

• Known: TabPFN 등 tabular foundation model은 in-context learning을 통해 zero-shot classification을 수행할 수 있음이 알려져 있고, FoMo-0D는 이를 anomaly detection으로 확장하여 covariance-inflated Gaussian-mixture 기반 alternative를 사용한다.
• Gap: FoMo-0D의 global-direction alternative(공분산 팽창 Gaussian mixture)는 anomaly가 정상 feature들의 비정상적 조합으로 나타나는 데이터셋(CARDIO, CARDIOTOCOGRAPHY, SATELLITE 등)에서 잘 맞지 않으며, inter-feature structure를 보존하면서 empirical quantile box에서 벗어나는 alternative가 필요하다는 gap이 존재한다.
• Why: 본 연구는 per-dataset HPO나 라벨링된 anomaly 없이도 임의의 새로운 tabular 분포에 적용 가능한 frozen zero-shot test를 제시함으로써, 실무에서 매 배포마다 detector를 재학습해야 하는 비용을 제거하고 pre-specified test로서 실험 플랫폼 배포에도 적합하다는 점에서 중요하다.
• Approach: query row가 reference distribution에서 나왔다는 H0와 학습된 sampler law에 의해 정의된 H1 사이의 composite hypothesis test로 문제를 정식화하고, minimal-subset perturbation sampler로 생성한 synthetic contrast를 이용해 Tab2D transformer를 pre-training한 뒤 frozen 상태로 새로운 reference set에 대해 zero-shot 추론을 수행한다.

Achievement

Figure 1. Headline result (left) and the mechanism that produces it (right).

1. zero-shot composite hypothesis test 제시: per-dataset fitting이나 라벨링된 anomaly 없이 tabular AD를 수행하는 test를 formal하게 정식화함.
2. 경험적 검정력 입증: 17개 ODDS benchmark에서 평균 0.915 AUC-ROC, 0.752 AUC-PR을 달성하여 FoMo-0D 대비 12/17 데이터셋에서 우위를 보임.
3. 추론 효율성: 단일 tensorized forward pass로 약 11ms/1K rows의 낮은 test-time cost를 달성하여 deep baseline 대비 최대 100배 빠른 속도를 보임(Fig. 1a).
4. 이론적 보장 제시: uniform-sampler alternative에 대한 data-dependent power lower bound(Thm. G.1), test statistic의 exchangeability(Thm. G.5), 배포 위험을 pre-training fit/task shift/sampler-label residual로 분해하는 진단적 risk decomposition(Prop. G.6)을 증명함.

How

Figure 2. SPOT-FM architecture. A task generator couples 22 normal priors with a µ-curriculum-driven negative sampler; t

• H0(reference distribution에서 추출)와 H1(learned sampler law) 사이의 composite hypothesis test로 문제를 정식화
• normal point 배치 X에서 feature의 μ-fraction(⌈μF⌉개)만 perturb하고 나머지는 그대로 복사하는 minimal-subset perturbation sampler로 synthetic negative 생성
• UNIFORM, GAUSSIAN, MIXTURE, BOUNDARY, EMPIRICAL 5가지 perturbation strategy를 사용하며 expansion factor α로 관측된 feature 범위를 확장
• μ를 Beta(6,2)→Beta(2,5)로 curriculum 방식(easy→hard)으로 annealing하여 학습 초반엔 쉬운(큰 μ) negative, 후반엔 어려운(작은 μ) negative를 학습
• 22개의 synthetic data generator("prior")로 구성된 diverse pool로 다양한 tabular 분포에 대한 일반화 능력 확보
• 추론 시 3 strategies × 9 values of μ × 8 feature permutations = 216개 configuration을 grid search하여 단일 tensorized forward pass로 평균화
• Tab2D architecture(Zhang et al., 2025)를 backbone으로 사용하고 classification logit을 test statistic sθ(x; Xref)로 활용

Originality

• 기존 classifier two-sample test나 deep-kernel two-sample test는 per-task로 test statistic/kernel을 학습하는 반면, 본 연구는 zero-shot으로 unseen tabular distribution에 적용 가능한 test를 제시
• FoMo-0D의 global-direction(covariance-inflated Gaussian mixture) alternative 대신, inter-feature structure를 보존하는 feature-subset 기반 minimal-subset sampler law를 alternative hypothesis로 새롭게 구성
• μ-curriculum을 통한 hardness annealing과 auxiliary μ-prediction head 등 pre-training 설계를 hypothesis testing 관점과 결합
• anomaly detection을 formal한 statistical hypothesis test로 재정식화하고 이에 대한 이론적 보장(power lower bound, exchangeability, risk decomposition)을 함께 제시

Limitation & Further Study

• 본 발췌문에는 이론(Thm. G.1, G.5, Prop. G.6)의 구체적 증명 및 가정이 제시되지 않아 이론적 보장의 실질적 강도와 적용 범위를 판단하기 어려움
• test는 anytime-valid하지 않고 배포 시점에 고정된 함수이므로 adaptive/optional stopping 상황에서의 유효성은 보장되지 않음
• 216-configuration grid averaging이 추론 비용을 낮게 유지한다고 주장하지만, configuration 수 증가에 따른 memory/compute trade-off에 대한 상세한 분석이 부족해 보임
• 17개 ODDS benchmark라는 제한된 tabular AD 벤치마크에서만 평가되어, 훨씬 더 다양한 real-world tabular 분포(고차원, 매우 불균형, 시계열성 tabular 등)에 대한 일반화 여부는 추가 검증이 필요함
• 후속 연구로 sampler-label residual이 실제로 어떤 유형의 데이터셋에서 크게 발생하는지에 대한 세부 분석, μ-curriculum 및 prior pool 구성에 대한 민감도 분석 확장이 필요함

Evaluation

총평: tabular anomaly detection을 zero-shot composite hypothesis test로 재정식화하고 minimal-subset perturbation sampler라는 새로운 alternative 설계와 이론적 보장을 결합한 점이 인상적이며, 실무 배포 관점에서도 매력적인 효율성-성능 trade-off를 보여준다.