CLOUDSPLAT: Distributional Contrastive Learning for Tabular Data

Motivation

• Known: kNN accuracy, silhouette score, centroid 기반 index 등 기존 embedding separability 평가 지표들은 non-differentiable하거나 convex cluster geometry를 가정하기 때문에 training objective로 사용하기 어렵다는 점이 알려져 있다. 또한 tabular 데이터에서는 vision/language와 달리 자연스러운 augmentation이 없어 SSL이 어렵고, InfoNCE의 temperature τ는 alignment-uniformity tradeoff를 제어하지만 낮은 τ에서 불안정성과 collapse 문제가 발생한다.
• Gap: 기존 separability 지표(kNN accuracy, silhouette, DSI/KS statistic)는 non-differentiable하여 evaluation과 optimization이 분리되어 있고, downstream classifier 학습이라는 비용이 크고 protocol-dependent한 절차를 요구하여 representation quality와 classifier 선택이 혼동된다는 근본적 한계가 존재한다.
• Why: evaluation을 위한 differentiable test statistic을 training loss로 직접 재사용할 수 있게 되면, 값비싼 downstream classifier 학습 없이도 embedding quality를 진단할 수 있고, 동시에 이 진단 지표 자체를 최적화하여 더 나은 embedding을 학습할 수 있는 testing-to-optimization bridge를 확보할 수 있어 tabular SSL 연구에 실용적으로 중요하다.
• Approach: within-class(positive)와 between-class(negative) pairwise distance 분포를 정렬한 뒤 위치별로 비교하는 penalized 1D Wasserstein distance에 generalized p-mean을 적용한 CSSI를 정의하고, 이를 diagnostic으로도 loss로도 사용하는 CLOUDSPLAT 프레임워크를 구축한다.

Achievement

1. CSSI라는 differentiable two-sample test statistic 제안: sorted distance collection을 position-by-position으로 비교하는 penalized Wasserstein distance에 generalized p-mean을 결합해, p=1에서는 average-difference test(정렬된 거리에 대한 t-statistic 유사), p→∞에서는 worst-separated quantile(W∞ distance)에 집중하는 tunable sensitivity를 제공한다.
2. CSSI를 training loss로 활용한 CLOUDSPLAT의 SOTA 성능: 5% label 조건에서 5개 loss baseline 대비 7개 중 6개 데이터셋에서 승리, SCARF 대비 11개 OpenML-CC18 benchmark 중 7개에서 승리, 6개 SSL method 중 rank 1.9를 달성했으며 이는 모두 frozen encoder 조건에서 이루어졌다.
3. probe-free diagnostic으로서의 CSSI 검증: 3개 foundation-model architecture, 19개 데이터셋에서 linear-probe accuracy와 Spearman ρ ∈ [+0.73, +0.92]의 높은 상관관계를 보였고, centroid 기반 metric이 실패하는 non-convex geometry에서도 separability를 올바르게 식별했다.
4. representation collapse 방지를 위한 latent-space augmentation 및 VICReg regularization 결합: 학습된 latent space에서 Gaussian noise 기반 augmentation과 collapse-prevention regularizer를 결합하여 dimensional collapse를 방지한다.

How

• Numerical feature는 PLE(Piecewise Linear Encoding)를 통해 latent space h로 매핑되고, latent space에서 선택적 확률 ρ로 Gaussian noise를 주입하는 latent augmentation (h̃ = h + ϵ)으로 positive pair를 생성한다.
• 임의의 differentiable encoder backbone(MLP, ResNet, Transformer)과 projection head를 통해 ℓ2-normalized embedding을 생성한다.
• InfoNCE의 alignment-uniformity tradeoff를 다루기 위해 positive/negative에 대해 temperature를 분리한 CLOUDSPLATτ (decoupled temperature, τnum/τdenom)를 우선 도입하고 τdenom을 Optuna로 어닐링한다.
• 최종적으로 CSSI 기반 distributional margin loss를 VICReg regularization과 결합한 CLOUDSPLAT loss를 정의해 within/between-class distance 분포 자체를 sorted, position-wise로 비교하며 최적화한다.
• 다양한 데이터셋(OpenML 기반, 19개)과 세 종류의 foundation-model architecture, 여러 label fraction과 evaluation protocol(frozen encoder, 100% label 등)에서 실험을 수행한다.

Originality

• separability evaluation을 differentiable two-sample test로 재정식화하고, sorted distance에 대한 penalized 1D Wasserstein distance와 generalized p-mean을 결합한 CSSI라는 새로운 statistic을 설계했다.
• 기존 DSI/KS 같은 non-differentiable separability index를 smooth하고 p-parameterized한 functional로 일반화하여 backpropagation이 가능하도록 만들었다는 점에서 독창적이다.
• evaluation을 위한 test statistic을 그대로 training loss로 재사용하는 testing-to-optimization bridge라는 프레임을 제시하여, 기존에 evaluation과 optimization이 분리되어 있던 관행을 통합했다.
• tabular 데이터에 특화하여 raw feature corruption 대신 latent space에서의 learned Gaussian perturbation과 K views에 걸친 varying corruption rate를 사용하는 augmentation 전략을 제안했다.

Limitation & Further Study

• p 파라미터의 최적값 선택이나 sensitivity profile 튜닝이 데이터셋별로 다를 수 있어 실무 적용 시 추가적인 hyperparameter search(Optuna 등)가 필요할 것으로 보인다.
• 본문 발췌에는 CLOUDSPLAT distributional margin loss의 구체적 수식과 최종 성능 표(Table 2, 3, 4)의 세부 내용이 포함되어 있지 않아 방법론과 성과의 완전한 검증이 어렵다.
• SCARF 대비 11개 benchmark 중 7개 승리, 6개 SSL method 중 rank 1.9 등 일부 지표에서는 baseline 대비 완전한 우위를 보이지 못했으며, 나머지 실패 사례에 대한 원인 분석이 후속 연구로 필요하다.
• tabular 데이터에 초점이 맞춰져 있어 vision/language 등 다른 도메인으로의 일반화 가능성에 대한 추가 검증이 필요하다.

Evaluation

총평: evaluation과 optimization을 하나의 differentiable statistic으로 통합한 CSSI/CLOUDSPLAT은 tabular SSL 분야에서 실용적이고 개념적으로 참신한 기여를 하지만, 발췌된 본문만으로는 최종 성능 수치의 세부 검증이 제한적이어서 전체 논문의 실험적 엄밀성은 추가 확인이 필요하다.