Mutual Information-Guided Corruption for Improved Self-Supervised Representation Learning in Tabular Data

Motivation

• Known: SimCLR, MoCo와 같은 contrastive self-supervised learning이 vision 분야에서 성공을 거두었고, tabular 데이터에서도 VIME, SubTab, TabPFN, SCARF 등의 방법이 제안되어 random feature corruption 기반 pretraining을 수행해왔다.
• Gap: 기존 방법들(특히 SCARF)은 feature를 독립적인 개체로 취급하여 랜덤하게 corruption을 가하기 때문에, tabular 데이터에 내재된 feature 간 통계적 의존성(예: 생체지표들의 공변 관계)을 무시하며, 이는 비현실적인 샘플을 생성해 학습된 표현의 품질을 저하시킬 수 있다.
• Why: 의료, 금융 등 라벨링 비용이 높은 도메인에서 tabular self-supervised learning의 label efficiency를 개선하는 것은 실용적 가치가 크며, feature 의존성을 명시적으로 모델링하는 것이 표현 학습의 질을 근본적으로 높일 수 있는 방법론적 방향을 제시한다.
• Approach: Mutual information 행렬을 기반으로 hierarchical agglomerative clustering을 수행해 feature group을 구성하고, 각 group에 대해 conditional variational autoencoder(CVAE)를 학습시켜 나머지 feature에 조건화된 사실적인 corruption 값을 생성한 뒤, SCARF와 동일한 InfoNCE contrastive loss로 encoder를 pretraining한다.

Achievement

Figure 2. Label efficiency curves showing performance as a func-

1. MI 기반 feature grouping: k-nearest neighbours 방식으로 pairwise mutual information을 추정하고 정규화하여 dissimilarity matrix를 구성, hierarchical clustering으로 통계적으로 의존적인 feature group을 자동 발견함.
2. CVAE 기반 구조적 corruption: 각 feature group에 대해 CVAE를 학습하여 marginal pool에서 샘플링한 counterfactual 조건 벡터를 기반으로 사실적이고 다양한 corruption 값을 생성, 단순 permutation보다 novel한 값 생성이 가능함.
3. 광범위한 실험적 검증: UK Biobank pretraining 후 plaque 예측 데이터로의 전이학습, 6개 오픈소스 의료 데이터셋, 66개(초록에는 69개로 표기된 불일치 있음) OpenML-CC18 벤치마크 태스크에서 SCARF, MLP, random forest 대비 우수한 label efficiency를 입증함.

How

Figure 1. Overview of MI-guided grouped corruption for tabular

• Mutual information 행렬 M(Mij = I(Xi;Xj))을 k-NN 방법으로 추정하고 [0,1]로 정규화하여 M̃ 획득
• Dij = 1 - M̃ij로 dissimilarity 행렬 구성 후 average linkage로 hierarchical agglomerative clustering 수행, 거리 임계값 σ=1-θ(θ=0.3)로 cluster 결정, 최소/최대 cluster 크기 제약 부여
• 각 cluster Cj에 대해 latent z∈R16, p(z)=N(0,I)인 CVAE를 학습, encoder qψ(z|xCj,x−Cj)와 decoder pϕ(xCj|z,x−Cj)를 MLP+BatchNorm+ReLU로 구현
• Loss는 reconstruction term과 β=0.01로 가중된 KL divergence term의 결합(Lj_CVAE)
• Corruption 시 trivial reconstruction을 피하기 위해 조건 벡터 x−Cj의 한 feature를 marginal pool에서 샘플링한 값으로 교체한 counterfactual x̃−Cj 사용
• 미니배치 내 각 샘플에 대해 각 feature group을 확률 pcorrupt=0.6으로 독립적으로 corrupt, z를 샘플링해 x̃Cj∼pϕ(xCj|z,x̃−Cj) 생성
• 4-layer MLP encoder(hidden dim 256)와 2-layer projection head를 사용해 InfoNCE loss(τ=0.07)로 contrastive pretraining 수행

Originality

• Random 또는 permutation 기반 corruption(SCARF 등)과 달리 mutual information을 활용해 feature 의존성 구조를 자동으로 발견하고 이를 corruption 전략에 명시적으로 반영한 최초의 접근 중 하나
• CVAE를 활용해 단순 재조합이 아닌 novel하고 사실적인 corruption 값을 생성하는 조건부 생성 모델 방식을 tabular self-supervised corruption에 결합
• Counterfactual marginal perturbation을 통해 trivial reconstruction을 방지하는 학습 트릭 도입
• 실제 임상 코호트(UK Biobank)에서 pretraining 후 독립적인 community 데이터셋으로 전이하는 실세계 전이학습 시나리오를 평가에 포함

Limitation & Further Study

• Abstract와 본문에서 OpenML-CC18 태스크 수가 각각 66개와 69개로 불일치하여 실험 설정의 정확성에 의문이 제기됨
• 발췌된 본문이 Results 섹션 초반에서 끊겨 있어 정량적 성능 개선폭, 통계적 유의성, 베이스라인 대비 구체적 수치가 확인되지 않음
• MI 임계값 θ, cluster 크기 제약, pcorrupt 등 다수의 하이퍼파라미터에 대한 민감도 분석이 본문 발췌에서 드러나지 않아 방법의 강건성 검증이 부족해 보임
• CVAE를 feature group마다 개별적으로 학습해야 하므로 feature 수가 많거나 고차원 tabular 데이터에서는 계산 비용과 확장성 문제가 발생할 수 있음
• 후속 연구로 다양한 도메인(비의료 데이터)에서의 일반화 검증, 더 정교한 의존성 모델링(예: 비선형 고차 상호작용), 계산 효율성 개선이 필요함

Evaluation

총평: Tabular self-supervised learning에서 feature 간 통계적 의존성을 명시적으로 활용한다는 아이디어는 참신하고 실용적 의의가 크지만, 제공된 발췌 자료만으로는 실험 결과와 세부 검증이 충분히 확인되지 않아 완전한 평가에는 한계가 있다.