Empirical-Distribution Matching for Synthetic ECG Classification

Motivation

• Known: 조건부 생성 모델(conditional latent diffusion 등)은 개인정보로 접근이 제한된 임상 데이터를 대체할 합성 코호트를 만드는 데 널리 쓰이며, TSTR(macro AUROC)은 ECG 생성 모델 평가의 표준 지표로 자리잡았다. 또한 불균형 학습 문헌(SMOTE 계열 등)에서는 소수 클래스를 향한 rebalancing이 일반적으로 유효한 전략으로 알려져 있다.
• Gap: 기존 합성 ECG/의료 시계열 연구는 단일 sampling policy(실제 conditioning tuple의 bootstrap)만 사용해 TSTR 수치를 보고할 뿐, 여러 sampling policy를 체계적으로 비교하지 않았다. 또한 CV/NLP의 불균형 학습 rebalancing 레시피가 practitioner가 real record를 볼 수 없고 단일 shared generator에서 샘플을 뽑아야 하는 synthetic-only 환경에서도 그대로 통하는지는 검증된 바 없다.
• Why: 임상 데이터 커스터디언이 생성기를 한 번 학습해 배포하고, practitioner는 실제 레코드를 전혀 보지 못한 채 synthetic cohort만으로 분류기·공정성 검사·스트레스 테스트를 수행하는 배포 시나리오가 늘고 있어, sampling policy 선택이 유일한 설계 여지이자 다운스트림 성능을 좌우하는 핵심 요소가 된다.
• Approach: PTB-XL 위에서 학습된 단일 12-lead ECG conditional latent diffusion model(DCDM-ECG)을 고정하고, conditioning tuple을 뽑는 13가지 sampling policy만 변화시켜 matched downstream budget(n=8000)에서 XResNet1d-50의 TSTR macro AUROC를 비교하는 통제 실험을 수행했다.

Achievement

Figure 1. Macro TSTR by sampling policy, n = 8000 synthetic training samples, 30-epoch XResNet1d-50 downstream classifie

1. 13가지 sampling policy에 대한 체계적 벤치마크: Reference(bootstrap), Class rebalancing(uniform class, rare-class floor, rare oversampling), Demographic(strata, balance, joint decoupling), Filter(quality/stratified filter, iterative relabel), Diversity/prototype(diversity selection, class prototype) 등을 단일 생성기·동일 예산 조건에서 비교했다.
2. naive bootstrap의 우위 입증: 실제 conditioning tuple을 단순 복원추출하는 baseline을 어떤 대안 정책도 능가하지 못했으며, 가장 근접한 정책조차 noise 수준 내에서만 동률이었다.
3. 세 가지 실패 메커니즘 규명: class-distribution distortion, within-class diversity collapse, label-by-demographic joint decoupling으로 모든 정책의 실패가 수렴함을 보이고, rare bucket에서의 성능 붕괴 원인을 분석했다.
4. 50/50 real+synth blend의 additivity 확인: 실제 데이터와 합성 데이터를 절반씩 섞으면 동일 크기의 real-data ceiling에 도달함을 보여 corpus가 additive함을 확인했으나, 이는 synthetic-only 환경에서는 달성 불가능함을 대조적으로 제시했다.

How

Figure 1. Macro TSTR by sampling policy, n = 8000 synthetic training samples, 30-epoch XResNet1d-50 downstream classifie

• PTB-XL의 공식 10-fold patient-disjoint split을 사용, folds 1–8로 generator 및 downstream classifier 학습, fold 9는 early stopping, fold 10(n=2198)을 held-out 평가에 사용
• Generator: DCDM-ECG, 4.71M-parameter 1-D VAE + 5.36M-parameter U-Net denoiser, 76-dim conditioning vector(71-hot SCP label + 5 z-normalised demographic axes), classifier-free guidance(dropout 0.1, CFG scale 3.0), 100-step DDIM sampling
• 각 policy마다 n=8000 conditioning tuple을 뽑아 ECG를 생성하고, XResNet1d-50을 30 epoch 무작위 초기화로 synthetic corpus에 학습, real fold 10에서 51개 평가 가능 SCP code에 대한 macro AUROC 산출(3 seed 평균)
• prevalence 기준 common(≥5%), moderate(2–5%), rare(<2%) 버킷으로 결과 분해
• Quality filter, Diversity selection은 16,000 pool을 생성 후 8000개 선별(2× 생성기 예산 소모, downstream 예산은 동일)
• Real-data ceiling(동일 크기 real subset 학습)을 실질적 상한으로 사용

Originality

• 기존 문헌이 단일 sampling policy(bootstrap)만 보고하던 것과 달리, synthetic-only TSTR 환경에서 sampling policy를 독립 변수로 놓고 13종을 최초로 비교 서베이했다는 점이 독창적이다.
• CV/NLP의 표준 rebalancing 직관(소수 클래스 oversampling이 소수 클래스 성능을 개선한다)이 "고정된 실제 데이터셋"이 아니라 "shared generator에서 반복 샘플링"하는 체제에서는 반대로 작동한다는 역설적 통찰을 제시한다.
• 실패를 class-distribution distortion, within-class diversity collapse, label-by-demographic joint decoupling이라는 세 가지 직교 메커니즘으로 분해해 정책들을 원리적으로 분류한 프레임워크가 새롭다.

Limitation & Further Study

• 단일 데이터셋(PTB-XL), 단일 생성기(DCDM-ECG), 단일 다운스트림 아키텍처(XResNet1d-50)에서만 검증되어 일반화 가능성이 제한적이다. 다른 modality(이미지, 텍스트)나 다른 diffusion 아키텍처, 다른 분류기에 대한 재현이 필요하다.
• n=8000이라는 단일 budget에서의 saturation 관찰(<0.005 변화)에 근거해 이 지점을 대표값으로 삼았는데, 더 낮은 budget이나 다른 CFG scale/step 수에서도 결론이 유지되는지 체계적 검증이 부족하다.
• differential privacy를 적용한 생성기 등 실제로 언급된 privacy-restricted 시나리오에 대한 직접 실험은 없고, 워크숍 논문 특성상 이론적 근거나 통계적 유의성 검정(예: 신뢰구간 중첩 여부)이 제한적으로 제시된다.
• 후속 연구로는 다른 도메인/모달리티로의 확장, 왜 diversity collapse나 joint decoupling이 발생하는지에 대한 이론적 설명, 그리고 이 세 메커니즘을 완화하면서도 실제 분포를 벗어나는 새로운 sampling 정책 설계가 필요하다.

Evaluation

총평: 단순하지만 실용적으로 중요한 질문(합성 의료 데이터를 어떻게 샘플링할 것인가)에 대해 명확한 통제 실험으로 반직관적이지만 설득력 있는 결론(rebalancing보다 empirical distribution matching이 우월함)을 제시한 견실한 워크숍 논문이다. 단일 데이터셋·생성기·분류기에 국한된 실험 범위는 한계이나, 실무자에게 즉각 적용 가능한 시사점을 제공한다는 점에서 의의가 크다.