Adapt the Data, Not the Model: Input-Space Adaptation for Frozen Time-Series Predictors

Motivation

• Known: 기존 domain adaptation 기법(DANN, Deep CORAL, CoDATS 등)은 인코더가 학습 가능하다는 전제 하에 feature representation을 정렬하며, SaMD 규제나 firmware-embedded 모델처럼 예측기가 완전히 고정된 상황은 다루지 않는다.
• Gap: 인코더가 완전히 동결되어 gradient 기반 정렬이 불가능하고, 대신 타깃 라벨은 사용 가능한 "locked-predictor" 체제에서는 기존 alignment loss가 frozen encoder를 통과해 역전파될 수 없어 적용 불가능하다는 연구 공백이 존재한다.
• Why: 임상 예측 모델은 병원 간 이식 시 최대 14.5 AUROC point까지 성능이 저하되지만, FDA SaMD 프레임워크 하에서는 검증된 모델을 수정하면 재인증이 필요해 실질적으로 재학습이 불가능하므로, 모델을 건드리지 않고 데이터만 적응시키는 방법이 임상 배포에 중요하다.
• Approach: 공유 encoder-decoder 구조의 per-timestep 입력 어댑터를 frozen predictor에 대해 task loss로 역전파하여 학습시키고, 선택적으로 source memory bank에서 k nearest exemplar를 cross-attention으로 융합하여 타깃 윈도우를 소스 입력 공간으로 변환한다.

Achievement

1. Frozen predictor 적응 가능성 입증: alignment gradient가 도달할 수 없는 locked encoder 상황에서도 입력 공간 학습만으로 DANN, Deep CORAL, CoDATS, ACON 등 모든 비교 가능한 frozen-backbone DA 방법, end-to-end fine-tuning, 3개의 end-to-end DA 방법, 5개의 test-time adaptation 방법을 능가함을 5개 임상 태스크와 eICU·HiRID 두 타깃 도메인에서 보였다.
2. Native 학습 모델 수준 도달 또는 초과: 적응된 eICU 신호가 5개 태스크 중 4개에서 eICU-native LSTM에 도달하거나 이를 초과하고, AKI와 LoS에서는 MIMIC-IV-native LSTM도 능가하며, AKI에서 AUCPR +14.1 포인트라는 최대 성능 향상을 달성했다.
3. 도메인·아키텍처·모달리티 전반의 일반성: AdaTime의 5개 non-clinical 벤치마크(wearable, EEG, industrial)에서 frozen 1D-CNN에 대해 13개 end-to-end DA baseline을 모두 능가(평균 +2.6 Macro-F1)하고 최고 TTA 방법(TENT) 대비 +10.1 mean Macro-F1을 달성했으며, LSTM으로 학습된 어댑터가 frozen GRU·TCN 예측기에 zero-shot으로 전이되어 LSTM 대비 gain의 47–86%를 유지했다.

How

• Latent space를 공유하는 encoder Eϕ와 decoder Dψ를 axial attention block(시간·특징 축에 대한 self-attention)으로 구성하여 다변량 임상 시계열의 feature 간 상호작용과 개별 동역학을 모두 포착
• Phase 1(source 데이터에 대한 autoencoder pretrain)과 Phase 2(frozen predictor를 통한 end-to-end adaptation)로 구성된 2단계 학습 프로토콜 적용
• 목적함수는 Ltask(frozen predictor를 통한 cross-entropy/MSE), Lrange(생리학적 범위 벌점), Ltgt(어댑터 출력에 직접 적용되는 task loss), Lpred(latent 기반 소형 예측 head 지도), Lfid(원본 입력과의 fidelity penalty), Lmmd(encoder latent MMD 정렬)의 가중합으로 구성
• 선택적으로 소스 도메인 학습 데이터를 윈도우 단위로 mean-pooling한 memory bank를 구축하고, 매 R epoch마다 갱신하며, 타깃 timestep마다 causal window로 query를 구성해 k-NN 검색
• L개의 stacked cross-attention block으로 검색된 소스 exemplar를 융합(causal self-attention + FFN + residual + pre-LayerNorm)한 뒤 decoder로 입력 공간에 복원
• adaptation 전 cross-domain normalization(소스 통계에 맞춘 affine 변환)을 적용하고, per-timestep 태스크는 causal attention, per-stay 태스크와 AdaTime 벤치마크는 bidirectional attention 사용

Originality

• 기존 domain adaptation 연구는 trainable encoder를 전제하지만, 본 연구는 encoder가 완전히 locked되고 target label이 존재하는 상보적 체제를 다룬 최초의 접근
• vision/NLP의 frozen-model 기법(learnable token 삽입, handcrafted transform)이 다루지 못하는 sample-conditional, variable-length transformation을 다수의 임상 feature가 동시에 변화하는 다변량 clinical time series에 대해 학습 가능하게 설계
• kNN-MT류의 uniform interpolation 방식과 달리 cross-attention을 통해 feature-level로 선택적인 source exemplar 차용을 가능하게 함
• 임상 EHR 데이터에 대한 per-timestep frozen-predictor domain adaptation을 다룬 최초의 연구라고 저자들이 주장

Limitation & Further Study

• Fully unlabeled source-target adaptation은 본 연구의 범위를 벗어나며, 타깃 도메인에서 라벨이 전혀 없는 시나리오에는 적용 불가
• λ 가중치들이 태스크별 ablation으로 선택되어야 하므로 새로운 태스크·도메인에 적용 시 추가 튜닝 비용이 발생할 수 있음
• memory bank와 cross-attention 등 선택적 구성요소의 사용 여부 결정 기준이 태스크별 실험적 판단에 의존하여 일반적 가이드라인이 부족함
• 두 개의 ICU 타깃 도메인(eICU, HiRID)과 제한된 비임상 벤치마크에 국한되어, 더 다양한 임상 환경 및 다른 유형의 frozen predictor(예: transformer 기반)로의 일반화 검증이 추가로 필요

Evaluation

총평: 규제나 하드웨어 제약으로 모델을 수정할 수 없는 실제 임상 배포 시나리오를 정면으로 다루는 실용적이고 참신한 접근으로, 다양한 벤치마크에서 강력한 baseline들을 일관되게 능가함을 보여 기술적으로 탄탄하다.