Few-Shot Continual Learning for 3D Brain MRI with Frozen Foundation Models

Motivation

• Known: Foundation models pretrained on large-scale medical imaging datasets는 임상 배포 시 여러 downstream tasks에 적응해야 하며, sequential fine-tuning은 catastrophic forgetting을 야기한다. Parameter-efficient fine-tuning 방법들(LoRA, prefix tuning 등)이 제안되어 왔으나, 의료 영상의 few-shot continual learning에 대한 체계적인 연구는 제한적이다.
• Gap: 기존의 continual learning 방법들(EWC, LwF, Replay)은 복잡한 regularization이나 replay buffer를 필요로 하며 의료 영상의 3D multi-task 시나리오에서의 effectiveness가 충분히 검증되지 않았다. Frozen backbone + task-specific LoRA의 조합이 few-shot continual learning에서 어떤 장단점을 가지는지 명확하지 않다.
• Why: 의료 영상 AI는 임상 환경에서 새로운 분석 작업이 순차적으로 추가되고 이전 task 데이터 접근이 불가능한 상황에 직면한다. 따라서 catastrophic forgetting 없이 여러 tasks의 성능을 동시에 유지하는 효율적인 방법은 실무적 중요성이 높다.
• Approach: Frozen FOMO pretrained UNet backbone에 각 task별 독립적인 LoRA adapter(rank 8, α=16)를 추가하고, task-specific heads만 학습한다. 새로운 task 학습 시 이전 adapters와 backbone을 frozen 상태로 유지하여 BWT를 0으로 보장한다.

Achievement

• Sequential FT 대비 forgetting 제거: T1 Dice 0.80→0.16 붕괴 문제 해결 (BWT=0)
• 균형 잡힌 다중 task 성능: T1 Dice 0.62±0.07, T2 MAE 0.16±0.05 동시 달성
• 극소 trainable parameters: task당 0.1% 미만 (50M backbone 대비)
• Sequential Linear 대비 향상: T2에서 MAE 1.45→0.16 (약 9배 개선)
• 실용적 안정성: 3개 seed 반복 실험에서 일관된 성능

How

• Frozen backbone과 per-task LoRA adapter 분리로 catastrophic forgetting을 구조적으로 차단
• 1×1×1 convolutions 기반 LoRA를 3D Conv에 적용하여 메모리 효율성 확보
• Task 1은 encoder+decoder LoRA, Task 2는 encoder-only LoRA로 차별화
• Few-shot samples (N=16/32/64)에 대해 Adam optimizer, 100 epochs, batch size 2로 학습
• Dice+BCE loss (segmentation), MSE loss (regression)로 task-specific 학습

Originality

• Continual learning 문제를 adapter isolation 원칙으로 구조적으로 해결 (기존: regularization-based 접근)
• Frozen backbone + task-specific LoRA의 조합이 medical imaging의 few-shot continual learning에 체계적으로 적용된 첫 사례
• BWT=0 guarantee는 기존 EWC, LwF, Replay 대비 이론적으로 더 강력

Limitation & Further Study

• 성능 트레이드오프: Sequential Linear (T1 Dice 0.79)와 비교해 T1 성능 16.5% 감소 (0.79→0.62)
• 체계적 나이 저평가: T2에서 유의한 age underestimation (Wilcoxon p<0.001), 임상 응용에 제약
• 제한된 task 수와 종류: 2개 tasks만 평가; 3개 이상 sequential tasks에서 성능 미검증
• Baseline 비교의 공정성 의문: EWC, LwF, Replay는 간단한 hyperparameter 튜닝만 수행되어 최적화 부족 가능성
• Dataset 규모: BraTS 1251개, IXI ~577개로 relatively small; 더 큰 규모에서의 generalization 불확실
• Pretrained backbone 의존성: FOMO pretrained weights에 크게 의존하여 다른 backbone으로의 transfer 효과 미평가

후속 연구 방향:

• 3개 이상의 sequential tasks에서 LoRA의 확장성 검증
• T2의 age underestimation 문제에 대한 bias correction 연구
• 다양한 pretrained models (DINO, Vision Transformer 등)에서의 효과 비교
• More sophisticated baseline tuning (hyperparameter grid search 등)

Evaluation

총평: 본 논문은 frozen backbone + task-specific LoRA를 통해 medical imaging continual learning의 실용적 해결책을 제시하며, adapter isolation 원칙으로 BWT=0을 보장하는 점이 이론적 강점이다. 다만 T1 성능 감소 및 T2의 systematic bias 문제, 제한된 baseline 최적화, 2개 tasks만 평가한 점이 실질적 영향을 제한한다. 초기 적용 영역에서의 명확한 가치가 있으나, 임상 배포와 확장성 측면에서는 추가 연구가 필요하다.