Few-Shot Continual Learning for 3D Brain MRI with Frozen Foundation Models

Motivation

• Known: Foundation model을 여러 downstream task에 순차 적용할 때 sequential full fine-tuning은 catastrophic forgetting을 일으키며, EWC, LwF, Replay 같은 continual learning 기법들이 이를 완화하기 위해 사용되어 왔다. 또한 LoRA와 같은 parameter-efficient fine-tuning 기법이 frozen backbone에 소수의 저랭크 파라미터만 학습시켜 downstream 적응에 효과적임이 알려져 있다.
• Gap: 기존 continual learning 기법(EWC, LwF, Replay)은 few-shot 3D 의료영상 환경에서 forgetting을 완전히 방지하지 못하고 tuning이 까다로우며, replay 방식은 이전 task 데이터 접근을 요구해 개인정보/저장 제약이 있는 임상 환경에 부적합하다. 3D brain MRI에서 few-shot 조건 하 여러 이질적 task(segmentation, regression)를 동시에 forgetting 없이 유지하는 실용적 해법이 부재했다.
• Why: 임상 현장에서는 프라이버시·저장 제약으로 이전 task 데이터에 재접근하지 못한 채 소수 라벨 샘플만으로 새로운 분석 task(예: tumor segmentation에 brain age 예측 추가)를 순차적으로 도입해야 하는 경우가 많으므로, forgetting 없이 소수 파라미터만으로 적응 가능한 방법은 실제 배포 가능성이 높다.
• Approach: FOMO 스타일로 사전학습된 frozen 3D UNet backbone에 task마다 별도의 LoRA adapter(1×1×1 Conv3d 기반)와 task head를 부착하고, 새 task 학습 시 backbone과 이전 adapter를 모두 고정하여 학습함으로써 구조적으로 BWT=0을 보장한다.

Achievement

1. Catastrophic forgetting의 구조적 제거: task별 독립 LoRA adapter를 사용해 이전 task 파라미터를 전혀 갱신하지 않음으로써 BWT=0을 이론적·실험적으로 달성함.
2. 균형 잡힌 continual 성능: LoRA는 T1 Dice 0.62±0.07, T2 MAE 0.16±0.05를 동시에 유지하며, sequential FT(T1 Dice 0.80→0.16 붕괴)나 sequential Linear(T2 MAE 1.45로 실패) 대비 두 task 모두에서 합리적 성능을 낸 유일한 방법임을 보임.
3. 극도의 파라미터 효율성: task당 <0.1%의 trainable parameter만으로 위 성능을 달성해 few-shot·저장 제약 환경에서 실용적임을 입증함.
4. 다양한 continual learning 베이스라인 비교: EWC, LwF, Replay 등과 비교해 이들 방법이 few-shot validation에서 비현실적으로 낮은 T2 MAE(오버피팅 의심)를 보이는 반면 LoRA는 sanity check 상 합리적인 결과를 냄을 보임.

How

• 사전학습된 frozen FOMO 스타일 3D UNet backbone(fθ, unet_b, ~50M 파라미터) 사용, 가중치는 fomo25_mmunetvae_pretrained.ckpt에서 로드.
• 각 task k에 대해 저랭크 행렬 A, B로 구성된 LoRA(ΔW=B·A, rank r∈{4,8,16}, 기본 r=8, α=16)를 1×1×1 Conv3d 형태로 encoder(및 segmentation은 decoder도)에 삽입.
• Task 순차 학습 시 fθ와 ϕ<k를 모두 freeze하고, 새 task의 ϕk와 head hk만 few-shot 샘플(Nk∈{16,32,64})로 학습(Adam, lr=1e-3, 100 epoch, batch size 2, patch 64³).
• T1(BraTS, tumor segmentation)은 full UNet decoder + Dice+BCE loss, T2(IXI, brain age regression)는 ClsRegHead + MSE loss 사용.
• Baseline으로 Sequential Linear(head만 학습), Sequential FT(전체 backbone fine-tuning), EWC, LwF, Replay와 비교하고, BWT를 통해 forgetting 정량화; paired t-test와 bootstrap CI로 통계적 유의성 검정.

Originality

• Frozen foundation model backbone에 task-specific LoRA adapter를 결합해 3D brain MRI few-shot continual learning에 적용한 최초 시도 중 하나로, adapter isolation을 통해 BWT를 설계상 0으로 만드는 개념적 단순성이 특징.
• 이종 task(segmentation vs. regression)를 동일 backbone 상에서 동시에 다루는 continual learning 설정을 명시적으로 다룸.
• EWC, LwF, Replay 등 기존 기법의 few-shot 환경에서의 오버피팅 문제(비현실적으로 낮은 MAE)를 sanity check(per-task linear probing 대비)로 드러낸 실증적 기여가 있음.

Limitation & Further Study

• LoRA의 T1 Dice(0.62)는 sequential Linear(0.79)보다 낮아 단일 task 성능과 continual balance 간 트레이드오프가 존재하며, 이 격차의 원인 분석이 부족함.
• T2에서 systematic age underestimation(Wilcoxon p<0.001)이 보고되었으나 원인 규명이나 보정 방법이 제시되지 않음.
• 실험이 단 2개 task, 2개 데이터셋(BraTS, IXI)에 한정되어 있어 더 많은 task 수(K>2)나 다양한 모달리티로 확장 시 scalability 검증이 필요함.
• Seed가 3개(42–44)로 적어 통계적 검정력이 제한적이며, 일부 비교(p=0.09)는 유의성이 약함.
• Sequential FT, EWC의 T2 MAE가 few-shot validation에서 overfitting 의심된다고 저자 스스로 지적했듯, 평가 프로토콜(특히 few-shot validation set 크기)의 신뢰성 개선이 필요함.
• 후속 연구로 adapter 간 지식 공유(cross-task adapter merging)나 더 많은 task 순차 도입 시의 확장성, LoRA rank·placement에 대한 체계적 ablation 심화가 요구됨.

Evaluation

총평: Frozen backbone과 task-specific LoRA를 결합해 few-shot continual learning에서 forgetting을 구조적으로 제거하는 실용적이고 명확한 접근을 제시했으나, 단일 task 성능과의 트레이드오프 및 제한된 실험 규모(2 task, 3 seed)로 인해 일반화 가능성 검증은 추가로 필요하다.