MedCRP-CL: Continual Medical Image Segmentation via Bayesian Nonparametric Semantic Modality Discovery

Motivation

• Known: 기존 continual learning 방법은 EWC와 같이 모든 task에 균일한 파라미터 제약을 가하거나(catastrophic forgetting 유발), Mixture-of-experts처럼 task-specific adaptation을 시도하되 사전 정의된 expert 수를 요구하여 미래 task 다양성에 대응하지 못한다. 물리적 imaging modality 라벨(예: ultrasound, X-ray)은 임상 메타데이터에서 쉽게 얻을 수 있지만 해부학적/병리학적 세분화가 부족하다.
• Gap: 파라미터 공유(무분별한 sharing은 이질적 task 간 forgetting 가속)와 파라미터 격리(경직된 isolation은 관련 task 간 유익한 transfer 차단) 사이의 근본적 긴장을 해결하려면, 어떤 task들이 충분히 유사해 공유 표현으로 이득을 볼 수 있는지, 어떤 task가 별도 파라미터를 필요로 하는지 사전 라벨 없이 online으로 발견하는 메커니즘이 필요하지만 기존 연구는 이를 다루지 못했다.
• Why: 의료 영상 데이터는 응급실 chest X-ray, 심장내과 ultrasound, 소화기내과 endoscopic image 등 이질적 임상 소스로부터 순차적으로 수집되므로, 배포된 segmentation model이 새로운 task에 지속적으로 적응하면서도 이전 task의 성능을 유지해야 하는 문제는 실제 임상 배포에 핵심적이며, 특히 privacy 규제(HIPAA, GDPR)로 인해 replay-free 접근이 요구된다.
• Approach: CRP prior와 적응적 likelihood를 결합한 Bayesian inference로 각 임상 프롬프트를 semantic modality에 온라인 할당하고, 발견된 modality 구조에 따라 modality별 LoRA adapter를 intra-modality EWC로 정규화하여 modality 간 파라미터 격리와 modality 내 지식 전이를 동시에 달성한다.

Achievement

Figure 3 illustrates the performance dynamics across the

1. 성능 향상: 4개 imaging modality에 걸친 16개 의료 segmentation task 실험에서 73.3%의 Dice score와 4.1%의 낮은 forgetting을 달성하여 최고 baseline 대비 8.0% 성능 향상.
2. 파라미터 효율성: 6배 적은 파라미터로 위 성능을 달성.
3. Replay-free 설계: 원시 환자 데이터가 아닌 aggregate statistics만 저장하여 임상 privacy 규제(HIPAA, GDPR)를 준수.
4. Semantic modality 발견: CRP 기반 메커니즘이 물리적 imaging modality보다 세밀한 구조(해부학적 영역과 병리학적 맥락 통합)를 사전 정의 없이 자동으로 포착함을 입증.

How

Figure 2. Overview of MedCRP-CL. For each incoming task, prompt embeddings are extracted and passed to the Bayesian moda

• 문제를 순차적으로 도착하는 task 시퀀스 T={T1,...,TN}에 대한 continual segmentation으로 정식화, 각 task는 이미지, 마스크, 임상 텍스트 프롬프트로 구성.
• CLIPSeg backbone을 사용해 임상 프롬프트를 임베딩하고, Chinese Restaurant Process(CRP)를 prior로, 임베딩 유사도 기반 adaptive likelihood를 결합하여 각 task를 semantic modality Mk에 online Bayesian 방식으로 할당(클러스터 수 K는 사전 미지, 자동 추론).
• 발견된 각 semantic modality마다 독립적인 LoRA adapter(LoRA_0, LoRA_1, ... )를 유지하여 modality 간 파라미터 격리를 보장.
• 동일 semantic modality 내에서는 intra-modality EWC 정규화(Fisher information 기반)를 적용해 modality 내 task 간 지식 전이를 촉진하면서 forgetting을 억제.
• Replay buffer 없이 aggregate statistics만 저장하는 replay-free 설계 채택.
• 4개 physical imaging modality에 걸친 16개 의료 segmentation task로 실험, EWC, MoE-Adapters, Low-Rank MoE, CL-LoRA, RAPF, MedPEFT-CL 등 baseline과 비교하고 order sensitivity 분석 및 t-SNE 시각화로 발견된 semantic modality 구조를 검증.

Originality

• 물리적 imaging modality 라벨 대신 임상 텍스트 프롬프트 임베딩을 이용해 해부학/병리 정보를 통합한 "semantic modality"라는 새로운 세분화 개념을 제안.
• Chinese Restaurant Process(CRP)라는 Bayesian nonparametric 기법을 continual medical image segmentation에 처음 적용하여, 사전 정의된 클러스터 수나 미래 task 접근 없이 online task 구조 발견을 가능케 함.
• 발견된 구조를 modality-specific LoRA adapter와 intra-modality EWC 정규화에 직접 연결하여, 파라미터 공유와 격리 간의 긴장을 구조 인지(structure-aware) 방식으로 해결.
• Replay-free 설계로 임상 privacy 규제를 준수하면서도 낮은 forgetting을 달성.

Limitation & Further Study

• CRP 기반 클러스터링은 프롬프트 임베딩 품질(예: CLIPSeg의 텍스트 인코더 성능)에 크게 의존할 수 있으며, 프롬프트가 부정확하거나 모호한 임상 환경에서는 semantic modality 발견이 실패할 위험이 있음.
• Task 도착 순서(order)에 대한 민감도 분석(Fig 5)이 수행되었으나, 실제 임상 배포에서는 훨씬 다양한 순서와 노이즈가 존재할 수 있어 추가 검증이 필요.
• 16개 task, 4개 modality로 실험 규모가 제한적이며, semantic modality 수가 매우 커지는 대규모 continual 시나리오에서의 확장성(파라미터 증가, 계산 비용)에 대한 분석이 부족.
• 3D volumetric segmentation이나 더 복잡한 병리 맥락(예: 다중 병변, 희귀 질환)으로의 일반화는 향후 연구 과제로 남아 있음(논문에서 HFF-Net, TRACE 등 3D 확장 가능성을 언급).

Evaluation

총평: 임상 프롬프트 기반 Bayesian nonparametric task 구조 발견을 continual medical segmentation에 접목한 참신하고 실용적인 접근으로, replay-free 및 파라미터 효율성 측면에서 강력한 실험 결과를 보이나 프롬프트 품질 의존성과 확장성에 대한 추가 검증이 필요하다.