Beyond Instance-Level Self-Supervision in 3D Multi-Modal Medical Imaging

Motivation

• Known: 기존 medical imaging SSL은 contrastive learning, knowledge distillation, masked autoencoding 등을 통해 각 개인(instance)을 독립적으로 취급하며 augmentation-based objective나 masked reconstruction으로 표현을 학습해왔다. 또한 anatomical invariance나 cross-modal consistency 같은 도메인 prior를 활용한 방법들도 존재한다.
• Gap: 기존 방법들은 인체 해부학이 개인 간에도 안정적인 공간적 위상 구조를 공유한다는 점(예: thalamus가 항상 basal ganglia보다 medial에 위치)을 활용하지 못하고 있으며, 이러한 cross-instance topological consistency를 supervisory signal로 사용하지 않는다. 또한 기존의 explicit geometric consistency 접근법은 affine transform 같은 명시적 변환 행렬에 의존하는데, 이는 cross-modal 또는 cross-instance 상황에서 나타나는 implicit한 변환이나 불일치를 파라미터화하기 어렵다는 한계가 있다.
• Why: 해부학적 구조의 population-level topology를 pre-training의 supervisory signal로 통합하면, 개별 instance의 외형뿐 아니라 넓은 해부학적 맥락 내에서의 구조적 상대 위치까지 학습할 수 있어, 특히 modality가 누락된 임상 상황에서 더 강건한 multi-modal medical representation을 얻을 수 있다.
• Approach: 동일 개인 내에서는 pixel-level correspondence를 활용하는 cross-modal triplet objective로 local neighborhood topology를 보존하고, 서로 다른 개인 간에는 supervision이 없으므로 Mutual Nearest Neighbor(MNN) 기반 pseudo-correspondence를 도출하여 partial neighborhood alignment를 수행하고 topology collapse를 방지한다.

Achievement

Figure 5. The t-SNE visualization of token-level representations

1. SOTA 성능 달성: 7개의 downstream multi-modal task(segmentation, classification)에서 기존 SOTA 대비 각각 평균 1.1%, 5.94% 성능 향상을 달성했다.
2. Missing-modality 강건성 입증: 테스트 시 일부 modality가 결여된 상황에서도 기존 baseline 대비 유의미하게 더 나은 robustness를 보였다.
3. 정성적 검증: t-SNE 시각화를 통해 TACO가 개인과 modality를 넘어 anatomical identity 기준으로 feature token을 clustering함을 보인 반면, baseline SSL 방법들은 개인 identity 기준으로 clustering되는 경향을 보여 instance-specific pattern만 포착함을 확인했다.

How

Figure 2. Pipeline of the proposed method. For each scan, a reconstruction loss learns unimodal representations. Across

• Instance-agnostic Multi-modal Neighborhood Ranking Consistency (IM-NRC) 원리 제안: 두 modality i, j (각각 개인 h, g에 대응)에서 spatial neighborhood ranking이 modality와 instance에 무관하게 일관되게 유지되어야 한다는 가정을 도입
• Intra-instance alignment: 동일 개인 내 pixel-level correspondence가 존재하는 경우, cross-modal triplet objective를 사용하여 local neighborhood topology를 명시적으로 보존
• Inter-instance alignment: correspondence 정보가 없는 서로 다른 개인 간에는 unsupervised Mutual Nearest Neighbor(MNN) search로 pseudo-correspondence를 도출하고, 이를 통해 partial neighborhood alignment를 제어하여 modality 간 topology collapse를 방지
• Transformer encoder E와 decoder D를 사용한 표준 autoencoder pipeline(Luni reconstruction loss)을 기본 backbone으로 결합
• 7개의 downstream multi-modal task(segmentation 및 classification)에서 광범위한 실험 수행, label efficiency 실험 및 t-SNE 시각화를 통한 정성적 분석 포함

Originality

• 개인(instance) 간 및 modality 간 topological consistency를 self-supervised medical image pre-training의 supervisory signal로 최초로 공동 모델링했다고 주장
• 기존 explicit geometric transformation(affine matrix 등) 기반 anatomical invariance 접근법과 달리, implicit하고 파라미터화하기 어려운 cross-modal/cross-instance 변환을 다루기 위해 MNN 기반 pseudo-correspondence라는 비모수적 접근을 도입
• intra-instance triplet objective와 inter-instance partial correspondence matching을 통합한 dual alignment 프레임워크(TACO) 설계
• topological consistency를 unsupervised/self-supervised 설정으로 확장한 점(기존 TopoLoss 등은 대부분 supervised segmentation 맥락에 국한)

Limitation & Further Study

• MNN 기반 pseudo-correspondence의 품질이 최종 성능에 큰 영향을 미칠 것으로 예상되나, correspondence 오류나 노이즈에 대한 민감도 분석이 충분히 제시되지 않은 것으로 보인다
• 뇌 MRI 등 특정 해부학적 구조(비교적 표준화된 topology를 가진 장기)에 초점이 맞춰져 있어, 병리로 인해 구조가 심하게 변형되거나 topology 자체가 파괴되는 경우(예: 대규모 종양, 외상)에 대한 일반화 가능성은 추가 검증이 필요하다
• 후속 연구로는 다른 신체 부위(흉부, 복부 등) 및 modality 조합으로의 확장, MNN 대체 correspondence 추정 기법과의 비교, 그리고 topology collapse 방지 메커니즘에 대한 이론적 분석이 필요할 것으로 보인다

Evaluation

총평: 해부학적 population-level topology를 self-supervision 신호로 명시적으로 활용한다는 아이디어가 참신하고 실용적이며, 7개 downstream task에서의 일관된 성능 향상과 missing-modality 강건성 개선이라는 실질적 임상 가치를 제시한 좋은 연구이다. 다만 pseudo-correspondence의 신뢰성 및 병리적으로 topology가 심하게 붕괴된 사례에 대한 추가 검증이 뒷받침되면 더욱 설득력이 높아질 것이다.