Supervise Less, See More: Training-free Nuclear Instance Segmentation with Prototype-Guided Prompting

Motivation

• Known: SAM과 같은 vision foundation model은 대규모 자연 영상 데이터로 zero-shot, class-agnostic segmentation 능력을 보이지만, 병리 영상에 적용하려면 보통 fine-tuning이나 adapter 기반 학습이 필요하다. 또한 few-shot 혹은 reference 기반 prompt 생성 기법들이 자연 영상 및 의료 영상에서 제안된 바 있다.
• Gap: 기존 SAM 적용 방법들은 dense annotation과 계산 비용이 큰 fine-tuning에 의존하며, reference 기반 training-free 기법들은 소수의 salient object가 있는 자연 영상을 가정해 설계되어, 수천 개의 밀집되고 형태가 다양한 nuclei가 있는 병리 영상에는 부적합하다. 즉, 완전한 training-free이면서 외부 reference 없이도 안정적으로 동작하는 nuclear instance segmentation 방법은 거의 탐구되지 않았다.
• Why: 주석과 fine-tuning 없이도 SAM의 zero-shot 능력을 병리 영상에 확장할 수 있다면, 라벨링 비용이 큰 computational pathology 분야에서 확장 가능하고 실용적인 segmentation 파이프라인을 제공할 수 있어 임상 및 연구 적용성을 크게 높일 수 있다.
• Approach: H&E 염색의 생화학적 특성을 활용해 이미지 내부에서 고신뢰 foreground/background 영역을 self-reference로 추출하고, 이를 기반으로 한 prototype과 feature 간 partial optimal transport(POT-Scan)로 활성화 맵을 정제한 뒤, 이를 point prompt로 변환해 SAM에 입력하는 방식이다.

Achievement

Figure 3. Performance comparison across supervision types. SPROUT consistently outperforms SAM-based (MedSAM), fully

1. 완전 training-free 프레임워크 제안: 어노테이션이나 파라미터 업데이트 없이 SAM만으로 nuclear instance segmentation을 수행하는 최초의 완전 training-free 방법인 SPROUT를 제안했다.
2. Self-reference 전략으로 도메인 갭 해소: 외부 reference 이미지 없이 slide 내부에서 H&E stain prior 기반 prototype을 구성해, DINOv2·H-optimus-1 같은 외부 backbone 기반 one-shot 방식의 실패를 극복했다.
3. POT-Scan 이론적 보장 제시: partial optimal transport 기반의 progressive scan 방식으로 nuclear coverage와 noise suppression을 균형 있게 조절하며, 다양한 hyperparameter 설정에서도 견고함을 입증했다.
4. 네 개 벤치마크에서 우수한 성능: MoNuSeg, CPM17, TNBC, PanNuke에서 fully-/weakly-supervised 및 SAM 기반 방법 대비 경쟁력 있는 성능을 달성했으며, MoNuSeg에서 AJI 기준 +8.2% 향상을 보였다.

How

Figure 2. SPROUT pipeline for point prompt generation. It consists of three steps: (i) Feature–prototype similarity mapp

• H&E 염색의 hematoxylin/eosin 특성을 이용해 이미지 내에서 고신뢰 foreground(핵)와 background(세포질) 영역을 자동 식별
• K-means clustering으로 각 영역에서 대표 local feature를 추출해 cluster prototype(ρ0, ρ1, …, ρn) 생성
• 이미지 feature와 prototype 간 cosine similarity를 계산해 cost matrix 구성
• POT-Scan: partial optimal transport solver를 이용해 feature-prototype 간 transport plan을 점진적으로 계산, 모호한 할당을 걸러내며 foreground activation map을 정제
• 정제된 활성화 맵에서 positive/negative point를 샘플링해 SAM에 prompt로 입력, instance mask 예측
• containment-aware Non-Maximum Suppression(NMS)으로 생물학적 사전지식을 반영해 겹치는 예측을 정제

Originality

• 외부 reference 이미지나 few-shot 예제 없이, 이미지 자체의 염색 특성만으로 self-reference prototype을 구성하는 새로운 접근을 제시
• Optimal transport를 point prompt 생성에 결합한 POT-Scan을 통해 partial mass transport 기반의 progressive feature-prototype alignment라는 독창적 메커니즘을 도입
• 생물학적 containment 관계를 활용한 NMS 전략으로 SAM 예측 정제라는 도메인 특화 후처리 기법을 제안
• 자연 영상 중심으로 설계된 기존 training-free prompt 생성 기법을 다수 밀집 객체가 존재하는 병리 영상 상황에 맞게 재구성

Limitation & Further Study

• 논문에서 제시된 성능 향상이 특정 네 개 벤치마크(MoNuSeg, CPM17, TNBC, PanNuke)에 국한되어, 더 다양한 염색 프로토콜이나 스캐너 조건에서의 일반화 가능성은 추가 검증이 필요
• self-reference 방식이 H&E 염색 특유의 색상 분리에 의존하므로, IHC 등 다른 염색 기법이나 저품질/비정형 슬라이드에 대한 견고성은 불명확
• SAM 자체의 한계(예: 매우 미세하거나 서로 인접한 핵 경계 구분)를 근본적으로 해결하지 못하며, prompt 품질에 성능이 크게 좌우될 수 있음
• POT-Scan의 hyperparameter(예: partial transport mass 비율, cluster 수 K)에 대한 민감도 분석이 추가로 필요하며, 다양한 조직 유형·암종에 대한 확장 실험이 후속 연구로 요구됨

Evaluation

총평: 주석과 fine-tuning 없이 SAM의 zero-shot 능력을 병리 영상의 nuclear instance segmentation에 확장한 독창적이고 실용적인 연구로, POT-Scan이라는 이론적 근거를 갖춘 novel한 방법론과 다수 벤치마크에서의 실증적 성능 향상이 인상적이다.