Are We Overconfident in Models and Results for Semi-Supervised 3D Medical Image Segmentation?

Motivation

• Known: 기존 SSL 의료영상 분할 연구는 consistency regularization과 pseudo-labeling을 기반으로 teacher-student 구조를 활용하며, softmax confidence나 Monte Carlo dropout, ensemble disagreement 등을 통해 unreliable pseudo-label을 걸러내는 방식이 주로 사용되어 왔다.
• Gap: 기존 방법들은 confidence와 uncertainty를 단일 scalar로 뭉뚱그려 다뤄 confidently wrong prediction을 걸러내지 못하는 confirmation bias 문제가 있으며, 다수의 벤치마크 데이터셋에 별도 validation set이 없어 test set을 validation에 재사용함으로써 SOTA 수치가 과장되고 이후 연구들도 동일한 관행을 답습하는 test-overfitting arms race가 존재한다.
• Why: SSL 분할 연구의 알고리즘적 신뢰성과 평가 프로토콜 양쪽 모두에서 근본적 결함을 드러냄으로써, 커뮤니티가 보고하는 성능 향상이 실제 진전이 아니라 overfitting의 산물일 수 있다는 우려를 제기하고, 보다 엄밀한 벤치마크 관행을 촉구한다는 점에서 방법론적·메타과학적 중요성이 크다.
• Approach: 모델 예측의 confidence(평균 예측의 consensus)와 uncertainty(cross-view evidence의 divergence)를 명시적으로 분리하는 dual-axis reliability estimation engine을 설계하고, 이를 feature, probability, image의 세 공간에서 협력적으로 활용해 confirmation bias를 탐지·교정하는 TCSeg를 제안하며, 평가에서도 multi-run 기반 best/final checkpoint 보고 프로토콜을 함께 제안한다.

Achievement

Figure 5. Run-to-run performance under different checkpointing

1. Dual-axis reliability decoupling: confidence와 uncertainty를 개념적·정량적으로 분리하여 pseudo-labeling에 내재된 overconfidence와 confirmation bias를 규명하고 완화하는 프레임워크를 제시하였다.
2. Tri-space calibration: feature alignment(class-wise prototype), predictive consensus(probability space), structural perturbation(image space)를 하나의 reliability engine으로 통합하여 pseudo-label의 의미적 일관성과 구조적 강건성을 동시에 확보하였다.
3. 성능 검증: 세 개의 벤치마크 데이터셋에서 기존 평가 프로토콜 하에서도 TCSeg가 일관되게 우수한 성능을 달성함을 보였다.
4. 평가 프로토콜 개선 제안: best와 final checkpoint 모두에 대해 multi-run 결과(median, extrema)를 보고하는 보다 엄격한 평가 방식을 제안하여 single-run 최적 결과 보고의 낙관적 편향 문제를 지적하였다.

How

Figure 2. Overview of our proposed TCSeg framework.

• Dl(labeled)와 Du(unlabeled)에 대해 표준 supervised+unsupervised loss(Ltotal)를 설정하고, 기존 confidence threshold τ 기반 pseudo-labeling(Eq. 2-3)이 posterior calibration(Eq. 4)을 암묵적으로 가정함을 수식적으로 분석하여 calibration collapse(Eq. 5) 문제를 규명함.
• 각 voxel에 reliability vector R(v)=⟨C(v), U(v)⟩를 할당하는 dual-axis reliability estimation을 도입: C(v)는 confidence(평균 예측의 consensus), U(v)는 probability-space와 feature-space에서의 cross-view(shared encoder vs EMA encoder, decoder1 vs decoder2) 예측 불일치로 정의됨.
• Probability space에서는 confidence-band regularization으로 multi-branch 예측의 variance를 제한(L_pse).
• Feature space에서는 class-wise prototype(μ_k)에 voxel을 projection하여 prototype similarity q(v) 기반으로 confident하지만 class manifold와 괴리된 예측을 필터링(L_cal).
• Image space에서는 reliability-driven perturbation module(LCC, CutMix 등 M_per)을 통해 high-uncertainty로 식별된 영역에 대해 모델이 특징을 학습하도록 강제(L_mix).
• 최종적으로 세 공간의 loss를 결합해 학습하며, teacher network는 EMA encoder/decoder로 구성됨.
• 평가 시 best checkpoint와 final checkpoint 모두에 대해 다수 회 실행(run)의 median 및 extrema를 보고하는 프로토콜을 적용.

Originality

• Confidence와 uncertainty를 단일 scalar가 아닌 별도의 축(dual-axis)으로 명시적으로 분리하여 정의한 점이 기존 MC dropout, ensemble disagreement 기반 접근과 차별화됨.
• Feature, probability, image 세 공간에서 reliability 신호를 공유하며 협력적으로 confirmation bias를 교정하는 tri-space calibration 구조는 기존의 단일 공간 heuristic add-on 방식과 다름.
• 알고리즘적 문제(confirmation bias)와 평가 방법론적 문제(test set을 validation으로 재사용하는 관행)를 동시에 제기하고, multi-run 기반 best/final checkpoint 보고라는 메타과학적 제언을 함께 제시한 점이 독창적임.

Limitation & Further Study

• Dual-axis reliability estimation이 multi-branch/multi-view 구조(shared encoder, EMA encoder, 두 decoder)에 의존하므로 연산 비용 및 구조적 복잡성이 증가할 가능성이 있으나 본문 발췌에서 효율성 분석이 명확히 제시되지 않음.
• 제안된 multi-run 평가 프로토콜이 커뮤니티 전반에 채택되기 위해서는 기존 벤치마크 관행과의 정합성, 재현성 검증 등 추가적인 논의가 필요함.
• 3D 의료 영상 분할이라는 특정 도메인에 한정된 실험이므로, 다른 modality나 task로의 일반화 가능성에 대한 추가 검증이 필요함.
• Feature space의 class-wise prototype 기반 필터링이 클래스 불균형이 심한 경우 어떻게 작동하는지에 대한 상세 분석이 요구됨.

Evaluation

총평: 알고리즘적 confirmation bias와 평가 프로토콜의 구조적 결함을 동시에 파헤치며 실질적 해결책(TCSeg)과 메타과학적 제언(multi-run reporting)을 함께 제시한 점에서 학술적·실무적으로 의미 있는 기여를 하는 논문이다.