Dynamic Decision Learning: Test-Time Evolution for Abnormality Grounding in Rare Diseases

Motivation

• Known: LVLM은 의료 영상에서의 abnormality grounding을 포함해 강력한 멀티모달 추론 성능을 보이지만, SFT나 LoRA 같은 parameter-efficient adaptation은 rare disease 상황에서 라벨 부족으로 적용이 어렵다. 또한 전통적인 test-time adaptation(TTA)은 파라미터나 정규화 통계를 업데이트하는 방식으로, 대형 LVLM에는 계산 비용이 크고 임상 노이즈에 불안정하다.
• Gap: 기존 frozen LVLM의 single-pass inference는 의미적으로 동일한 prompt나 미세한 시각적 변형에도 grounding 결과가 크게 흔들리는 semantic fragility와 visual inconsistency 문제를 가지며, 특히 rare pathology에서 hallucination이 심화되는데도 이를 교정할 검증 메커니즘이 없다는 점이 연구 공백이다.
• Why: 희귀질환은 데이터 부족으로 지도학습 기반 적응이 근본적으로 불가능하기 때문에, 파라미터 학습 없이 추론 시점에서 신뢰도를 정량화하고 localization을 안정화할 수 있는 방법이 임상 배치를 위해 매우 중요하다.
• Approach: DDL은 clinical grounding을 파라미터 학습이 아닌 hypothesis testing 문제로 재정의하여, 언어 공간에서는 development distribution 상의 empirical grounding risk를 최소화하도록 instruction prompt를 최적화(DAPE)하고, 시각 공간에서는 controlled perturbation 하에서 예측의 invariance를 측정해 구조화된 매칭(RHC)으로 다중 가설을 통합함으로써 consensus 기반 reliability score를 산출한다.

Achievement

Figure 4. Qualitative grounding results on rare pathologies

1. rare-disease mAP@75 대폭 향상: 281종의 병리 유형을 포함한 rare-disease 데이터셋에서 mAP@75를 최대 105%까지 향상시켰다.
2. 적응 기법 대비 우위: 3B~72B 규모의 다양한 모델에서 supervised fine-tuning 및 다른 test-time adaptation baseline들을 능가하는 성능을 보였다.
3. 신뢰도 보정 개선: consensus 기반 reliability score와 실제 localization accuracy 간의 calibration이 distribution shift와 task 난이도가 증가할수록 오히려 더 강해짐을 보였다.
4. 스케일에 따른 일관된 이득: 데이터셋, 모델 규모, rare disease 분포 전반에서 일관되게 성능 향상을 입증했다.

How

Figure 2. Overview of the Dynamic Decision Learning framework. DDL instantiates adaptive inference through two component

• Problem formulation: frozen LVLM f_θ가 이미지 x와 instruction p를 입력받아 bounding box 집합 B를 생성하는 정적 forward pass를 적응형 추론 전략 π로 재구성, 기대 decision utility U를 최대화하는 π*를 탐색.
• Distribution-Aware Prompt Evolution (DAPE): 초기 prompt pool에서 optimizer LLM이 contrastive compare를 통해 성공(high score)과 실패(low score) 사례를 비교하며 development set 상에서 empirical grounding risk를 최소화하는 최적 prompt p*를 반복적으로 진화시킴.
• Visual-Perception Uncertainty Probing (V-PUP): stochastic operator를 통해 입력 이미지에 시각적 perturbation을 가한 여러 view를 frozen LVLM에 통과시키고, inverse transform으로 원 좌표계로 되돌린 뒤 예측 박스들의 공간적 일관성을 확인.
• Referenced Hungarian Consolidation (RHC): anchor를 기준으로 각 view의 박스들 간 1-IoU 기반 cost matrix를 구성하고 Hungarian matching(이분 매칭)을 통해 대응 관계를 찾아 consensus matrix와 evidence를 spatial grouper로 융합, 최종 reliability score와 통합 예측을 산출.

Originality

• 파라미터 업데이트 없이 언어 공간의 prompt 최적화와 시각 공간의 perturbation 기반 검증을 결합한 test-time 전략을 처음으로 abnormality grounding 문제에 적용.
• 단순 예측 정확도 향상뿐 아니라 spatially aligned cross-view consensus에 기반한 reliability score를 함께 산출하여, 기존의 predictive entropy나 semantic consistency 기반 calibration 방법론이 갖는 geometric invariance 부재 한계를 극복.
• Hungarian matching을 이용한 구조화된 evidence consolidation(RHC)을 통해 다중 view의 localization hypothesis를 통합하는 방식이 독창적임.
• 희귀질환(281개 병리 유형)이라는 극단적 long-tail 시나리오와 3B~72B의 다양한 모델 스케일에서 검증하여 실용성을 강조.

Limitation & Further Study

• 다중 view 생성 및 perturbation 기반 다중 forward pass가 요구되므로 단일 pass 대비 추론 비용(latency, compute)이 증가할 가능성이 있으나 본문 발췌에서 이에 대한 구체적 비용 분석이 부족해 보임.
• 뇌영상(brain-imaging) 도메인에 특화된 벤치마크로 검증되어, 다른 장기·모달리티(예: chest X-ray, CT 전신)로의 일반화 가능성은 추가 검증이 필요하다.
• DAPE의 prompt 최적화가 development set 분포에 의존하므로, development set이 실제 배포 환경과 크게 다를 경우 최적화된 prompt의 강건성이 저하될 위험이 있다.
• optimizer LLM 자체의 편향이나 비용(API 호출 등)에 대한 논의가 제한적이며, 향후 다양한 optimizer LLM 백본에 대한 민감도 분석이 필요하다.

Evaluation

총평: 데이터가 극히 부족한 rare disease 상황에서 파라미터 학습 없이 frozen LVLM의 grounding 신뢰성을 크게 향상시키는 실용적이고 창의적인 test-time 프레임워크로, 임상 배치 관점에서 중요한 기여를 한다고 평가된다.