Rethinking Low-Confidence Pseudo Labels: Influence-Aware Semi-Supervised Fine-Tuning for Hyperspectral Change Detection

Motivation

• Known: 기존 semi-supervised HSI-CD 방법들은 consistency regularization이나 confidence 기반 pseudo-label 선택(FixMatch, FlexMatch, FreeMatch 등)에 의존하며, gradient-based influence, Shapley value 기반 data value influence, representation influence 등 influence 기반 선택 기법도 일부 연구되어 왔다.
• Gap: High-confidence pseudo-label은 overfitting을 악화시키고 low-confidence pseudo-label은 노이즈를 유입시켜 오류 전파를 야기하는 딜레마가 존재하며, 기존 influence 추정 기법은 모델 초기 성능에 크게 의존하고 low-confidence 영역에서 불안정한 gradient로 인해 최적이 아닌 샘플 선택을 초래한다. 또한 대부분의 foundation model 디코더는 구조가 고정되어 있어 HSI-CD 특유의 불연속 변화 경계와 희소 분포 변화를 모델링하는 데 적합하지 않다.
• Why: Hyperspectral image의 높은 라벨링 비용과 복잡한 변화 패턴으로 인해 foundation model의 직접 파인튜닝이 제한적인 상황에서, low-confidence pseudo-label 중 유의미한 supervision 신호를 신뢰성 있게 골라내는 원리적 방법을 제시함으로써 semi-supervised HSI-CD의 성능과 실용성을 크게 높일 수 있다.
• Approach: 모델의 의사결정 행동에 미치는 pseudo-label의 영향을 측정하여 confidence 대신 influence를 선택 기준으로 사용하는 IA-SFT를 제안하고, 이를 global semantic consistency와 local change detail을 함께 모델링하는 AFCD와 결합한 IAF-CDNet 프레임워크를 구축하였다.

Achievement

Figure 3. Network architecture of IAF-CDNet.

1. IA-SFT 프레임워크 제안: confidence 기반이 아닌 influence 기반의 pluggable pseudo-label 선택 전략을 제시하여, low-confidence pseudo-label이 labeled data에 미치는 영향을 측정함으로써 고가치 supervision 신호를 신뢰성 있게 필터링.
2. AFCD 디자인: global semantic context와 local detail feature를 multi-level feature interaction을 통해 통합하는 Adaptive Fusion Change Decoder를 설계하여 foundation model을 HSI-CD 태스크에 적응.
3. 광범위한 실험 검증: 세 개의 벤치마크 데이터셋에서 IA-SFT가 pseudo-label 품질과 change detection 성능을 일관되게 향상시키며, state-of-the-art 방법 대비 우수한 정확도를 달성함을 입증.
4. Plug-and-play 전이성 검증: 다양한 프레임워크에 IA-SFT를 통합했을 때의 transferability와 generalization capability를 추가 분석을 통해 검증.

How

Figure 3. Network architecture of IAF-CDNet.

• 각 low-confidence pseudo-label에 대해 model decision behavior에 미치는 influence score를 계산하여, labeled data에 대한 영향(impact)이 임계값(θ)보다 큰 샘플만 선별하는 IA-SFT 전략을 적용.
• 기존 confidence 기반 high/low-confidence 선택 전략(Figure 1의 (a), (b))과 대조하여, influence-aware filtering(Figure 1의 (c))을 통해 misdetected hard sample과 error-contaminated sample을 걸러냄.
• Foundation model 기반 backbone에 Adaptive Fusion Change Decoder(AFCD)를 추가하여 global semantic consistency와 local change detail을 multi-level feature interaction으로 jointly 모델링.
• 전체 파이프라인(IAF-CDNet, Figure 2, 3)을 통해 labeled/unlabeled bi-temporal HSI 쌍을 입력받아 pseudo-label 생성, influence 기반 필터링, decoder 적응을 순차적으로 수행.
• River, 그리고 추가 두 개의 벤치마크 데이터셋(총 3개)에서 DIEFEN, DCENet 등 기존 SOTA 방법들과 비교 실험 및 plug-and-play 통합 실험 수행.

Originality

• confidence 기반 pseudo-label 선택이라는 기존 패러다임에서 벗어나, 모델의 의사결정 행동에 대한 influence를 직접 측정하는 새로운 선택 기준을 semi-supervised HSI-CD에 최초로 도입.
• 기존 influence 기반 방법(gradient-based, Shapley value 기반, representation influence)이 갖는 초기 모델 성능 의존성과 low-confidence 영역에서의 불안정성 문제를 겨냥하여, labeled data에 대한 영향력 측정이라는 방식으로 안정성을 개선.
• foundation model의 고정된 decoder 구조 문제를 지적하고, global-local 정보를 적응적으로 융합하는 AFCD를 통해 HSI-CD 특유의 불연속 경계와 희소 변화 영역에 대응하는 구조적 개선을 제시.
• 제안된 IA-SFT를 pluggable, plug-and-play 모듈로 설계하여 다양한 프레임워크에 대한 범용적 적용 가능성을 확보.

Limitation & Further Study

• Influence score 계산 방법(구체적 수식 및 근사 방식)의 계산 비용과 스케일러빌리티에 대한 상세한 분석이 발췌 부분에서는 부족하여, 대규모 unlabeled set에 대한 실용성 검증이 추가로 필요.
• transductive semi-supervised setting(unlabeled sample이 test set에서 온다는 가정)에 기반하고 있어, 실제 운영 환경에서의 inductive 일반화 성능에 대한 추가 검증이 요구됨.
• 임계값 θ의 설정 방식과 민감도에 대한 분석, 그리고 influence 추정의 노이즈 하에서의 이론적 보장에 대한 논의가 추가로 필요.
• 세 개 벤치마크에 한정된 실험으로, 더 다양한 센서·지역·변화 유형에 대한 일반화 검증이 후속 연구로 요구됨.

Evaluation

총평: Confidence 기반 pseudo-label 선택의 근본적 딜레마를 influence 기반 접근으로 재구성한 참신하고 실용적인 연구로, HSI-CD를 넘어 다른 semi-supervised 학습 태스크로의 확장 가능성도 기대되는 견고한 기여를 보인다.