Degradation-Aware Metric Prompting for Hyperspectral Image Restoration

Motivation

• Known: 기존 unified HSI restoration 연구는 특정 열화 유형별 전문 모델(denoising, super-resolution 등)에서 최근 prompt 기반 통합 모델로 발전해왔으며, 자연 이미지 도메인의 PromptIR, InstructIR, MoCE-IR 등의 prompt/MoE 기반 접근이 HSI로도 확장되고 있다(PromptHSI, MP-HSIR).
• Gap: 기존 방법들은 사전 정의된 열화 유형이나 텍스트 프롬프트 같은 명시적 prior에 의존해 복잡하고 혼합된 실제 열화를 유연하게 다루지 못하거나, CNN embedding 같은 블랙박스 표현에 의존해 훈련 분포에 overfitting되어 미지의 열화에 대한 일반화 성능과 spectral fidelity가 부족하다는 한계가 있다.
• Why: 실제 HSI 열화는 노이즈, 블러, 밴드 손실 등이 혼합되고 사전에 알기 어려운 형태로 나타나므로, 해석 가능하면서도 일반화 가능한 열화 인식 메커니즘은 농업, 환경 모니터링 등 다운스트림 응용에서 신뢰할 수 있는 복원 성능을 확보하는 데 핵심적이다.
• Approach: 해석 가능한 spatial-spectral metric을 통해 열화를 다차원적으로 정량화한 Degradation Prompts(DP)를 정의하고, 이를 gating router로 활용해 Spatial-Spectral Adaptive Module(SSAM) 전문가들을 동적으로 활성화하는 Degradation-Adaptive Mixture-of-Experts(DAMoE) 구조를 제안한다.

Achievement

Figure 1. PSNR comparison with the SOTA all-in-one methods:

1. SOTA 성능 달성: 자연 및 원격탐사 HSI 데이터셋에서 다수의 복원 task(motion deblurring, denoising, super-resolution, inpainting, band completion 등)에 대해 기존 all-in-one 방법(InstructIR, DFPIR, MP-HSIR, PromptIR, MoCE-IR)을 능가하는 PSNR 성능을 보였다.
2. 뛰어난 zero-shot 일반화: Poisson denoising, motion deblurring 등 훈련에 포함되지 않은 미지의 열화 task에 대해서도 CAVE 데이터셋에서 우수한 zero-shot 복원 성능을 입증했다.
3. 해석 가능한 열화 특성화 프레임워크 구축: 소수의 핵심 metric만으로 다양한 열화 유형을 효과적으로 구분할 수 있음을 분석적으로 보이고, 이를 기반으로 명시적 prior나 블랙박스 표현 없이 작동하는 통합 복원 파이프라인을 설계했다.

How

Figure 3. (a) The architecture of the proposed DAMP framework. (b) The Degradation-Adaptive MoE.

• 관측 열화 이미지 Y = D(X) + N 문제 정의 하에, 측정 가능한 spatial-spectral metric과 복원 요구사항 간의 관계를 분석
• 소수의 핵심 metric으로 전형적 열화 유형을 구분할 수 있고, 서로 다른 열화 유형이 특정 metric에서 분포가 겹칠 수 있음(예: 약한 블러와 저노이즈)을 관찰해, 이를 연속적으로 인코딩하는 Degradation Prompts(DP) 도입
• DP를 활용하여 다양한 열화 정도에 특화된 Spatial-Spectral Adaptive Module(SSAM)들을 전문가(expert)로 구성
• DP를 degradation-aware gating router로 사용해 입력의 열화 프로파일에 맞는 전문가를 동적으로 활성화·집계하는 Degradation-Adaptive Mixture-of-Experts(DAMoE) 아키텍처 설계
• SSAM 내부에서 learnable fusion coefficient를 통해 spatial 및 spectral 특징 추출을 동적으로 조절

Originality

• 명시적 degradation label이나 텍스트 prompt, 블랙박스 CNN embedding에 의존하지 않고, 해석 가능한 spatial-spectral metric으로부터 직접 degradation prompt를 도출한 최초 시도
• 열화 유형 간 metric 분포의 중첩성을 관찰하여 task 간 공통 특성을 자연스럽게 포착하는 연속적 DP 설계
• HSI의 spatial-spectral 특성을 반영한 MoE 구조(DAMoE)를 도입해 자연 이미지 UIR의 MoE 접근(MoCE-IR 등)을 HSI 도메인에 특화된 형태로 확장

Limitation & Further Study

• metric 설계가 특정 열화 유형(노이즈, 블러, 밴드 손실 등)에 기반하고 있어, 이 논문에서 고려하지 않은 완전히 새로운 유형의 열화에 대해서는 metric 자체의 표현력 한계가 있을 수 있음
• DAMoE의 expert 수와 gating 구조의 확장성, 계산 비용에 대한 심층 분석이 추가로 필요해 보임
• 실제 센서 하드웨어에서 발생하는 복합적이고 비선형적인 열화(예: 실제 원격탐사 열화)에 대한 검증이 시뮬레이션된 열화 위주로 제한적일 가능성이 있어 후속 연구에서 실측 데이터 기반 검증이 필요함

Evaluation

총평: 해석 가능한 metric 기반 degradation prompting과 MoE 구조를 결합해 HSI 통합 복원의 일반화 문제를 실질적으로 개선한 견고한 연구로, 향후 실제 환경 검증이 더해지면 활용 가치가 클 것으로 판단된다.