/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/037_A_Survey_on_Uncertainty_Quantification_Methods_for_Deep_Lear

Motivation

• Known: DNN은 컴퓨터 비전, 자연어 처리, 과학/공학 분야에서 뛰어난 성능을 보였지만, 종종 과신(overconfident)하면서도 부정확한 예측을 내려 autonomous driving, medical diagnosis, disaster response 등 고위험 응용에서 심각한 문제를 초래할 수 있다. 이를 해결하기 위해 Bayesian neural network, ensemble methods, single deterministic model 기반 방법 등 다양한 UQ 방법이 개발되어 왔다.
• Gap: 기존 서베이들(Gawlikowski et al., Mena et al., Abdar et al. 등)은 UQ 방법을 신경망 아키텍처(Bayesian neural network, ensemble, single model) 또는 Bayesian 관점에서만 분류하며, 각 방법이 다루는 불확실성의 원천(source)을 체계적으로 논의하지 않아 실무에서 응용 상황에 맞는 적절한 UQ 방법을 선택하기 어렵다는 한계가 있다.
• Why: 어떤 응용에서는 data uncertainty가 지배적이고 다른 응용에서는 model uncertainty가 지배적일 수 있으므로, 불확실성 원천에 기반한 분류 체계는 실무자가 자신의 문제 상황(예: OOD 강건성, active learning, deep reinforcement learning 등)에 맞는 UQ 방법을 선택하는 데 실질적으로 중요한 가이드를 제공한다.
• Approach: 지도학습(supervised learning)의 수학적 정형화를 바탕으로 data uncertainty와 model uncertainty를 정의하고, 이 두 원천(및 둘 다를 다루는 방법)을 기준으로 기존 UQ 방법들을 재분류하는 새로운 taxonomy를 제안한다.

Achievement

A taxonomy for existing literature on UQ for DNN.

1. 불확실성 원천 기반 taxonomy 제시: 기존에 없던 data uncertainty vs. model uncertainty 관점의 체계적 분류 체계를 구축하여 Fig. 5와 같은 전체 UQ 방법 지도를 제공.
2. 이론적 정형화: 지도학습 하에서 model family 선택, parameter learning, sample distribution shift(OOD) 등 model uncertainty의 세부 원천을 수식(Eq. 1, 2)과 Fig. 2 시각화로 명확히 구분.
3. 응용 분야 정리: medical diagnosis, geosciences, transportation 등 실제 문제에 UQ가 어떻게 적용되는지 정리.
4. 머신러닝 핵심 문제와의 연결: OOD detection, active learning, deep reinforcement learning 등에서 UQ의 역할을 논의.
5. 미래 연구 방향 제시: LLM을 위한 UQ, 과학 시뮬레이션을 위한 AI 기반 UQ, 구조화된 출력(spatiotemporal data, graph)을 갖는 DNN의 UQ, explainability와 UQ의 결합 등 향후 연구 과제를 제안.

How

Visualization on various model un-

• Section 2에서 지도학습 프레임워크(가설 공간 H, 손실함수 l, empirical risk minimization)를 수학적으로 정의하고, 이를 바탕으로 data uncertainty(아이토릭, irreducible)와 model uncertainty(에피스테믹, reducible)를 구분.
• model uncertainty를 다시 (1) model family 선택의 불확실성, (2) 파라미터 학습의 불확실성, (3) train/test 분포 차이(OOD)로 인한 불확실성으로 세분화하고 Fig. 2로 시각화.
• Section 3에서 medical diagnosis, geosciences, transportation 등 실제 UQ 적용 사례를 정리.
• Section 4에서 data uncertainty, model uncertainty, 그리고 두 원천을 모두 다루는 방법으로 기존 UQ 기법들을 분류하고 각 범주의 장단점을 비교.
• Section 5에서 UQ가 OOD detection, active learning, deep reinforcement learning과 같은 핵심 머신러닝 문제에 어떻게 기여하는지 논의.
• Section 6에서 LLM, 과학 시뮬레이션, 구조화된 출력을 갖는 DNN, explainability 결합 등 미래 연구 방향을 제시.

Originality

• 기존 서베이들이 채택한 신경망 아키텍처 관점(Gawlikowski et al.) 또는 Bayesian 관점(Mena et al., Abdar et al.)과 차별화된, 불확실성 원천(data vs. model uncertainty) 기반의 새로운 taxonomy를 최초로 제시.
• 단순 방법 나열이 아니라 model uncertainty의 원천을 model family 선택, 파라미터 학습, 분포 변화(OOD) 세 가지로 세분화하는 이론적 프레임워크(Fig. 2)를 도입.
• UQ를 개별 방법론 소개에 그치지 않고 active learning, OOD robustness, deep reinforcement learning 등 실제 머신러닝 문제와 연계하여 논의한 점.
• LLM, 과학 시뮬레이션, 구조화된 출력(spatiotemporal/그래프 데이터) 등 최신 이슈를 포괄하는 미래 연구 방향을 제시.

Limitation & Further Study

• 서베이 논문 특성상 새로운 알고리즘이나 실험적 검증이 없어 제안된 taxonomy의 실무적 유용성이 정성적 논의에 그침.
• 발췌된 내용만으로는 data uncertainty에 대한 세부 논의(예: aleatoric uncertainty 추정 기법들의 구체적 비교)가 충분히 드러나지 않아 균형 있는 다룸 여부를 판단하기 어려움.
• 각 taxonomy 카테고리 간의 경계가 실제로는 모호할 수 있는 방법들(예: 여러 불확실성을 동시에 다루는 하이브리드 방법)에 대한 정량적 비교 기준이 부족.
• 후속 연구로 제안된 LLM UQ, 과학 시뮬레이션 UQ 등은 방향성 제시에 그치며 구체적 방법론 제안까지는 나아가지 않음.

Evaluation

총평: 불확실성 원천 관점에서 UQ 방법을 재분류한 체계적이고 실용적인 서베이로, 기존 서베이들의 사각지대를 보완하며 연구자와 실무자 모두에게 유용한 참고 자료가 될 것으로 판단된다.