A Bayesian Approach to Quantify the Uncertainty of Human Ratings in a Single-Instance Multimodal Framework

Motivation

• Known: human rating의 신뢰도는 전통적으로 여러 rater의 반복 측정을 통한 inter-rater reliability 분석(Dawid & Skene 등)으로 추정되며, heteroscedastic regression, evidential regression, deep ensemble 등은 예측 시 aleatoric uncertainty를 추정하는 대표적 방법이다. 또한 joint VAE 및 multimodal generative model들은 입력 데이터와 라벨의 joint distribution을 학습해 왔다.
• Gap: 기존 방법들은 반복 측정 데이터를 요구하거나(불가능하거나 비용이 큰 경우가 많음), 라벨을 신뢰할 수 있는 ground-truth target으로 가정해 라벨 자체의 불확실성을 모델링하지 못한다. 또한 auxiliary 데이터의 어떤 특징이 실제로 rating uncertainty와 관련 있는지 구분하지 못해, 객관적 데이터의 노이즈를 rating instability로 오인할 위험이 있다.
• Why: 반복 rater 측정이 현실적으로 불가능한 precision psychiatry 등 고비용 도메인에서, single-instance(단일 측정)만으로 rating의 신뢰도를 정량화할 수 있다면 downstream 진단·의사결정의 보정(calibration)과 재평가에 실질적으로 기여할 수 있다.
• Approach: shared latent content variable과 item-specific latent uncertainty variable, 그리고 objective data의 유의미한 feature를 선택하는 learnable mask를 결합한 Bayesian graphical model을 설계하고, modality-appropriate neural encoder/decoder 기반의 amortized variational inference로 posterior를 근사한다.

Achievement

Figure 4. Visualization of learned useful feature probability and rating uncertainty. (a) Mean usefulness map over subje

1. 합성 데이터에서의 잠재 변수 복원: 알려진 ground-truth가 있는 synthetic data 실험에서 제안 모델이 latent content와 uncertainty를 정확히 분리·복원함을 보였다.
2. Ablation 및 stress test를 통한 각 구성요소의 효과 검증: 각 모델 구성요소(shared latent content, uncertainty prior, feature mask)의 기여를 정량적으로 확인했다.
3. 실제 fMRI-behavioral 데이터셋 적용: autism 관련 paired functional MRI와 behavioral testing 데이터에서 heteroscedastic regression, deep ensembles, evidential regression, multimodal baseline 대비 예측 구간(coverage)과 point estimation 성능이 향상됨을 입증했다.

How

Figure 3. Model architecture for the inference networks. The auxiliary data in our experiments is assumed to be neuroima

• human rating과 auxiliary objective data가 공유하는 latent content representation을 정의
• data-conditioned prior를 갖는 latent uncertainty variable을 도입해 human rating의 fluctuation을 모델링
• objective data 중 content와 관련된 성분과 무관한 noise 성분을 구분하는 learnable feature-selection mask를 학습
• modality-appropriate neural encoder/decoder를 사용한 amortized variational inference로 posterior(latent content, uncertainty, mask)를 근사
• variational evidence lower bound(ELBO) 기반 objective로 전체 네트워크를 end-to-end 학습

Originality

• 반복 측정 없이 single-instance paired 데이터만으로 human rating의 item-level uncertainty를 추정하는 새로운 Bayesian graphical model 구조 제안
• rating uncertainty를 noise variance 예측이 아닌 data-conditioned prior를 갖는 explicit latent variable로 명시적으로 모델링한 점
• objective auxiliary data 내에서 content 관련 정보와 무관한 noise를 구분하는 learnable mask 메커니즘을 통해 우연한 데이터 노이즈와 실제 rating instability를 분리하려는 시도
• 이를 amortized variational inference로 확장 가능하게 구현

Limitation & Further Study

• 발췌된 abstract 및 introduction/method 초반부만으로는 실험적 세부사항(데이터 규모, baseline 비교의 통계적 유의성, hyperparameter 민감도)이 충분히 검증되었는지 판단하기 어려움
• fMRI-behavioral autism 데이터셋 하나에 대한 실증만 제시되어 일반화 가능성(다른 도메인, 다른 rating task)에 대한 추가 검증 필요
• learnable mask의 해석 가능성과 실제 임상적 타당성(어떤 feature가 선택되었는지에 대한 도메인 전문가 검증)에 대한 논의가 부족해 보임
• 후속 연구로 다양한 auxiliary modality 조합, 여러 rater 그룹 간 bias 차이를 반영한 확장 모델이 필요

Evaluation

총평: 반복 측정이 어려운 실제 임상 환경에서 human rating의 신뢰도를 정량화하는 실용적이고 원리적인 Bayesian 접근을 제시하며, synthetic 및 실제 fMRI-autism 데이터에서의 검증을 통해 방법론의 타당성을 뒷받침한 좋은 연구로 평가된다.