$\texttt{PRISM}$:A 3D Probabilistic Neural Representation for Interpretable Shape Modeling

Motivation

• Known: 기존 통계적 형태 모델링(SSM)은 PCA 기반 point distribution model이나 LDDMM/Deformetrica 같은 diffeomorphic atlas 기법을 통해 공변량에 따른 해부학적 변화를 모델링하며, NAISR과 같은 최근 neural implicit 방법은 공변량 조건화된 고품질 변형을 생성한다.
• Gap: NAISR 등 neural implicit 방법은 결정론적(deterministic)이어서 불확실성을 제공하지 못하고, 고전적 diffeomorphic atlas 방법들은 momenta/velocity 같은 tangent parameter space에서만 변동성을 모델링하여 해부학적 이미지 도메인에서 pointwise aleatoric uncertainty를 closed-form으로 얻기 어렵고 Monte Carlo 같은 계산 비용이 큰 numerical resampling에 의존해야 한다.
• Why: 공변량에 따른 해부학적 형태 변화와 그 공간적 불확실성을 정확히 정량화하는 것은 정상 발달과 병리적 발달을 구분하고, 개인화된 임상 평가 및 이상 탐지(anomaly detection)를 가능하게 하는 데 필수적이다.
• Approach: PRISM은 형태 변형을 연속적인 heteroscedastic Gaussian field로 모델링하고, 신경망이 평균 궤적 μ(p,t)와 공분산 Σ(p,t)를 추정하도록 하며, automatic differentiation을 통해 계산되는 closed-form Fisher Information metric으로 임의 위치에서의 시간적 불확실성을 정량화한다.

Achievement

Figure 3. Visual comparison of uncertainty-aware shape recon-

1. 조건부 확률적 implicit field: cross-sectional 데이터로부터 평균 발달 궤적과 공간적으로 변화하는 population variability를 동시에 모델링하는 프레임워크를 제안함.
2. closed-form Fisher Information metric: automatic differentiation을 이용해 효율적이고 analytically tractable한 local temporal uncertainty quantification을 제공하는 이론적 기여를 이룸.
3. amortized inverse encoder: test-time optimization 없이 local shape로부터 intrinsic developmental time을 추정하는 인코더를 도입함.
4. 다양한 downstream task에서 성능 입증: 3개의 synthetic 데이터셋과 1개의 clinical 데이터셋에서 shape evolution modeling, intrinsic time inference, personalized shape prediction, OOD/anomaly detection 등 다양한 과제에서 state-of-the-art 대비 우수한 성능과 임상적으로 유의미한 해석 가능한 불확실성 추정치를 제공함.

How

Figure 1. Overview of the PRISM framework. (a) illustrates the population distribution of developmental stages (e.g., ph

• 템플릿 형태 T와 변위 필드 ϕ_i(p)를 이용해 각 개체의 형태 Y_i를 canonical domain Ω 상의 좌표 p에 대한 displacement d로 표현함.
• 신경망 f(p,t)가 각 point p와 covariate t에서 평균 μ(p,t)와 총 분산 Σ(p,t)를 예측하도록 학습하여 조건부 분포 p(d|p,t)를 모델링함.
• Disentanglement 구조를 통해 intrinsic shape attribute(τ와 독립적인 orange plate 요소)와 developmental progression에 따른 변동을 구분함.
• 학습된 μ, Σ로부터 automatic differentiation을 통해 Fisher Information metric(∂μ/∂t 기반)을 계산하여 local temporal uncertainty를 얻음.
• Inverse Encoder를 amortized 방식으로 학습시켜, 관찰된 template query point p와 displacement d로부터 intrinsic time τ̂ = argmax_τ p(d|p,τ)를 추론함.
• 이를 기반으로 population-level shape trajectory 생성, individual time inference, shape transfer(미래 형태 예측), OOD detection 등 다양한 downstream task를 하나의 통합 프레임워크로 수행함.

Originality

• neural implicit shape representation과 information geometry(Fisher Information)를 결합하여 해부학적 도메인 상에서 직접적으로 spatially heteroscedastic uncertainty field를 closed-form으로 도출한 최초의 시도로 보임.
• 기존 diffeomorphic atlas 방법들이 parameter space(momenta/velocity)에서만 불확실성을 다루던 것과 달리, image/anatomical domain에서 직접 covariate-conditioned aleatoric uncertainty를 제공하는 점이 독창적임.
• amortized inverse encoder를 통해 test-time optimization 없이 intrinsic developmental time을 추정하는 설계가 실용적 novelty를 더함.
• 단일 프레임워크로 shape evolution modeling, time inference, personalized prediction, anomaly detection을 통합 지원하는 versatility가 특징적임.

Limitation & Further Study

• 논문 발췌 내용상 Fisher Information metric의 정확한 수식적 유도와 가정(예: Gaussian field의 타당성, covariate와 시간 t의 관계에 대한 가정)이 실제 복잡한 임상 데이터에서 얼마나 견고한지에 대한 논의가 제한적으로 보임.
• 템플릿 T를 고정된 canonical reference로 가정하는 점이 템플릿 선택에 따른 편향(bias)이나 large deformation, topology 변화가 있는 경우의 한계로 이어질 수 있음.
• clinical dataset이 1개로 제한되어 있어 다양한 임상 상황이나 질환에 대한 일반화 가능성 검증이 추가로 필요함.
• epistemic uncertainty(모델 불확실성)는 다루지 않고 aleatoric uncertainty에 초점을 맞추고 있어, 데이터가 부족한 영역에서의 모델 신뢰도 평가는 추가 연구가 필요함.

Evaluation

총평: 해부학적 형태 모델링에서 공변량 조건화된 불확실성을 closed-form으로 추정하는 이론적으로 탄탄하고 임상적으로 유용한 프레임워크를 제시한 견고한 연구로, neural implicit representation과 information geometry의 결합이라는 독창적 접근이 인상적이다.