CalPro: Prior-Aware Evidential Conformal Prediction with Structure-Aware Sensitivity Bounds for Protein Structures

Motivation

• Known: AlphaFold의 pLDDT 등 confidence score는 정확도와 상관관계가 있지만 calibrated probability가 아니며, X-ray/cryo-EM 등 실험 modality 변화나 intrinsically disordered region에서 성능이 저하된다는 것이 알려져 있다. Conformal prediction은 distribution-free finite-sample coverage guarantee를 제공하지만 도메인별 prior를 반영하지 못하며, Bayesian ensemble이나 MC-dropout은 계산 비용이 크고 distribution shift에 취약하다.
• Gap: 기존 conformal prediction 방법들(split conformal, CQR, IW-CP, Loc-CP, DR-CP)은 단백질 구조의 biochemical prior(disorder, flexibility)를 활용하지 못하며, graph-based CP는 discrete node classification에 초점을 맞춰 residue-level regression에는 적합하지 않다. 또한 distribution shift 하에서 coverage degradation을 정량적으로 설명하는 structure-aware theoretical bound가 부재하다.
• Why: 단백질 구조 예측 결과가 molecular docking, variant prioritization 등 high-stakes 파이프라인에 점점 더 사용되면서, 신뢰할 수 있는 uncertainty quantification은 실험적 검증 리소스를 효율적으로 배분하고 잘못된 신뢰로 인한 하위 단계 오류를 방지하는 데 필수적이다.
• Approach: CalPro는 pretrained 구조 예측기 위에 post-hoc uncertainty layer로 동작하며, GNN 기반 evidential head로 NIG 파라미터를 출력하고 training 중 differentiable calibration surrogate로 표현을 형성한 뒤, test-time에 split-conformal calibration을 적용하고 prior-aware regularizer로 disorder/flexibility 정보를 uncertainty 예측에 soft하게 반영한다.

Achievement

Figure 2. Group-wise coverage for CalPro and baselines across

1. Coverage robustness: 여러 실험 modality 간 coverage degradation을 최대 5%p로 억제(baseline은 15~25%p).
2. Calibration 개선: calibration error(ECE 등)를 30%~50% 감소.
3. Downstream 활용성 향상: uncertainty 기반 필터링으로 docking 성공률을 52%에서 75%로 향상.
4. 범용성: 단백질 외 구조화된 regression task로도 확장 가능함을 입증(Appendix E.3).

How

Figure 3. Active selection: CalPro discovers high-value candidates

• residue를 노드로 하는 그래프 G(x)를 구성(서열 인접 또는 공간적 근접 기준으로 edge 연결)하고 pLDDT, pTM, distogram logits, PAE, secondary structure, solvent accessibility, ESM-2 embedding, IUPred2A disorder score, flexibility index 등을 노드 특징으로 사용.
• geometric evidential head gψ가 그래프와 prior feature ϕ(x)를 입력받아 NIG 파라미터 (µ, α, β, ν)를 출력하고, 이로부터 예측 표준편차 σ와 scale-adaptive nonconformity score si = |yi - µi|/(σi + ε)를 계산.
• 훈련 중 smooth log-sum-exp surrogate Qlse로 score 분포를 매끄럽게 형성하되, 실제 finite-sample coverage guarantee는 test-time split-conformal 단계에서만 확보.
• prior-aware regularizer Lprior로 disorder/flexibility 같은 prior 값이 클수록 예측된 epistemic variance u(x)가 최소값 이상이 되도록 monotone 제약을 부여.
• 전체 objective는 L = LNIG + λevid Levidence + λprior Lprior + λconf Lsoft-conf 형태로 결합, 하이퍼파라미터는 validation ECE로 설정.
• protein-level exchangeability를 가정한 split-conformal calibration을 수행하여, 단백질 단위 평균 score의 order statistic으로 conformal quantile을 산출.
• PAC-Bayesian control over Wasserstein ambiguity set을 이용해 model complexity와 shift magnitude에 따른 structure-aware sensitivity bound를 유도.

Originality

• priors-as-features와 priors-as-constraints를 명확히 구분하고, 후자의 regularizer가 group-wise uncertainty shaping에 필수적임을 ablation으로 입증한 점.
• evidential deep learning(NIG)과 differentiable calibration surrogate, split-conformal calibration을 하나의 파이프라인으로 결합한 최초의 hybrid 접근.
• 고전적 Lipschitz 기반 vacuous bound를 벗어나, PAC-Bayesian Wasserstein ambiguity set을 이용해 구조(GNN+prior) 의존적인 informative sensitivity bound를 유도한 이론적 기여.
• protein-level exchangeability를 고려한 conformal calibration 설계로 residue 간 상관성 문제를 완화.

Limitation & Further Study

• theoretical guarantee는 protein 단위 exchangeability 가정에 의존하며, 이 가정이 깨지는 상황(예: 매우 이질적인 protein family 분포)에서의 강건성은 추가 검증이 필요.
• PAC-Bayesian bound는 auxiliary sensitivity analysis로 제시되며, 실제 finite-sample coverage guarantee는 split-conformal에서만 exact하다는 이중 구조로 인해 이론적 해석의 통합성이 다소 제한적.
• bio-prior(IUPred2A, flexibility index) 자체의 정확도나 편향이 CalPro의 최종 성능에 미치는 영향에 대한 심층 분석이 부족.
• 본문 발췌만으로는 baseline 비교(IW-CP, Loc-CP, DR-CP 등)의 세부 실험 설정, 데이터셋 규모, 통계적 유의성 검증이 충분히 제시되지 않아 재현성 평가가 제한적.
• 향후 연구로 다양한 protein family, 더 큰 규모의 shift 시나리오, 그리고 다른 구조화된 regression 도메인에서의 일반화 검증이 필요.

Evaluation

총평: evidential learning, differentiable calibration, conformal prediction, domain prior를 통합하고 이론적 sensitivity bound까지 제시한 견고한 연구로, 단백질 구조 예측의 신뢰성 있는 uncertainty quantification에 실질적으로 기여한다. 다만 이론과 실험 검증의 일반화 범위에 대한 추가 검증이 향후 필요하다.