When should we trust the annotation? Selective prediction for molecular structure retrieval from mass spectra

Motivation

• Known: 머신러닝 기반 질량분석 분자 구조 검색 방법들(CSI:FingerID, MIST, JESTR 등)이 빠르게 발전했으나, 임상 대사체학이나 환경 스크리닝 같은 고위험 응용에서는 잘못된 식별의 심각한 후유증이 발생할 수 있다.
• Gap: 현재 방법들은 개별 예측의 신뢰도를 표현할 메커니즘이 없으며, fingerprint 수준 vs retrieval 수준 불확실성이 예측 신뢰도에 어떻게 영향하는지 체계적으로 평가된 적이 없다.
• Why: 임상 진단 오류는 대사 장애 진단을 지연시킬 수 있고, 환경 오염 규제 결정이 잘못된 주석에 의존할 수 있으므로, 신뢰 가능한 분자 식별을 위해서는 불확실성 인식 의사결정이 필수적이다.
• Approach: risk-coverage tradeoff 프레임워크 내에서 fingerprint 수준과 retrieval 수준의 불확실성 정량화 전략을 비교 평가하고, distribution-free risk control을 통해 명시된 오류율을 보장하는 통계적 보증을 제공한다.

Achievement

Fig. 3: Risk-coverage analysis for different scoring functions κ based on different uncertainty estimates as

• 첫 체계적 평가: 질량분석 분자 검색을 위한 선택적 예측의 첫 종합 경험적 평가 제시
• 불확실성 전략 비교: 첫 차 신뢰도 측정, aleatoric/epistemic 불확실성, 잠재 공간 거리 기반 측정을 포함한 광범위한 선택 함수 비교
• 실증적 발견: fingerprint 수준 불확실성은 검색 성공의 좋은 지표가 아니며, 계산 효율적인 retrieval 수준 confidence 측정이 Bayesian epistemic 불확실성을 능가함을 입증
• 통계적 보증: SGR 알고리즘을 통한 distribution-free risk control로 허용 오류율을 명시하고 고확률로 만족하는 주석 부분집합 획득 가능

How

Fig. 1: Overview of the selective prediction framework for molecular structure retrieval from tandem

• MassSpecGym 벤치마크에서 fingerprint 기반 분자 검색(f: X → [0,1]^D)과 유사도 함수 sim을 기반으로 실험
• Aleatoric 불확실성(데이터의 고유한 노이즈, 예: 동분체 구조)과 epistemic 불확실성(모델 한계)을 별도로 분석
• First-order confidence, Bayesian 근사(SWAG, MC dropout 등), 잠재 공간 거리 기반(OOD 검출) 등 다양한 선택 함수 비교
• Risk-coverage 곡선을 통해 임계값 τ에 따른 오류율-커버리지 트레이드오프 분석
• SGR 알고리즘으로 오류율 상한을 ε로 제어하고 몬테카를로 시뮬레이션으로 검증

Originality

• 질량분석 분자 검색 문제에 선택적 예측과 분포 자유 위험 제어를 처음 적용
• Fingerprint 수준과 retrieval 수준 불확실성을 구분하여 분석한 새로운 관점
• 고위험 임상/환경 응용의 실제 요구를 반영한 uncertainty-aware 의사결정 프레임워크 구성
• Epistemic 불확실성의 실제 효과가 제한적임을 실증적으로 보여주는 통찰력

Limitation & Further Study

• MassSpecGym 벤치마크에만 평가 제한 — 다른 MS/MS 데이터셋이나 instrument 유형에서 일반화 검증 필요
• Fingerprint 기반 방법만 평가 — 최신 joint embedding 방법(JESTR, GMLR)에 대한 포괄적 비교 부재
• 현실 분석 파이프라인에서의 계산 오버헤드 정량화 미흡 — 실무 배포 시 속도-신뢰도 트레이드오프 상세 분석 필요
• 후속 연구: (1) 여러 데이터셋/기관 간 외부 검증, (2) 적응형 임계값 선택, (3) 거부된 샘플에 대한 능동 학습 전략, (4) de novo 구조 해석과 선택적 예측의 결합

Evaluation

총평: 질량분석 기반 분자 식별의 신뢰성 문제를 선택적 예측으로 처음 체계적으로 다루며, 실증적 분석을 통해 계산 효율성과 통계적 보증의 실용적 균형을 제시한 우수한 연구이다. 임상/환경 응용의 안전성 요구를 충족하는 uncertainty-aware 프레임워크의 모범이 된다.