When should we trust the annotation? Selective prediction for molecular structure retrieval from mass spectra

Essence

Fig. 1: Overview of the selective prediction framework for molecular structure retrieval from tandem

질량분석기 스펙트럼에서 분자 구조를 검색할 때 어떤 예측을 신뢰할 수 있는지 판단하기 위해 선택적 예측(selective prediction) 프레임워크를 제안하고, 불확실성 정량화 전략을 체계적으로 평가한다.

Motivation

Known: 머신러닝 기반 질량분석 분자 구조 검색 방법들(CSI:FingerID, MIST, JESTR 등)이 빠르게 발전했으나, 임상 대사체학이나 환경 스크리닝 같은 고위험 응용에서는 잘못된 식별의 심각한 후유증이 발생할 수 있다.
Gap: 현재 방법들은 개별 예측의 신뢰도를 표현할 메커니즘이 없으며, fingerprint 수준 vs retrieval 수준 불확실성이 예측 신뢰도에 어떻게 영향하는지 체계적으로 평가된 적이 없다.
Why: 임상 진단 오류는 대사 장애 진단을 지연시킬 수 있고, 환경 오염 규제 결정이 잘못된 주석에 의존할 수 있으므로, 신뢰 가능한 분자 식별을 위해서는 불확실성 인식 의사결정이 필수적이다.
Approach: risk-coverage tradeoff 프레임워크 내에서 fingerprint 수준과 retrieval 수준의 불확실성 정량화 전략을 비교 평가하고, distribution-free risk control을 통해 명시된 오류율을 보장하는 통계적 보증을 제공한다.

Achievement

Fig. 3: Risk-coverage analysis for different scoring functions κ based on different uncertainty estimates as

첫 체계적 평가: 질량분석 분자 검색을 위한 선택적 예측의 첫 종합 경험적 평가 제시
불확실성 전략 비교: 첫 차 신뢰도 측정, aleatoric/epistemic 불확실성, 잠재 공간 거리 기반 측정을 포함한 광범위한 선택 함수 비교
실증적 발견: fingerprint 수준 불확실성은 검색 성공의 좋은 지표가 아니며, 계산 효율적인 retrieval 수준 confidence 측정이 Bayesian epistemic 불확실성을 능가함을 입증
통계적 보증: SGR 알고리즘을 통한 distribution-free risk control로 허용 오류율을 명시하고 고확률로 만족하는 주석 부분집합 획득 가능

How

Fig. 1: Overview of the selective prediction framework for molecular structure retrieval from tandem

MassSpecGym 벤치마크에서 fingerprint 기반 분자 검색(f: X → [0,1]^D)과 유사도 함수 sim을 기반으로 실험
Aleatoric 불확실성(데이터의 고유한 노이즈, 예: 동분체 구조)과 epistemic 불확실성(모델 한계)을 별도로 분석
First-order confidence, Bayesian 근사(SWAG, MC dropout 등), 잠재 공간 거리 기반(OOD 검출) 등 다양한 선택 함수 비교
Risk-coverage 곡선을 통해 임계값 τ에 따른 오류율-커버리지 트레이드오프 분석
SGR 알고리즘으로 오류율 상한을 ε로 제어하고 몬테카를로 시뮬레이션으로 검증

Originality

질량분석 분자 검색 문제에 선택적 예측과 분포 자유 위험 제어를 처음 적용
Fingerprint 수준과 retrieval 수준 불확실성을 구분하여 분석한 새로운 관점
고위험 임상/환경 응용의 실제 요구를 반영한 uncertainty-aware 의사결정 프레임워크 구성
Epistemic 불확실성의 실제 효과가 제한적임을 실증적으로 보여주는 통찰력

Limitation & Further Study

MassSpecGym 벤치마크에만 평가 제한 — 다른 MS/MS 데이터셋이나 instrument 유형에서 일반화 검증 필요
Fingerprint 기반 방법만 평가 — 최신 joint embedding 방법(JESTR, GMLR)에 대한 포괄적 비교 부재
현실 분석 파이프라인에서의 계산 오버헤드 정량화 미흡 — 실무 배포 시 속도-신뢰도 트레이드오프 상세 분석 필요
후속 연구: (1) 여러 데이터셋/기관 간 외부 검증, (2) 적응형 임계값 선택, (3) 거부된 샘플에 대한 능동 학습 전략, (4) de novo 구조 해석과 선택적 예측의 결합

Evaluation

Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: 질량분석 기반 분자 식별의 신뢰성 문제를 선택적 예측으로 처음 체계적으로 다루며, 실증적 분석을 통해 계산 효율성과 통계적 보증의 실용적 균형을 제시한 우수한 연구이다. 임상/환경 응용의 안전성 요구를 충족하는 uncertainty-aware 프레임워크의 모범이 된다.

같이 보면 좋은 논문

FRIGID: Scaling Diffusion-Based Molecular Generation from Mass Spectra at Training and Inference Time

기반 연구불확실성 정량화 전략의 이론적 기반을 제공하는 선행 연구이다.

후속 연구SPECTER2 유사도 0.92로 Computational Molecular Design와 Molecular Simulation and Generative Modeling가 맞닿아, 'When should we trust the annotation? Selective prediction for molecular structure retrieval from mass spectra'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

FlexMS: Benchmarking Deep Learning-Based Mass Spectrum Prediction Tools in Metabolomics

기반 연구불확실성 정량화 전략의 방법론적 기반을 제공한다.

Peak Risk Score: A Peak-Space Verification Layer for AI Scientists in NMR-Guided Molecular Discovery

다른 접근질량분석 스펙트럼 예측 신뢰도 평가를 위한 다른 불확실성 정량화 방법을 제안한다.

후속 연구SPECTER2 유사도 0.93로 Computational Molecular Design와 Molecular Simulation and Generative Modeling가 맞닿아, 'When should we trust the annotation? Selective prediction for molecular structure retrieval from mass spectra'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Do Larger Models Really Win in Drug Discovery? A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction

응용 사례실제 질량분석 데이터에 선택적 예측 기법을 적용한 사례이다.