FlexMS: Benchmarking Deep Learning-Based Mass Spectrum Prediction Tools in Metabolomics

Motivation

• Known: 딥러닝 모델(CNN, Transformer, GNN 등)이 질량 스펙트럼 예측에 유망하지만, 서로 다른 실험 설정, 데이터셋, 전처리 방법으로 인해 모델 간 공정한 비교가 어렵다. 기존 도구들(ICEBERG, MassFormer 등)은 라이선스 제약, 높은 계산 비용, 재현성 문제가 있다.
• Gap: 표준화된 벤치마킹 프레임워크 부재로 인해 데이터셋 다양성, 하이퍼파라미터, 전이학습 등의 영향을 체계적으로 분석할 수 없고, 실무자들에게 구체적인 모델 선택 가이드가 없다.
• Why: 약물 발견과 신약 개발, 대사체학 연구에서 질량 스펙트럼 기반 분자 식별은 필수적이며, 이를 위해 신뢰할 수 있는 스펙트럼 예측 모델이 필요하다.
• Approach: FlexMS 프레임워크를 통해 다양한 분자 표현 방식(fingerprints, SMILES, graph 등), 모델 아키텍처, 하이퍼파라미터 조합을 유연하게 구성하고, 여러 공개 데이터셋(GNPS, MassBank, NPLIB1, MassSpecGym, CASMI)에서 일관된 평가 메트릭으로 성능을 비교한다.

Achievement

Fig. 2 Benchmark performance of different embedders and predictors. (a)The performance (cos similarity and Jensen-Shanno

• FlexMS 프레임워크 개발: 모듈화된 구조로 featurizer, embedder, predictor 조합을 자유롭게 구성 가능하며 재현성과 확장성을 보장
• 데이터셋 특성 분석: Tanimoto 유사도, Kolmogorov-Smirnov 검정을 활용하여 scaffold split과 random split의 구조적 다양성 차이를 정량화
• 체계적 성능 비교: 다양한 embedder-predictor 조합에 대해 multiple datasets에서 일관된 메트릭으로 벤치마킹 결과 제시
• 실험 요인 분석: 이온화 모드, 충돌 에너지, 데이터 희소성, 사전학습, 메타데이터 제거 등이 예측 성능에 미치는 영향 정량화
• 전이학습 평가: 도메인 간 전이학습(ionization mode, instrument type 등) 성능 분석으로 모델의 일반화 능력 검증

How

Fig. 1 Main components of FlexMS. We have developed a flexible framework, termed FlexMS, to systematically evaluate the

• Binned prediction 방식 채택: 연속 m/z 공간을 고정폭(1 Da) bin으로 이산화하여 multi-label regression 문제로 변환
• 다중 분자 표현 기법 구현: Morgan fingerprints, SMILES 기반 CNN, Transformer, GNN 등 다양한 embedder 지원
• 계층적 모델 아키텍처 설계: embedder에서 생성된 분자 표현을 MLP 계층으로 처리하여 스펙트럼 강도 예측
• 표준화된 데이터 전처리: GNPS, MassBank, NPLIB, MassSpecGym, CASMI 등 이질적 데이터셋을 일관된 형식으로 정규화
• 다양한 성능 메트릭 도입: cosine similarity, Spearman correlation, mean average precision, retrieval accuracy 등 포괄적 평가
• 구조적 분할 전략 비교: scaffold split(새로운 scaffold에 대한 일반화)과 random split(데이터 유출 위험) 성능 차이 분석
• 하이퍼파라미터 민감도 분석: 학습률, 배치 크기, 드롭아웃 등의 영향을 계통적으로 조사

Originality

• 처음으로 fragmentation prediction과 formula prediction이 아닌 binned prediction 방식을 벤치마킹의 중심으로 설정하여 다양한 모델 간 공정한 비교 가능
• 구조적 다양성 정량화: Tanimoto 유사도와 KS 검정을 결합하여 데이터셋 분할의 데이터 유출 위험을 정량적으로 평가
• 모듈화된 벤치마킹 프레임워크: featurizer, embedder, predictor를 독립적으로 조합 가능하게 설계하여 새로운 모델 추가 용이
• 다중 데이터셋 통합 평가: 5개의 이질적 공개 데이터셋을 통합하여 실제 분포 편향(distributional shift) 감지 및 모델 견고성 평가
• 도메인 전이학습 체계적 분석: 이온화 모드, 기기 종류 등 메타데이터 기반 전이학습 성능 분석으로 모델의 적응성 평가

Limitation & Further Study

• Binned prediction의 한계: 고해상도 m/z 정보 손실 및 해석성 부족으로 인해 fragmentation이나 formula prediction의 장점을 활용하지 못함
• 계산 비용 관점의 미흡: MassFormer와 같이 사전학습 모델 사용 시 계산 시간 단축에 대한 구체적 분석 부재
• 라이선스 제약 데이터셋 미포함: NIST20 등 상용 데이터셋을 공개 데이터셋으로만 벤치마킹하여 실제 산업 환경과의 갭 존재
• 메타데이터의 불완전성: 수집된 데이터셋의 메타데이터 품질 편차와 누락으로 인한 후속 분석의 제약
• 모델 아키텍처의 제한성: Graphormer 같은 최신 사전학습 모델이나 대규모 언어 모델 기반 접근법의 포함 부족
• 후속 연구 방향: (1) 실시간 질량 스펙트럼 예측을 위한 경량 모델 개발, (2) 희귀 화합물 클래스에 대한 few-shot learning 적용, (3) 멀티모달 학습(MS/MS + NMR 등) 통합, (4) 사전학습 모델의 전이학습 효율성 심층 분석

Evaluation

총평: FlexMS는 질량 스펙트럼 예측 분야에서 처음으로 표준화된 벤치마킹 프레임워크를 제공하여, 모델 간 공정한 비교와 실무 적용을 위한 구체적 가이드를 제시한다. 대사체학 및 약물 발견 커뮤니티의 중요한 기여이지만, 고해상도 예측과 실시간 성능의 개선이 향후 과제이다.