DELBERT-2: Pretrained Fingerprint Language Models for DEL Protein Binder Prediction

Motivation

Known: DEL 스크리닝은 저비용으로 수십억 개 화합물을 빠르게 스크리닝할 수 있는 기술이며, AIRCHECK 같은 공개 DEL 데이터셋이 DEL-ML 가상 스크리닝 연구를 가능하게 하고 있다. SMILES 기반 transformer(MOLBERT, ChemBERTa, MoLFormer)나 그래프 기반 인코더가 분자 표현학습에서 발전해왔고, fingerprint 기반 LightGBM 등 tree-based ensemble 모델이 DEL 가상 스크리닝에서 널리 쓰인다.
Gap: AIRCHECK 등 공개 DEL 데이터셋은 독점 구조 보호를 위해 fingerprint만 공개하므로 SMILES/그래프 기반 인코더를 사용할 수 없고, 기존 fingerprint 기반 접근은 supervised tree-based 모델에 의존하여 비지도 데이터를 활용한 self-supervised learning이 불가능하다. 또한 현재 DEL-ML 모델들은 unseen library, unseen building block, 화학적으로 새로운 영역 등 훈련 분포와 다른 화합물에 대해 일반화하지 못하는 OOD 문제가 핵심 한계로 남아있다.
Why: fingerprint만 공개되는 DEL 데이터의 특성상 self-supervised fingerprint language model은 구조 정보 없이도 대규모 비지도 데이터를 활용해 표현학습을 할 수 있는 유일한 대안이며, distribution shift 하에서의 hit prioritization 성능 향상은 실제 신약 후보 물질 발굴의 실용성에 직결된다.
Approach: 2.5M개 분자로 구성된 AIRCHECK DEL corpus 전체에 대해 fingerprint를 토큰화하여 ModernBERT 기반 encoder를 MLM으로 통합 사전학습한 뒤, LoRA를 이용해 6개 타겟별로 fine-tuning하고 세 가지 OOD 프로토콜(hierarchy, library, building-block split)로 평가한다.

Achievement

PR-AUC 및 NDCG@1000 향상: WDR91, WDR12, SETDB1, PLCZ1, LRRK2, DCAF7 6개 타겟에서 LightGBM ensemble 및 처음부터 학습한 transformer 대비 일관되게 PR-AUC와 NDCG@1000이 향상되었으며, 특히 엄격한 OOD 환경에서 개선폭이 가장 컸다.
Enrichment factor 개선: top-100 기준 enrichment factor가 pretraining 없는 경우 12.36±3.75 대비 DELBERT-2는 13.28±3.72로 통계적으로 유의미하게(p=0.040) 7.4% 개선되었고, 무작위 선택 대비 13배 enrichment를 달성했다.
세 가지 OOD 평가 프로토콜 제안: hierarchical cluster split(화학적 novelty), library split(cross-library transfer), building-block split(compositional generalization)이라는 상호보완적 평가 체계를 도입해 실제 DEL 가상 스크리닝의 주요 실패 모드를 체계적으로 평가할 수 있게 했다.

How

Fingerprint tokenization: ECFP4/6, FCFP4/6, AtomPair, TopTor, MACCS 등 여러 종류의 pre-computed sparse fingerprint에서 활성화된 각 bit를 fp_pos_val 형태의 discrete token으로 변환하여 가변 길이 시퀀스로 통합
Pretraining: 2.5M개 unlabeled AIRCHECK DEL 분자에 대해 ModernBERT encoder를 MLM 목적함수로 사전학습(target별 500K가 아닌 corpus 전체 unified pretraining)
Fine-tuning: 사전학습된 encoder를 LoRA로 6개 타겟별 binder 예측 downstream task에 맞춰 효율적으로 미세조정
평가: hierarchy split(Tanimoto 유사도 기준 clustering), library split(cross-library transfer), building-block split(구성 요소 조합 일반화)의 세 가지 OOD 프로토콜과 PR-AUC, NDCG@1000, enrichment factor 지표로 성능 비교

Originality

Fingerprint만 공개된 DEL 데이터 특성에 맞춰 SMILES/그래프 인코더 대신 fingerprint 자체를 언어처럼 토큰화하여 self-supervised MLM 사전학습을 적용한 최초의 접근 중 하나로, 기존 supervised tree-based 방식의 한계를 극복
기존 per-target pretraining(500K 분자) 대비 AIRCHECK 전체 corpus(2.5M 분자)를 이용한 unified pretraining으로 확장하여 cross-target transfer learning을 개선
화학적 novelty, cross-library transfer, compositional generalization을 각각 별도로 평가하는 세 가지 상호보완적 OOD 프로토콜을 체계적으로 설계하여 DEL-ML 실패 모드를 다각도로 진단

Limitation & Further Study

Abstract 및 발췌된 본문만으로는 세부 모델 아키텍처, 하이퍼파라미터, baseline 비교의 통계적 검증력(6개 타겟이라는 비교적 적은 수)에 대한 상세 분석이 제한적으로 확인됨
6개 타겟에 국한된 평가로 더 넓은 범위의 단백질 패밀리 및 화합물 공간에 대한 일반화 여부는 추가 검증이 필요
enrichment factor 개선폭(7.4%)이 통계적으로 유의하지만 절대적 크기는 크지 않아 실제 스크리닝 파이프라인에서의 비용 대비 효익에 대한 추가 검증이 요구됨
향후 연구로 더 많은 타겟과 fingerprint 유형에 대한 확장, 다른 self-supervised objective(contrastive learning 등)와의 결합 가능성 탐색이 필요

같이 보면 좋은 논문

Developing ChemDFM as a large language foundation model for chemistry

기반 연구SPECTER2 유사도 0.94로 Computational Molecular Design와 AI-Driven Drug and Materials Discovery가 맞닿아, 'Developing ChemDFM as a large language foundation model for chemistry'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

다른 접근특정 도메인 특화 LLM 개발에 대한 다른 접근 방식을 제시한다.

Hallucinations can improve large language models in drug discovery

기반 연구SPECTER2 유사도 0.93로 Computational Molecular Design와 AI-Driven Drug and Materials Discovery가 맞닿아, 'Hallucinations can improve large language models in drug discovery'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Explicit representation of germline and non-germline residues improves antibody language modeling

기반 연구germline/non-germline 구분 개념을 확장하여 항체 기능 예측에 활용한다.

다른 접근DEL 라이브러리 예측을 위한 유사한 encoder 기반 사전학습 방법이다.

LeFlur: A Biomolecular Design Model with Latent Structure Tokens

기반 연구분자 fingerprint 기반 사전학습의 기초 방법론을 제공함

다른 접근discrete token 기반 구조-서열 통합 생성 모델의 기초를 제공함.

ChemFlow: A Hierarchical Neural Network for Multiscale Representation Learning in Chemical Mixtures

기반 연구다중스케일 분자 표현 학습을 확장하는 관련 연구이다.

Do Larger Models Really Win in Drug Discovery? A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction

기반 연구SPECTER2 유사도 0.93로 Computational Molecular Design와 Molecular Simulation and Generative Modeling가 맞닿아, 'Do Larger Models Really Win in Drug Discovery? A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Self-Distillation for Continual Learning in Masked Language Models

다른 접근DEL 스크리닝을 위한 다른 사전학습 언어모델 접근법을 제시함

TasteBench: multimodal benchmark for sensory prediction, from molecules to sustainable foods

다른 접근향미 예측을 위한 대안적 분자 기반 분류 접근

Empirical Observations on Parameter Scaling in Chemical Language Models

다른 접근동일한 파라미터 스케일링 문제를 다른 모델 계열로 분석한다.

FRIGID: Scaling Diffusion-Based Molecular Generation from Mass Spectra at Training and Inference Time

다른 접근질량 스펙트럼 기반 분자 생성에 대한 다른 생성 모델 접근

DecoderTCR: Compositional Pretraining and Entropy-Guided Decoding for TCR-pMHC Interactions

후속 연구molecular language model을 LoRA로 fine-tuning하는 확장된 방법론을 공유한다.