Bi-semantic Chemical Embedder for Joint Representation Learning of SMILES and Natural Language

Motivation

• Known: SMILES 기반 transformer 모델(ChemBERTa, RXNFP 등)은 분자 구조 표현 학습에 강력한 baseline을 제공해왔으며, 일반 언어모델에 도메인 특화 continued pre-training을 적용해 화학 도메인에 적응시키는 방법도 널리 연구되어 왔다.
• Gap: 기존 SMILES 특화 모델은 화학 구문(syntax)에 overfitting되어 일반 과학 언어 이해 능력을 catastrophic forgetting하며, 짧은 SMILES 입력에 최적화되어 짧은 context window에 architecturally 제한되어 있어 장문 과학 문헌 내 구조-맥락 결합 표현 학습이 어렵다.
• Why: 분자 구조와 과학 자연어를 동시에 잘 표현하는 encoder는 property prediction과 과학 언어 이해를 모두 요구하는 실제 화학 정보 검색·유사도 탐색 응용에서 필수적이지만, 이러한 encoder 중심 bi-semantic 표현 학습은 아직 충분히 탐구되지 않은 영역이다.
• Approach: FineWeb과 ChemPile에서 구축한 21.9B 토큰 규모의 SMILES-주석 장문 과학 문서 코퍼스로 continued MLM을 수행한 뒤, 동일 코퍼스에서 알고리즘적으로 유도한 SMILES-텍스트 쌍을 이용해 MNRL 기반 Matryoshka contrastive learning을 적용하는 2단계 학습 전략을 사용했다.

Achievement

Figure 3. Per-modality Demˇsar critical-difference (CD) diagrams over 20 cross-validation folds (Friedman omnibus + post

1. 대규모 SMILES 주입 파이프라인 구축: 화학 개체명 인식(NER), 공개 데이터베이스 기반 구조 해석, RDKit을 이용한 canonicalization을 결합한 다단계 자동화 파이프라인을 약 14.4M개의 중복 제거된 문서에 적용하여 21.9B 토큰 규모의 사전학습 코퍼스를 생성했다.
2. 비용-예산 기반 분산 배치 샘플러 개발: 이질적인 문서 길이 변동성 문제를 해결하기 위해 raw-token budget, padded-token memory cap, quadratic cost ceiling을 동시에 강제하고 DDP-aware group-balancing을 결합한 BalancedTokenBatchSampler를 제안, naive batching 대비 padding overhead를 최대 50% 절감하고 GPU 활용률을 최대 30% 향상시켰다.
3. bi-semantic 순차 학습 파이프라인 제시: SMILES를 별도 모달리티가 아니라 화학 개체 언급 위치에 자연어 문서와 엮어 넣어, MLM이 구조 토큰과 텍스트 토큰을 상호 예측하도록 하고, 이후 contrastive learning으로 임베딩을 정제하는 새로운 학습 전략을 도입했다.
4. 다목적 벤치마크 구축 및 경쟁력 있는 성능 입증: 26개 분류와 22개 회귀 과제를 포함한 48개 평가 데이터셋에서 CheMatE가 특화 화학 모델과 범용 encoder baseline 양쪽 모두에서 상위권 성능을 동시에 달성한 유일한 모델임을 보였다.

How

Figure 2. Distribution of sample lengths and SMILES content in the CheMatE MLM training corpus. The left and middle pane

• ModernBERT 백본 초기화 후 8,192 토큰 context length를 지원하도록 확장
• ChemPile-Papers(11.45B 토큰)과 FineWeb-EDU를 포함한 14.4M 문서를 화학 NER, 구조 해석, RDKit canonicalization으로 처리하여 SMILES를 텍스트 내 화학 개체 언급 위치에 삽입
• 1단계: 혼합 SMILES-텍스트 시퀀스에 대해 continued masked language modeling(MLM) 수행
• 2단계: 원본 코퍼스에서 화학 내용 유사도 기반으로 합성한 SMILES-텍스트 쌍을 이용해 Multiple Negative Ranking Loss(MNRL) 기반 Matryoshka contrastive learning 수행
• BalancedTokenBatchSampler로 multi-node GH200 하드웨어에서 효율적 분산 학습 수행
• 20개의 cross-validation 기반 분류/회귀 벤치마크에서 Demšar critical-difference diagram과 Tukey HSD 신뢰구간을 이용해 통계적으로 성능 비교

Originality

• SMILES를 별도 모달리티로 다루지 않고 자연어 문서 내 화학 개체 언급 위치에 직접 삽입하여 단일 토큰 시퀀스 상에서 MLM을 수행하는 bi-semantic weaving 방식은 기존 생성형 bi-modal 접근과 차별화된 encoder 중심 설계이다.
• 장문 과학 문헌(최대 8,192 토큰)에 SMILES를 자동 주입하는 대규모 파이프라인과 21.9B 토큰 규모 코퍼스는 기존 짧은 SMILES 중심 데이터셋과 뚜렷이 구분되는 자원이다.
• 이질적 시퀀스 길이 문제를 다차원 제약(raw-token budget, padded-token cap, quadratic cost ceiling)과 DDP 인지 균형화로 동시에 해결하는 BalancedTokenBatchSampler는 실용적 시스템 수준의 기여이다.

Limitation & Further Study

• 초록과 발췌에는 SMILES 주입 정확도(개체 인식 오류나 잘못된 구조 매핑 가능성)에 대한 정량적 검증이 명확히 드러나지 않아, 자동 파이프라인이 생성한 학습 신호의 노이즈 수준이 불확실하다.
• 합성 contrastive 쌍이 유사도 기반 알고리즘으로 생성되므로, 실제 화학적 의미 관계를 얼마나 충실히 반영하는지에 대한 검증이 부족할 수 있다.
• 벤치마크 비교가 주로 통계적 유의성(Demšar CD, Tukey HSD)에 의존하는데, 실제 하위 downstream 응용(예: 실제 창약 파이프라인)에서의 실용적 이득에 대한 논의가 제한적일 수 있다.
• 후속 연구로는 다양한 언어·데이터셋 편향에 대한 robustness 분석과, 반응(reaction) SMILES 등 더 복잡한 화학 표현으로의 확장이 필요해 보인다.

Evaluation

총평: SMILES와 자연어를 하나의 토큰 시퀀스로 엮어 장문 맥락에서 bi-semantic 표현을 학습시키는 접근은 참신하고 실용적이며, 대규모 데이터 구축과 시스템 최적화까지 포함한 완성도 높은 연구로 평가된다. 다만 자동화된 SMILES 주입과 합성 대조쌍의 품질 검증이 보강되면 신뢰도가 더욱 높아질 것이다.