Bolek: A Multimodal Language Model for Molecular Reasoning

Motivation

• Known: 일반 LLM은 분자 구조를 SMILES만으로는 제대로 이해하지 못하고 화학적 근거 없이 유창한 설명을 생성하며, 기존 멀티모달 분자 모델은 설명보다는 descriptive prose에 중점을 둔다.
• Gap: 고위험 분자 발견 응용에서 정확한 예측뿐 아니라 분자 구조에 대해 검증 가능한 화학적 근거를 제시할 수 있는 모델이 부족하다.
• Why: 의약화학자와 약리학자는 점수나 유창한 설명이 아닌 구체적인 수치 근거(logP, TPSA 등)에 기반한 검증 가능한 추론이 필요하며, 이는 신약 개발의 의사결정과 모델 신뢰도에 직결된다.
• Approach: Morgan fingerprint를 학습된 projector를 통해 Qwen3-4B-Instruct의 text decoder에 주입하고, 분자 설명·RDKit descriptor 예측·부분구조 탐지 등의 alignment 태스크와 문헌 기반 합성 chain-of-thought로 감독된 15개 TDC 이진 분류 태스크에서 joint fine-tuning을 수행한다.

Achievement

Figure 1: Groundedness of CoT rationales. (A) BOLEK mentions the canonical physicochemical descriptors (TPSA,

• 성능 우월성: 15개 downstream 태스크 모두에서 Qwen3-4B-Instruct를 능가(mean ROC/PR AUC 0.55→0.76)하고, 13/15 태스크에서 chemistry-specialist TxGemma-9B-Chat을 초과 성능 달성(모델 크기는 절반 미만)
• 접지된 추론: chain-of-thought에서 구체적인 수치 descriptor를 다른 LLM 대비 10–100배 더 자주 인용하며, 인용값이 RDKit과 강한 일치도 달성(TPSA, MolLogP, MolWt에서 Spearman ρ = 0.87–0.91)
• 일반화 능력: 학습하지 않은 15개 TDC classification endpoint에서 TxGemma와 동등 성능(5/15 태스크), 학습 중 회귀 태스크를 보지 못했음에도 3개 held-out regression endpoint에서 비자명한 rank correlation 달성

How

• Morgan fingerprint embedding을 고정된 입력 토큰으로 사용하고 learned projector를 통해 Qwen3-4B-Instruct와 연결
• 850,000개 이상 분자에 대해 자연언어 설명(지질친화성, 극성, 입자화, 입체화학), 1,403개 부분구조 패턴 탐지, 88개 RDKit/Mordred descriptor 회귀 등 세 가지 alignment 태스크 수행
• 문헌 유래 mechanistic prior와 각 분자 단편의 화학 정보, task 관련 descriptor의 명시적 수치값을 결합한 합성 chain-of-thought로 downstream 태스크 감독
• Single supervised fine-tuning phase로 모든 alignment 및 downstream 태스크에 대해 joint 학습

Originality

• Morgan fingerprint의 minimal하고 fixed한 사용으로 encoder 설계의 복잡성을 제거하면서도 경쟁력 있는 성능 달성—기존 LLM-native multimodal 모델들의 복잡한 graph encoder/Q-Former/3D conformer 설계와 차별화
• 분자 설명 중심의 alignment에서 벗어나 RDKit descriptor와 부분구조 탐지 같은 검증 가능한 화학적 특징에 기반한 alignment 목표 수립
• 문헌 기반 mechanistic prior를 포함한 합성 chain-of-thought 감독으로 '유창한 거짓'이 아닌 화학적으로 접지된 추론 강제", 'Compact 아키텍처임에도 unseen task에 대한 일반화 능력 검증(held-out regression endpoint에서의 non-trivial correlation)

Limitation & Further Study

• Morgan fingerprint은 2D 구조 정보만 인코딩하므로 3D 입체화학 정보 손실 가능성
• Alignment 데이터와 downstream 평가 모두 TDC 이진 분류 및 회귀 태스크로 제한—실제 약물 발견 파이프라인의 다양한 작업(retro-synthesis, virtual screening 등)에서의 성능 미평가
• RDKit descriptor와의 일치도가 높지만(ρ = 0.87–0.91), 일부 descriptor에서의 편차 원인 및 개선 방안 미제시
• 향후 연구: 3D encoder와의 결합, 더 복잡한 멀티홉 화학 추론 태스크 확대, real-world 의약화학 스트림과의 협력 평가, tool-calling agent로의 통합

Evaluation

총평: BOLEK은 minimal multimodal 설계와 검증 가능한 화학적 특징 기반 alignment 감독이라는 핵심 혁신으로, 해석가능성과 성능을 모두 갖춘 compact 분자 추론 모델의 실현 가능성을 입증한다. 특히 다른 LLM 대비 10–100배 높은 descriptor 인용률과 약 90% 수준의 일치도는 고위험 의약 응용에 필수적인 '검증 가능한 설명'을 처음으로 체계적으로 달성하였음을 보여준다.