Evaluating the Progression of Large Language Model Capabilities for Small-Molecule Drug Design

Motivation

• Known: LLM 기반 에이전트가 target identification, lead optimization, toxicity prediction 등 다양한 drug discovery 맥락에 적용되고 있으며, frontier LLM들이 chemistry/biology 관련 fundamental task에서 한계를 보인다는 점, 그리고 reasoning 능력을 향상시키기 위한 RL post-training이나 특수 encoder 결합 시도(ether0, Fallahpour et al. 등)가 존재한다는 것이 알려져 있다.
• Gap: 기존 연구들은 실제 drug discovery 시나리오를 반영하는 벤치마크가 부족하고, LLM의 화학적 추론 능력을 체계적으로 평가하거나 이를 post-training과 통합하는 통일된 프레임워크가 없었으며, 특히 복잡한 multi-step molecular optimization 루틴에서의 능력 향상 효과는 검증되지 않았다.
• Why: LLM을 drug discovery agent에 실질적으로 활용하기 위해서는 현재 및 미래 모델의 화학적 능력 수준을 정확히 파악하고, 취약한 부분을 구체적으로 겨냥해 개선하는 실용적 경로가 필요하기 때문에 중요하다.
• Approach: molecular property prediction, molecular representation transformation, molecular design을 아우르는 화학 기반 태스크 suite를 RL environment로 구성하여, GPT-5, Claude Opus 4, Qwen3-30B-A3B 세 모델 패밀리의 능력 진화를 평가하고 RL 기반 post-training의 효과를 검증한다.

Achievement

Figure 3. Mean best docking score over 20 optimization turns for

1. 모델 세대별 능력 향상 확인: 세 모델 패밀리(GPT-5, Claude Opus 4, Qwen3-30B-A3B) 모두에서 후속 모델 세대가 화학 태스크에서 점진적으로 더 우수한 성능을 보임을 확인했다.
2. 저데이터 실험 환경의 한계 발견: FS-Mol, 내부 potency/DMPK 데이터셋 등 실제 실험 데이터 기반의 low-data 환경에서는 frontier 모델과 post-trained 모델 모두 여전히 크게 개선의 여지가 있음을 규명했다.
3. RL post-training을 통한 소형 모델 경쟁력 확보: Qwen3-30B-A3B-Thinking-2507을 자체 RL environment로 post-train한 Aspen 모델이, 훨씬 약한 base model임에도 multi-turn molecular design(lead optimization 시뮬레이션) 태스크에서 state-of-the-art frontier model과 경쟁력 있는 성능을 달성했다.
4. 통합 RL environment 프레임워크 제시: 평가와 post-training을 동일한 environment 구조로 통합함으로써, 능력 격차를 파악함과 동시에 이를 직접 좁힐 수 있는 실용적 방법론을 제시했다.

How

Figure 1. Reward trajectories over global step during one epoch of RL post-training of Qwen3-30B-A3B-Thinking-2507. Tota

• RDKit property prediction, experimental prediction(potency, DMPK, FS-Mol), multiple choice, representation transformation(SMILES, IUPAC, Molecular Formula, Tautomer, Protomer, Murcko Scaffold), multiproperty constrained generation, 기타(substructure classification, reaction outcome prediction, MCS-identification) 등 6개 그룹의 태스크를 구성함
• experimental prediction에서는 HDBSCAN 클러스터링과 maximum common substructure(MCS)의 Dice similarity를 이용해 in-context 분자들이 query 분자와 동일 클러스터에 속하도록 설계함
• 각 태스크에 맞는 reward function(예측 오차 스케일링 reward, binary correctness reward, similarity reward, 제약조건 만족 비율 reward)을 정의하여 RL environment로 정식화함
• HuggingFace trl의 GRPOTrainer와 DAPO loss를 사용해 Qwen3-30B-A3B-Thinking-2507을 SFT 없이 단일 epoch 동안 synchronous RL로 post-training(결과 모델: Aspen)
• GPT-5, Claude Opus 4, Qwen3-30B-A3B 세 모델 패밀리의 여러 세대 모델을 동일 태스크 suite에서 평가하여 능력 진화 추이를 비교
• multi-turn molecular design 태스크(docking score 기반 lead optimization 시뮬레이션)를 통해 post-trained 모델과 frontier 모델의 실전형 최적화 성능을 비교

Originality

• 기존의 정적 벤치마크와 달리 화학 태스크들을 RL environment로 통일하여 평가와 post-training을 하나의 프레임워크로 결합한 점
• HDBSCAN과 MCS 기반 Dice similarity 클러스터링을 이용해 in-context 학습에 실질적으로 도움이 되는 분자 예시를 선별하는 프롬프트 설계 기법
• 단순 property prediction을 넘어 multi-turn molecular design(실제 lead optimization을 모사)까지 포함하는 폭넓은 태스크 스펙트럼 구축
• 세 모델 패밀리에 걸쳐 세대별 능력 진화를 추적하고, 약한 base model에 대한 targeted RL post-training만으로 frontier 모델과 경쟁 가능함을 실증한 점

Limitation & Further Study

• 실험적(low-data) 데이터셋에서는 post-training 이후에도 성능 개선이 제한적이어서, 근본적인 base model의 화학적 사전지식 부족 문제가 해결되지 않았음을 시사함
• 단일 epoch, synchronous RL, 단일-turn environment에 국한된 학습으로 tool 사용이나 multi-turn 상호작용을 포함하는 더 복잡한 agentic 설정에서의 일반화는 검증되지 않음
• constrained generation 태스크가 다른 태스크 대비 프롬프트 수가 과도하게 많아(task imbalance) 학습 신호가 편중되었을 가능성이 있음
• 후속 연구로는 SFT와 RL을 결합한 학습, asynchronous/multi-turn RL, tool-augmented agent와의 통합, 더 다양한 실험 데이터셋 확보를 통한 low-data 일반화 개선이 필요함

Evaluation

총평: 화학 기반 태스크를 RL environment로 통합하여 평가와 post-training을 동시에 다루는 실용적이고 체계적인 프레임워크를 제시했으며, 특히 약한 base model에서도 targeted post-training으로 frontier 모델급 성능을 달성한 결과가 drug discovery용 LLM 개발에 실질적 시사점을 제공한다.