Do Larger Models Really Win in Drug Discovery? A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction

Motivation

Known: 분자 property 예측에는 RF·ExtraTrees 같은 고전 ML 모델, GNN, 사전학습 SMILES transformer 등 다양한 모델 클래스가 사용되고 있으며, 일부 선행 연구는 데이터 부족 상황에서 전통 표현이 경합력 있음을 시사했다.
Gap: 약물 발견 커뮤니티는 규모 중심적 관점을 채택하고 있으나, 작은 약물 발견 데이터셋에서 더 큰 모델이 실제로 더 나은 성능을 제공하는지에 대한 체계적인 규모 비교 평가가 부족하다.
Why: 약물 발견 AI 시스템 설계 시 모델 규모와 성능의 관계를 명확히 하면 계산 비용·학습 인프라·모델 선택에 관한 실질적 의사결정을 개선할 수 있으며, 이는 학계·산업계 모두에 중요하다.
Approach: ADMET·Tox21·항결핵·항말라리아 활성 데이터로 구성된 22개 엔드포인트에서 structure-similarity-separated five-fold cross-validation을 사용하여 RF·ExtraTrees·GCN·GAT·GIN·Ligandformer·ChemBERTa·ChemBERTa2·MoLFormer·GPT5.5-SAR·Opus4.7-SAR을 일관된 평가 프로토콜 하에 비교 평가했다.

Figure 4: Proportional summary of model-family wins across ADMET, Tox21 and anti-infective

classic ML 모델의 우위성: RF(ECFP4)와 ExtraTrees(RDKit descriptors)가 10개 주요 지표 작업에서 우승하여 컴팩트 모델의 효과성을 재확인
GNN의 경합력: GIN·Ligandformer 등 GNN이 9개 작업에서 우승하여 중간 규모 모델의 경쟁력 입증
대형 모델의 제한적 우위: 사전학습 sequence 모델(MoLFormer·ChemBERTa2)이 3개 작업에서만 우승하여 규모가 보편적 이점을 제공하지 못함을 시사
LLM-SAR의 한계: GPT5.5-SAR·Opus4.7-SAR 기반 규칙은 사전정의된 주요 지표에서 우승하지 못했으나, 해석 가능성에는 가치 제공
규모 독립적 성능 결정인자: 분자 표현·귀납 편향·훈련 전략·엔드포인트 생물학·데이터 체계·검증 설정의 정합성(model–task fit)이 단순 규모보다 성능을 더 잘 설명

Figure 3: Structure-similarity-separated five-fold cross-validation workflow. Molecules are stan-

ECFP4·ECFP6·MACCS·RDKit descriptor 표현을 사용하는 300-tree RF/ExtraTrees ensemble 훈련
GCN/GAT/GIN(10^5~10^6 파라미터)과 Ligandformer(1.4M 파라미터) 같은 task-specific GNN 구성
ChemBERTa(77M)·ChemBERTa2(10M)·MoLFormer(47M) SMILES checkpoint로부터 fine-tuning
GPT5.5-SAR(regex SMILES rule)·Opus4.7-SAR(RDKit SMARTS pattern) 기반 rule 적용
ECFP4–TruncatedSVD–MiniBatchKMeans 화학공간 분할을 활용한 structure-separated five-fold cross-validation으로 37,756 ADMET·77,946 Tox21·49,266 anti-TB·2,088 antimalarial 평가 실행
ROC-AUC·PR-AUC·class-specific recall 등 다중 지표로 특히 불균형 classification 작업 평가

약물 발견의 모델 규모에 대한 최초의 포괄적 벤치마크로서, 167,056개 held-out 평가를 통해 단순 규모 관점의 오류를 실증적으로 규명
ADMET·Tox21 공개 데이터와 내부 항감염 데이터(anti-TB 49,266분자·antimalarial 2,088분자)를 결합하여 다양한 약물 발견 시나리오 포함
분자 표현(fingerprint vs. graph vs. SMILES token)·모델 크기(작은 ensemble부터 47M 파라미터)·훈련 패러다임(classical training vs. fine-tuning vs. rule application)을 체계적으로 분리하여 각 요인의 독립적 영향 분석
Structure-similarity-separated cross-validation으로 현실적 약물 발견 시나리오(화학공간 분포 이동)에서의 일반화 능력 평가
LLM-SAR rule 기반 예측과 신경 모델의 성능·해석성 trade-off를 정량적으로 비교

Anti-TB·antimalarial 데이터는 GHDDI 내부 소유로 외부 논문 제출 전 메타데이터·출판 권한 완료 필요하여 재현성 제약
LLM-SAR는 local rule 적용 기반이므로 frontier LLM의 직접 fine-tuning·few-shot 성능과 비교 부족
모델 훈련 예산이 모델군별로 이질적(RF는 CPU 300-tree, GNN은 30-50 epoch, pretrained는 3-5 epoch)으로 공정한 계산 자원 비교 어려움
22개 엔드포인트는 약물 발견의 일부 영역(주로 ADMET·독성·항감염)이므로, 타겟 기반 assay·생화학 활성 등 다른 엔드포인트 일반화 가능성 미검증
후속 연구는 ensemble 기법(모델 조합)의 효과·동적 모델 선택 방법·엔드포인트별 최적 표현-모델 매칭 규칙 개발 필요