Do Larger Models Really Win in Drug Discovery? A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction

Motivation

• Known: 분자 property 예측에는 RF·ExtraTrees 같은 고전 ML 모델, GNN, 사전학습 SMILES transformer 등 다양한 모델 클래스가 사용되고 있으며, 일부 선행 연구는 데이터 부족 상황에서 전통 표현이 경합력 있음을 시사했다.
• Gap: 약물 발견 커뮤니티는 규모 중심적 관점을 채택하고 있으나, 작은 약물 발견 데이터셋에서 더 큰 모델이 실제로 더 나은 성능을 제공하는지에 대한 체계적인 규모 비교 평가가 부족하다.
• Why: 약물 발견 AI 시스템 설계 시 모델 규모와 성능의 관계를 명확히 하면 계산 비용·학습 인프라·모델 선택에 관한 실질적 의사결정을 개선할 수 있으며, 이는 학계·산업계 모두에 중요하다.
• Approach: ADMET·Tox21·항결핵·항말라리아 활성 데이터로 구성된 22개 엔드포인트에서 structure-similarity-separated five-fold cross-validation을 사용하여 RF·ExtraTrees·GCN·GAT·GIN·Ligandformer·ChemBERTa·ChemBERTa2·MoLFormer·GPT5.5-SAR·Opus4.7-SAR을 일관된 평가 프로토콜 하에 비교 평가했다.

Achievement

Figure 4: Proportional summary of model-family wins across ADMET, Tox21 and anti-infective

• classic ML 모델의 우위성: RF(ECFP4)와 ExtraTrees(RDKit descriptors)가 10개 주요 지표 작업에서 우승하여 컴팩트 모델의 효과성을 재확인
• GNN의 경합력: GIN·Ligandformer 등 GNN이 9개 작업에서 우승하여 중간 규모 모델의 경쟁력 입증
• 대형 모델의 제한적 우위: 사전학습 sequence 모델(MoLFormer·ChemBERTa2)이 3개 작업에서만 우승하여 규모가 보편적 이점을 제공하지 못함을 시사
• LLM-SAR의 한계: GPT5.5-SAR·Opus4.7-SAR 기반 규칙은 사전정의된 주요 지표에서 우승하지 못했으나, 해석 가능성에는 가치 제공
• 규모 독립적 성능 결정인자: 분자 표현·귀납 편향·훈련 전략·엔드포인트 생물학·데이터 체계·검증 설정의 정합성(model–task fit)이 단순 규모보다 성능을 더 잘 설명

How

Figure 3: Structure-similarity-separated five-fold cross-validation workflow. Molecules are stan-

• ECFP4·ECFP6·MACCS·RDKit descriptor 표현을 사용하는 300-tree RF/ExtraTrees ensemble 훈련
• GCN/GAT/GIN(10^5~10^6 파라미터)과 Ligandformer(1.4M 파라미터) 같은 task-specific GNN 구성
• ChemBERTa(77M)·ChemBERTa2(10M)·MoLFormer(47M) SMILES checkpoint로부터 fine-tuning
• GPT5.5-SAR(regex SMILES rule)·Opus4.7-SAR(RDKit SMARTS pattern) 기반 rule 적용
• ECFP4–TruncatedSVD–MiniBatchKMeans 화학공간 분할을 활용한 structure-separated five-fold cross-validation으로 37,756 ADMET·77,946 Tox21·49,266 anti-TB·2,088 antimalarial 평가 실행
• ROC-AUC·PR-AUC·class-specific recall 등 다중 지표로 특히 불균형 classification 작업 평가

Originality

• 약물 발견의 모델 규모에 대한 최초의 포괄적 벤치마크로서, 167,056개 held-out 평가를 통해 단순 규모 관점의 오류를 실증적으로 규명
• ADMET·Tox21 공개 데이터와 내부 항감염 데이터(anti-TB 49,266분자·antimalarial 2,088분자)를 결합하여 다양한 약물 발견 시나리오 포함
• 분자 표현(fingerprint vs. graph vs. SMILES token)·모델 크기(작은 ensemble부터 47M 파라미터)·훈련 패러다임(classical training vs. fine-tuning vs. rule application)을 체계적으로 분리하여 각 요인의 독립적 영향 분석
• Structure-similarity-separated cross-validation으로 현실적 약물 발견 시나리오(화학공간 분포 이동)에서의 일반화 능력 평가
• LLM-SAR rule 기반 예측과 신경 모델의 성능·해석성 trade-off를 정량적으로 비교

Limitation & Further Study

• Anti-TB·antimalarial 데이터는 GHDDI 내부 소유로 외부 논문 제출 전 메타데이터·출판 권한 완료 필요하여 재현성 제약
• LLM-SAR는 local rule 적용 기반이므로 frontier LLM의 직접 fine-tuning·few-shot 성능과 비교 부족
• 모델 훈련 예산이 모델군별로 이질적(RF는 CPU 300-tree, GNN은 30-50 epoch, pretrained는 3-5 epoch)으로 공정한 계산 자원 비교 어려움
• 22개 엔드포인트는 약물 발견의 일부 영역(주로 ADMET·독성·항감염)이므로, 타겟 기반 assay·생화학 활성 등 다른 엔드포인트 일반화 가능성 미검증
• 후속 연구는 ensemble 기법(모델 조합)의 효과·동적 모델 선택 방법·엔드포인트별 최적 표현-모델 매칭 규칙 개발 필요

Evaluation

총평: 이 논문은 약물 발견 커뮤니티의 규모 중심적 가정을 실증적으로 도전하며, 167,056개 검증을 통해 모델–작업 정합성(representation·inductive bias·data regime·validation protocol의 조화)이 규모보다 중요함을 명확히 입증했다. ADMET·Tox21·항감염 데이터의 광범위한 비교와 구조-유사성 분리 cross-validation은 높은 신뢰성을 제공하고, 실무자에게 모델 선택의 실질적 가이드를 제시한다.