DrugPlayGround: Benchmarking Large Language Models and Embeddings for Drug Discovery

Motivation

• Known: 대형언어모델이 신약 개발에 응용되고 있으나, LLM의 약물 발견 작업에 대한 객관적 성능 평가가 부족하며, 할루시네이션(hallucination), 화학적 비합리성, 전통적 딥러닝 모델에 비한 성능 격차 등의 우려가 제기되고 있다.
• Gap: 기존 LLM 기반 약물 발견 도구들이 개별적으로 개발되었으나, 여러 LLM과 임베딩 모델의 성능을 통일된 벤치마크로 비교 평가할 수 있는 종합적 플랫폼이 부재하며, 약물 발견 파이프라인의 여러 단계에 걸친 체계적 평가 프레임워크가 필요하다.
• Why: 약물 발견은 높은 비용과 긴 개발 기간이 필요한 분야로, LLM의 활용 가능성과 한계를 객관적으로 파악하는 것이 향후 신약 개발 패러다임의 효율성 개선과 신뢰할 수 있는 LLM 기반 도구 개발에 필수적이다.
• Approach: 분자-텍스트 쌍 데이터와 다중모달 데이터를 기반으로 구축한 벤치마킹 플랫폼에서, (1) 다양한 프롬프트(표준, CoT, Meta) 하에서 LLM이 생성한 약물 설명을 BERT, ROUGE, BLEU 등의 스키마 기반 및 구조 기반 메트릭으로 평가하고, (2) LLM 임베딩의 약물 표현 학습 능력을 유사성 분석, 시너지 예측, 단백질 상호작용 예측, 섭동 예측 등의 다운스트림 작업으로 검증하며, (3) 화학자 피드백을 통합하여 정성적 평가를 수행한다.

Achievement

Fig. 2: Model Performance in Terms of Text Generation (a) Five LLMs’ BLEU scores

• 성능 비교 구성: Claude-sonnet, DeepSeek-v3, GPT-4o, Gemini-1.5-pro, Mistral-large 등 5개 주요 LLM을 온도 6가지 설정과 3가지 프롬프트 전략 하에서 평가하여 각 모델의 최적 작동 조건 파악
• 메트릭 개발: BERT, ROUGE-1/2/L, BLEU 기반 Normalized Total score를 정의하여 텍스트 생성 품질의 다각적 평가
• 모델 순위 결정: GPT-4o가 모든 메트릭에서 우수한 성능을 보이고 Mistral-large가 그 다음 경쟁자이며, DeepSeek-v3가 가장 낮은 성능을 보임을 정량적으로 증명
• 온도 효과 분석: 대부분 모델에서 낮은 온도가 성능 향상을 가져오지만 모델별로 최적 온도 영역이 상이함을 입증
• 화학자 통합 평가: 도메인 전문가 피드백을 통해 LLM이 생성한 내용의 화학적 타당성과 생물학적 추론 능력을 검증

How

Fig. 2: Model Performance in Terms of Text Generation (a) Five LLMs’ BLEU scores

• 분자-텍스트 쌍 데이터를 MolTextNet에서 수집하여 ground truth 참조 자료로 구성
• 각 LLM에 표준 프롬프트, Chain of Thought (CoT), Meta-cognition (Meta) 프롬프트를 적용
• 온도(temperature) 0부터 1까지 6가지 설정에서 각 모델 실행
• BERT 의미 유사성, ROUGE-1/2/L 기반 순서 불변 일치성, BLEU 정확도 계산
• 다섯 메트릭을 정규화하여 합산한 Normalized Total score 도출
• Supplementary Figure S1에서 모든 메트릭 결과 종합 정리
• Figure 2를 통해 온도별 성능 변화, 모델 간 비교, ROUGE 성능 시각화
• 화학자와 협업하여 LLM 결과물의 화학적 합리성 검토

Originality

• 벤치마크 플랫폼 통합 설계: 기존 산발적 LLM 약물 발견 연구를 약물 발견 R&D 파이프라인의 네 가지 핵심 작업으로 체계화한 통일된 평가 프레임워크 제시
• 다중 평가 관점: 텍스트 기반 설명과 임베딩 기반 표현 학습을 동시에 평가하는 이원적 벤치마킹 구조
• 프롬프트 전략 비교: 표준 프롬프트, CoT, Meta-cognition 등 서로 다른 프롬프트 기법의 효과를 동일한 조건에서 비교 분석
• 온도 매개변수 체계적 분석: 각 LLM의 최적 작동 온도를 개별적으로 파악하여 모델별 맞춤 최적화 제안
• 도메인 전문가 통합: 순수 메트릭 기반 평가를 넘어 화학자 피드백을 구조화된 방식으로 포함

Limitation & Further Study

• 데이터셋 규모의 명시 부재: 각 벤치마킹 작업(약물 기능, 시너지, 상호작용, 섭동)에서 사용된 데이터셋의 크기 및 특성(화합물 수, 약물 클래스 분포 등)이 본문 발췌에 제시되지 않음. 추후 데이터셋 구성과 크기에 대한 상세 기술 필요
• 평가 메트릭의 한계: BERT, ROUGE, BLEU는 표면적 텍스트 유사성만 측정하며 약물 설명의 화학적·생물학적 정확성을 충분히 반영하지 못할 가능성. 특히 LLM의 할루시네이션 탐지에 대한 구체적 메트릭 부재
• 모델 선택의 정당성 부재: 평가 대상 5개 LLM(Claude, DeepSeek, GPT-4o, Gemini, Mistral)의 선정 기준 및 기타 주목할 만한 모델 제외 사유 미제시
• 실험적 재현성 문제: 온도 변화에 따른 결과의 통계적 유의성 검정(예: 95% 신뢰구간, p-value) 부재로 성능 차이가 유의미한지 불명확
• 화학자 피드백의 체계화 부족: 도메인 전문가 평가의 구체적 평가 기준, 평가자 수, inter-rater agreement 미제시. 본문 발췌에서는 "feedback from chemists"라는 언급만 있음
• 다운스트림 작업 결과 미제시: 약물 시너지 예측, 약물-단백질 상호작용 예측, 섭동 예측에 대한 구체적 결과(Figure 4, 5 등)가 본문 발췌에 포함되지 않아 임베딩 성능의 전체 그림 파악 어려움
• 계산 비용 및 시간 분석 부족: "accuracy, cost, and runtime" 균형을 언급하나 실제 비용 및 실행 시간 비교 데이터 미제시

Evaluation

총평: DrugPlayGround는 약물 발견이라는 고도로 전문화된 영역에서 LLM의 성능을 체계적으로 벤치마킹하는 통합 플랫폼으로, 약물 설명 생성(텍스트 평가) 및 임베딩 기반 다운스트림 작업(약물-단백질 상호작용, 시너지 예측 등)을 동시에 다루는 포괄적 접근을 제시한다는 점에서 가치있다. 다양한 프롬프트 전략, 온도 설정, 화학자 피드백을 통합한 평가는 LLM의 실용적 활용 가능성을 명확히 하는 데 기여할 것으로 예상된다. 다만 데이터셋 규모, 메트릭의 화학적 타당성, 통계적 유의성 검정, 화학자 평가의 체계화 등에서 추가 정보 제시 및 보완이 필요하며, 본문 발췌에서는 온전한 임베딩 기반 성능 평가 결과가 누락되어 최종 판단에 제약이 있다.