How Creative Are Large Language Models in Generating Molecules?

Motivation

• Known: 분자 생성은 여러 화학·생물학적 제약을 만족하면서 광대한 화학공간을 탐색해야 하는 비이진 문제이며, LLM은 자연언어 프롬프트로부터 직접 분자를 생성할 수 있다는 점이 알려져 있다.
• Gap: LLM이 분자 생성에서 어떤 유형의 창의성을 보이는지, 그리고 이를 어떻게 평가해야 하는지에 대한 체계적 이해가 부족하다.
• Why: 약물 발견의 높은 실패율과 지적재산권 문제를 고려할 때, 제약을 만족하면서 동시에 다양한 분자 구조를 발견할 수 있는 능력의 과학적 정량화가 필수적이기 때문이다.
• Approach: Guilford의 창의성 이론에 기초하여 convergent creativity와 divergent creativity 두 차원을 도입하고, physicochemical, ADMET, biological activity 과제에서 LLM의 창의성을 체계적으로 평가한다.

Achievement

Figure 2. Creativity profiles vary systematically by task type. Physicochemical and ADMET tasks show high convergent cre

• 두 차원 창의성 프레임워크: convergent creativity(Validity, Success Rate)와 divergent creativity(Novelty, Uniqueness, Diversity)를 기하평균으로 통합한 평가 체계 제시
• 역설적 제약 효과 발견: 추가 제약 조건 부과 시 제약 만족도가 증가하는 패턴 규명, 기존 직관과 상충
• 모델 크기 효과 분석: 더 큰 모델이 더 높은 constraint satisfaction을 달성하지만 divergent creativity는 안정적 유지
• 실무 가이드라인: LLM이 효과적인 상황(coarse-grained constraints 기반)과 제한 사항을 명확히 규정하여 분자 발견 파이프라인의 LLM 활용을 정당화

How

Figure 1. Overview of how LLM creativity in molecule generation

• Convergent creativity 측정: generated molecule string이 RDKit 등 표준 cheminformatics 규칙에 따라 유효한지 판단 후, 프롬프트의 task-specific constraint 만족 여부로 Success Rate 계산
• Divergent creativity 측정: ZINC 250K, DRD2, JNK3, GSK3β 참조 데이터셋을 기준으로 Novelty 평가, 생성 배치 내 중복률로 Uniqueness 평가, molecular fingerprint 기반 Tanimoto distance로 Diversity 계산
• Overall creativity: convergent와 divergent creativity의 기하평균으로 통합 점수 산출
• Fully Creative 지표: task constraints를 동시에 만족, novel, unique한 분자의 비율을 '금표준' 성공률로 정의", '다변량 분석: task type, numerical constraint, model size, constraint complexity, in-context learning, sampling temperature 등 요인별 창의성 변화 추적

Originality

• 창의성의 함수적 재해석: 분자 생성 능력을 미학적·주관적 창의성이 아닌 기능적 창의성으로 재정의하여 과학적 평가 가능하게 함
• 이중 차원 평가: convergent-divergent 양극 간 본질적 긴장(제약 만족 vs 탐색)을 명시적으로 모델화한 최초의 분석
• 역설적 발견의 체계화: 제약 추가가 만족도를 높이는 현상을 정량적으로 입증하고 LLM의 독특한 행동 패턴으로 규명
• LLM-화학 교차 분야 통합: NLP의 창의성 평가 이론(기하평균 기반 복합 지표)을 분자 생성 도메인에 최초 적용

Limitation & Further Study

• 참조 데이터셋 편향: ZINC 250K 기반 Novelty 평가는 제약 회사의 실제 합성 가능성과 다를 수 있으며, 신약 후보 데이터셋이 충분히 포함되지 않았을 가능성
• 메커니즘 설명 부족: 제약 조건 추가 시 만족도 증가라는 핵심 발견에 대한 깊이 있는 인과 메커니즘 분석 필요
• 제한된 과제 범위: physicochemical, ADMET, biological activity만 평가하였으며, synthetic accessibility, patent landscape 등 실무 제약 미포함
• 모델 다양성 제한: 특정 LLM 아키텍처에 대한 평가로 일반화 가능성 검토 필요
• 후속 연구: 제약 조건의 수학적 형태(numerical vs categorical)에 따른 창의성 변화 심화 연구, 실제 합성 검증을 통한 외적 타당성 확보, 다중목적 최적화 맥락에서 Pareto frontier 분석

Evaluation

총평: 창의성이라는 새로운 렌즈로 LLM 기반 분자 생성을 재해석하고, 두 차원의 균형 잡힌 평가 프레임워크와 역설적 제약 효과 발견을 통해 LLM의 약물 발견 응용에 대한 체계적 이해를 제시하는 우수한 연구로, 화학과 AI의 교차 분야 실무자에게 높은 참고 가치가 있다.