Scientific hypothesis generation by large language models: laboratory validation in breast cancer treatment

Motivation

• Known: LLM의 breakthrough performance와 다양한 과학 응용 분야가 알려져 있으며, hallucination이 많은 응용에서 해로운 현상으로 인식되어 왔다. 유방암 치료에서 약물 조합(drug cocktails)의 잠재력이 인정되고 있다.
• Gap: 기존 연구에서는 LLM의 hallucination을 과학적 맥락에서 가설 생성의 도구로 체계적으로 활용한 사례가 부족했으며, 생성된 가설의 실험적 검증이 충분하지 않았다. 약물 상호작용에 대한 문헌 정보가 제한적인 상황에서 LLM 기반 가설의 실용적 가치를 검증한 연구가 미흡했다.
• Why: LLM을 과학적 가설 생성의 도구로 활용하는 것은 인간 과학자가 놓칠 수 있는 가설 공간의 영역을 탐색하고, 약물 발견의 효율성을 높일 수 있는 잠재력이 있기 때문에 중요하다. 또한 hallucination의 긍정적 활용 가능성을 입증함으로써 LLM 평가 프레임워크의 재검토를 필요하게 한다.
• Approach: GPT4에 명확한 프롬프트를 통해 MCF7 유방암 세포주에 대해 효과적이지만 MCF10A 정상 유방 세포주에는 해로우지 않은 synergistic 약물 조합을 제시하도록 요청했다. 생성된 12개 조합에 대해 실험실에서 검증하고, SynergyFinder 3.0을 사용하여 HSA synergy score를 계산했다. 초기 성공 결과를 바탕으로 GPT4가 생성한 추가 조합들을 추가로 검증했다.

Achievement

Figure 1. The overall structure of our experiments. GPT4 was previously trained on data on a large fraction of the text

첫 번째 라운드 성과: 12개 가설 중 3개(itraconazole + atenolol, simvastatin + disulfiram, dipyridamole + mebendazole)가 양성 대조군을 초과하는 synergy scores 달성. 두 번째 라운드 성과: 초기 결과를 학습한 GPT4가 생성한 4개 조합 중 3개가 양성 synergy scores 달성. 통합 성과: 12개 가설 조합 중 10개에서 synergistic areas 발견, 8개가 MCF7에서 MCF10A 대비 높은 HSA score 달성.

How

Figure 1. The overall structure of our experiments. GPT4 was previously trained on data on a large fraction of the text

• 체계적인 프롬프트 엔지니어링을 통해 LLM에게 구체적인 약물 선정 기준(FDA 승인, 비암치료제, 안전성 등)과 목표(selectivity, synergy)를 명시
• 초기 가설의 문헌 검색으로 novelty 확인 (생성된 조합이 기존 문헌에 없음)
• 고처량 자동화 실험실(Arctoris)을 활용한 MCF7과 MCF10A 세포주에 대한 정량적 약물 효과 측정
• SynergyFinder 3.0으로 HSA metric 기반 synergy 정량화
• Iterative learning: 초기 결과를 GPT4에 피드백하여 두 번째 라운드 가설 생성

Originality

• LLM의 hallucination을 부정적 결함이 아닌 과학적 가설 생성의 자산으로 재구성한 관점의 창의성
• 실제 실험실 검증을 통해 LLM 기반 가설의 생물학적 타당성을 입증한 실증적 접근
• 대규모 언어모델과 고처량 생물학 실험(high-throughput biology)의 최초 통합 사례
• Iterative refinement 루프를 통한 LLM-실험 피드백 시스템 설계

Limitation & Further Study

• 제한된 스코프: 단일 암 종류(유방암)와 단일 세포주(MCF7/MCF10A)에만 검증. 다른 암 종류나 in vivo 동물 모델에서의 효과 미확인. - 샘플 크기: 총 16개 조합만 테스트로 통계적 일반화에 제한. - 메커니즘 불명확: 왜 특정 약물 조합이 synergistic인지에 대한 생물학적 메커니즘 분석 부재. - 프롬프트 의존성: 결과가 프롬프트 엔지니어링에 크게 의존할 가능성이 높음. - 다른 LLM 미검증: GPT4만 사용으로 다른 LLM(Claude, Llama 등)의 성능 비교 부재. 후속연구: 메커니즘 분석, 임상 관련성 검증, 다양한 암 종류 확장, 다중 LLM 비교, in vivo 효과 검증이 필요함.

Evaluation

총평: 본 논문은 LLM의 hallucination을 과학적 자산으로 재해석하고 실험적 검증을 통해 그 가치를 입증한 창의적이고 실증적인 연구이다. 약물 발견 파이프라인의 초기 단계에서 LLM 활용의 실질적 잠재력을 보여주나, 제한된 스코프와 메커니즘 분석 부재 등이 개선점이다. 학제 간 혁신 연구로서의 가치와 과학에서의 AI 활용 패러다임 전환에 대한 기여도가 높다.