Advancing the scientific method with large language models: From hypothesis to discovery

Motivation

Known: 노벨상 수상으로 인정받은 AI의 과학 기여도와 AlphaFold, AI4Science 워크숍 등 AI 기반 과학 연구의 급속한 확산
Gap: 기존 연구들이 특정 딥러닝 아키텍처(CNN, GNN, GAN 등)에 초점을 맞춘 반면, LLM의 일반적 적용과 과학 방법론 전체 단계에서의 역할에 대한 종합적 검토 부족
Why: 현대 과학은 인간의 인지 능력 한계와 데이터 처리의 병목 현상(문헌 검색, 피어 리뷰)을 극복해야 하며, 기초 과학의 새로운 원리 발견이 여전히 AI의 영향이 제한적임
Approach: LLM의 기술적 도구로서의 현재 사용을 검토하고 향후 창의적 엔진(creative engines)으로의 진화 가능성을 탐색하며, 과학 방법론의 귀납적·연역적 요소에 대한 AI의 변환 가능성을 평가

LLM 프롬프팅의 진화: 챗봇에서 프롬프트 엔지니어링과 LLM 에이전트로의 전환

LLM의 다층적 역할 정립: 단순 텍스트 처리 보조(코파일럿) 수준에서부터 가설 생성, 실험 설계, 자율적 실험 수행까지 과학 프로세스 전 단계를 지원할 수 있는 능력을 체계화
프롬프트 엔지니어링의 과학화: Chain-of-Thought(CoT), Retrieval-Augmented Generation(RAG), 자동 프롬프트 설계(DSPy, TextGrad) 등 LLM 성능 최적화 기법의 종합적 정리
LLM 에이전트 패러다임의 제시: 단순 프롬프트를 넘어 외부 도구 통합, 환경 관찰, 자율적 의사결정이 가능한 에이전트 시스템으로의 진화 방향 제시
과학적 적용 사례의 실증: 논문 작성, 코드 생성, 문헌 분석 등 실제 과학 현장에서의 생산성 향상 사례 제시

LLM의 작동 메커니즘과 과학적 활용 아키텍처

자동회귀적 텍스트 생성: 토큰 단위의 확률 분포에서 순차적으로 샘플링하는 기본 원리
프롬프트 설계: 시스템 프롬프트(행동 규칙, 메타정보)와 사용자 프롬프트(구체적 지시)의 계층적 구조를 통한 LLM 제어
단계적 추론: Chain-of-Thought를 통해 복잡한 작업을 단계별로 분해하여 정확도 향상
맥락 확장: RAG를 활용하여 대규모 과학 데이터베이스와 LLM 프로세싱을 통합
자율화: LLM 에이전트가 외부 도구(코드 실행, 데이터베이스 접근, 실험 장비)와 상호작용하며 자동화된 과학 탐색 수행
신뢰성 강화: 다중 단계 작업의 복잡성 및 비언어적 계산에서의 한계를 극복하기 위해 기호 체계(symbolic systems)와의 하이브리드 접근

할루시네이션(hallucination) 문제: LLM이 생성한 잘못된 정보나 존재하지 않는 과학적 발견을 신뢰성 있게 걸러내는 메커니즘 부재
추론 능력의 과대 평가: 현재 LLM의 "추론"으로 주장되는 능력이 실제로는 패턴 매칭에 불과할 수 있다는 근본적 의구심
기초 과학(fundamental science) 제한: 새로운 과학 원리 발견과 같은 근본적 혁신에서 AI의 기여도가 여전히 제한적임
평가 지표 부재: LLM 기반 과학 연구의 품질, 창의성, 신뢰도를 측정할 명확한 정량적 메트릭 개발 필요
인간-AI 협력 모델 미정과학공동체가 AI에 맡길 수 있는 범위와 인간 감시의 수준에 대한 합의 형성 필요
후속 연구 방향:
- 하이브리드 시스템(기호 체계+데이터 기반 접근)의 과학적 효능 실증
- 도메인별(화학, 생물학, 물리학) 구체적 LLM 통합 프로토콜 개발
- LLM 기반 과학 발견의 재현성(reproducibility)과 검증 절차 정립
- AI 과학의 윤리적 거버넌스 프레임 구축