A Survey on Hypothesis Generation for Scientific Discovery in the Era of Large Language Models

Motivation

• Known: LLMs는 광범위한 과학 문헌을 처리하고 합성할 수 있으며, literature-based discovery (LBD)부터 text mining, knowledge graph 기반 방법까지 다양한 전산 기법들이 가설 생성에 활용되어 왔다.
• Gap: 정보 과잉과 학제 간 단편화로 인해 연구자들이 새로운 통찰력을 발견하기 어려우며, LLM 기반 가설 생성의 품질 평가, 새로움 보장, 다양성 확보 등에 대한 체계적인 접근이 부족하다.
• Why: 과학 문헌의 급격한 증가로 인한 정보 과부하와 학문 간 고립이 발견 과정을 방해하고 있으며, LLMs의 가능성을 효과적으로 활용하기 위한 체계적 이해가 필요하다.
• Approach: 체계적 문헌 검색을 통해 2005-2025년의 arXiv 논문들을 수집하고 분류하며, human-centric 방법부터 LBD, text mining, supervised learning, graph-based 방법, LLM-driven 접근까지의 진화를 추적한다.

Achievement

Figure 1: Taxonomy of Methods for Scientific Hypothesis Generation (SHG).

• 포괄적 분류 체계: Human-centric, LBD, Text-Mining, Supervised Learning, Graph Based, LLM-Driven 방법을 포함한 과학적 가설 생성 방법의 체계적 분류 제시
• LLM 기반 방법론 상세 분석: Prompting, Fine-Tuning, RAG, Knowledge Graphs, Structured Hypothesis Generation (SHG) 등 다양한 LLM 활용 기법 검토
• 품질 향상 기법 검토: Novelty boosting과 structured reasoning을 포함한 가설 품질 개선 방법론 분석
• 평가 전략 개요 제공: 생성된 가설의 평가 방법에 대한 종합적 검토
• 미래 방향 제시: Multimodal integration과 human-AI collaboration을 포함한 향후 연구 방향 논의

How

• arXiv API를 이용한 체계적 문헌 검색 전략 (core concepts, recent techniques, traditional techniques 키워드 활용)
• 제목과 초록 기반 초차 필터링 후 관련성 검증을 위한 수동 검토
• Methodological paradigm, scientific domain, hypothesis representation에 따른 분류
• 기술의 시간적 진화 및 가설 형식화 방식의 변화 추적
• Literature-based discovery의 역사적 기초(Swanson의 undiscovered public knowledge 개념)부터 최신 LLM 기법까지의 시계열 분석

Originality

• LLM 시대의 가설 생성에 대한 최초의 포괄적 서베이로, 전통적 방법부터 최신 기술까지의 통합적 관점 제시
• Human-centric 방법에서 LLM-driven 방법으로의 진화 과정을 체계적으로 매핑
• 다양한 학제 간(생의학, 천체물리학, 화학 등) 적용 사례를 포함한 광범위한 범위
• 단순한 문헌 정리를 넘어 평가 전략, 도전 과제, 미래 방향을 포함한 심화된 분석

Limitation & Further Study

• 현재 arXiv 프리프린트 기반 수집으로 인해 peer-review된 최종 논문보다 미성숙한 연구 포함 가능성
• LLM 기반 가설 생성의 실제 과학적 검증 및 임팩트에 대한 경험적 데이터 부족
• 구체적인 평가 메트릭 및 벤치마크 데이터셋의 부재로 인한 정량적 비교 분석 한계
• 학제별 특수성이 충분히 반영되지 않아 일반화의 한계 가능성
• 후속 연구: 실제 과학적 발견으로 검증된 LLM 기반 가설의 사례 축적, 표준화된 평가 프레임워크 개발, multimodal LLM의 효과성 실증 연구, human-AI 협력의 장기적 영향 분석

Evaluation

총평: 본 논문은 과학적 가설 생성 분야에서 LLMs의 역할과 가능성을 정리한 시의적절한 종합 서베이로, 연구자들을 위한 포괄적 참고 자료를 제공한다. 다만 실제 과학적 검증 데이터와 정량적 평가 메트릭의 부족으로 인해 실무 적용 가능성에 대한 추가 실증 연구가 필요하다.