/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/468_Large_Language_Models_are_Zero_Shot_Hypothesis_Proposers

Motivation

• Known: LLM은 방대한 world knowledge와 interdisciplinary 지식을 보유하고 있으며, 여러 과학적 task(문헌 요약, QA 등)에서 활용되어 왔다는 것이 알려져 있다. 또한 hypothesis validation 관련 도구들은 존재하지만 hypothesis generation 자체를 형식적으로 다루는 연구는 부족했다.
• Gap: LLM이 실제로 훈련되지 않은 미래 시점의 문헌에서 검증 가능한 새로운 가설을 zero-shot으로 생성할 수 있는지에 대한 엄밀한 실험 설계와 평가 체계가 부재했다.
• Why: LLM이 zero-shot hypothesis generation 능력을 갖추고 있음을 입증할 수 있다면, 방대한 문헌과 학제간 정보 장벽으로 인해 지연되던 과학적 발견 과정을 가속화할 수 있는 새로운 도구로서 LLM의 활용 가능성을 열어줄 수 있다.
• Approach: 논문은 발행일 기준으로 train/seen/unseen test로 분할한 생물의학 background-hypothesis 쌍 데이터셋을 구축하고, closed 및 open-source LLM들을 zero-shot, few-shot, fine-tuning 설정에서 평가하며, 역할 분담과 외부 도구를 활용하는 multi-agent cooperative framework를 함께 제안한다.

Achievement

Illustrating an generated hypothesis uti-

1. Zero-shot hypothesis generation 검증: 훈련에 사용되지 않은 unseen 문헌으로 평가했을 때도 LLM이 실제로 후속 문헌에서 검증된 가설을 생성함을 실증했다.
2. Uncertainty와 hypothesis generation의 관계 규명: uncertainty를 높이는 multi-agent 협력 방식이 zero-shot 가설 생성 능력을 향상시키는 반면, few-shot이나 외부 도구 추가는 uncertainty를 줄여 오히려 성능을 저해할 수 있음을 발견했다.
3. 평가 체계 구축: ChatGPT 기반 평가와 human evaluation을 위한 4가지 차원의 metrics를 설계하고 둘 간의 상관관계를 검증하여 LLM 기반 평가의 신뢰성을 뒷받침했다.
4. Multi-agent 프레임워크 제안: 서로 다른 role design과 external tool을 활용하는 LLM 기반 multi-agent 협력 구조를 도입하여 가설 생성 능력을 분석했다.

How

Illustrating an generated hypothesis uti-

• 2000년 1월부터 2023년 9월까지의 biomedicine literature에서 background knowledge와 hypothesis 쌍을 추출하여 데이터셋 구축
• 발행일 기준으로 training set(2023년 1월 이전), seen test set, unseen test set(2023년 8월 문헌)으로 분할하여 데이터 유출을 통제
• ChatGPT, GPT-4 등 closed-source LLM과 LLaMA 계열(예: 65B) 등 open-source LLM을 대상으로 zero-shot, few-shot, fine-tuning 실험 수행
• 서로 다른 role을 부여한 LLM agent들이 협력하고 external tool(예: 검색 도구)을 활용하는 multi-agent cooperative framework 설계
• 4가지 평가 차원의 metrics를 설계하여 ChatGPT 기반 자동 평가와 인간 평가를 병행 수행하고 상관관계 분석

Originality

• 기존 연구가 주로 hypothesis validation에 초점을 맞춘 것과 달리, LLM의 zero-shot hypothesis generation 능력 자체를 형식적으로 실험 설계하여 검증한 최초의 시도라고 주장
• 발행일 기준 temporal split을 통해 데이터 유출(leakage) 문제를 통제한 엄밀한 unseen test 설계
• Uncertainty와 hypothesis generation 능력 간의 반직관적 관계(uncertainty 증가가 오히려 성능 향상에 기여)를 발견
• Multi-agent cooperative framework에 역할 분담(role design)과 external tool을 결합한 접근

Limitation & Further Study

• 생물의학(biomedical) 도메인에 국한된 실험으로, 타 과학 분야에 대한 일반화 가능성은 검증되지 않음
• unseen test set이 2023년 8월 한 달 문헌으로 제한적이며, 표본 크기나 대표성에 대한 우려가 있을 수 있음
• ChatGPT 기반 평가와 인간 평가의 상관관계만으로 metrics의 완전한 타당성을 담보하기는 어려움
• 가설이 실제로 새로운 과학적 통찰을 제공하는지, 단순히 문헌의 패턴을 재조합한 것인지 구분하는 심층 분석이 부족함
• 후속 연구로는 다양한 과학 분야로의 확장, 더 큰 규모의 unseen 데이터셋 구축, uncertainty 조절 메커니즘의 이론적 규명 등이 필요함

Evaluation

총평: LLM의 zero-shot 과학적 가설 생성 능력을 실증적으로 탐구한 흥미로운 초기 연구로, 참신한 문제 설정과 실험 설계가 돋보이나 생물의학 도메인 한정 및 상대적으로 작은 규모의 unseen 테스트로 인해 결과의 일반화와 엄밀성에는 추가 검증이 필요하다.