Accelerating scientific discovery with Co-Scientist

Motivation

• Known: 기존에도 LLM 기반 시스템이 문헌 탐색과 추론, multimodal understanding, agentic tool 사용 등에서 발전해왔으며, distillation과 inference time compute 확장을 통해 고성능 AI 시스템의 접근성이 높아지고 있음이 알려져 있다.
• Gap: 과학자는 깊이 있는 전문성과 학제간 폭넓은 통찰을 동시에 요구받는 breadth-depth conundrum에 직면해 있으나, 이를 보조하여 새롭고 검증 가능한 연구 가설을 자동 생성하고 반복적으로 개선하는 범용 AI 협업 시스템은 부재했다.
• Why: 과학적 발견 과정에서 가설 생성과 검증에 소요되는 시간과 비용을 획기적으로 단축시킬 수 있다면, 신약 개발이나 질병 기전 규명 같은 고비용·저효율 연구 영역에서 실질적인 가속 효과를 기대할 수 있다.
• Approach: Gemini를 기반으로 한 multi-agent 아키텍처를 구축하여 생성(generation), 순위화(ranking), 진화(evolution), 근접성 검사(proximity check), 메타 리뷰(meta-review) 등 전문화된 agent들이 비동기적으로 협업하며 test-time compute를 확장해 가설 품질을 반복적으로 개선하도록 설계했다.

Achievement

Fig. 3 | In vitro biological validation of Co-Scientist generated single-

1. 다중 에이전트 아키텍처 구축: asynchronous task execution framework를 통해 supervisor agent가 worker들에게 작업을 유연하게 분배하며 compute scaling이 가능한 시스템을 구현했다.
2. tournament 기반 자기개선 루프: self-play 기반 scientific debate와 승패 패턴 분석을 통해 가설을 지속적으로 비교·순위화·개선하는 진화 과정을 도입했다.
3. test-time compute scaling 효과 입증: 자동 평가에서 연산량 확장에 따라 가설 품질이 지속적으로 향상됨을 확인했다.
4. AML 약물 재창출 실험 검증: 시스템이 제안한 단일 및 병용 약물 후보가 in vitro 실험에서 AML 세포주에 대해 선택적 세포독성을 보임을 확인했다.
5. 간섬유증 신규 표적 발굴: 제안된 후성유전학적 표적 기반 약물이 인간 간 오가노이드에서 섬유화를 감소시킴을 검증했다.
6. 항생제 내성 기전 재현: cf-PICI 관련 유전자 전달 기전에 대해 과학자들이 10년에 걸쳐 실험적으로 규명한 가설과 동일한 결론을 단 이틀 만에 독립적으로 생성했다.

How

Fig. 1 | See next page for caption.

• 연구 목표(research goal)를 자연어로 입력받아 문헌 탐색, 시뮬레이션 리뷰, 토너먼트 리뷰, 심층 검증(deep verification) 등의 단계를 거쳐 가설을 생성
• Generation agent가 문헌 탐색, 시뮬레이션 기반 과학적 토론(simulated scientific debate), 웹 검색을 통한 full review를 수행
• Ranking agent가 tournament 방식으로 가설들을 비교·순위화하고 승패 패턴을 다른 agent들에게 피드백으로 제공하는 self-improving loop 구성
• Evolution agent가 다른 아이디어로부터 영감을 얻거나(inspiration), 연구를 확장(extension)하거나 단순화(simplification)하여 가설을 개선
• Proximity check agent와 Meta-review agent가 research overview 및 최종 연구 제안서를 작성해 과학자에게 제공
• 과학자가 채팅 인터페이스를 통해 아이디어 추가, 리뷰, 토론 등으로 시스템을 실시간으로 지도(steer)할 수 있는 scientist-in-the-loop 구조 구현

Originality

• 단순 정보 검색이나 요약을 넘어, 자기 자신을 비판·검증하고 진화시키는 tournament 기반 self-improving 가설 생성 루프를 제안한 점이 독창적이다.
• test-time compute scaling이라는 최신 LLM 추론 패러다임을 과학적 가설 생성이라는 새로운 응용 영역에 접목한 시도이다.
• 실제 실험실 검증(in vitro assay, organoid 실험)과 독립적인 10년간의 실제 연구 성과 재현을 통해 시스템의 실효성을 입증한 점이 기존 AI 논문들과 차별화된다.

Limitation & Further Study

• 검증 사례가 생물의학(biomedicine) 세 분야에 국한되어 있어, 범용 과학 시스템으로서의 일반화 가능성은 추가 검증이 필요하다.
• 자동 평가 지표와 실제 실험적 성공 사이의 상관관계, 그리고 가설 생성의 재현성 및 표절·근접성(proximity) 문제에 대한 심층 분석이 제한적으로 제시된다.
• Gemini라는 특정 폐쇄형 LLM에 의존하고 있어 재현성과 접근성 측면에서 한계가 있으며, 다른 오픈소스 모델로의 확장 가능성에 대한 논의가 부족하다.
• 후속 연구로 더 다양한 과학 분야(물리학, 화학, 재료과학 등)로의 확장과 대규모 blind 실험 검증이 필요하다.

Evaluation

총평: test-time compute scaling과 tournament 기반 자기개선 구조를 활용해 실제 생물의학 실험으로 검증된 과학적 가설을 생성한 인상적인 사례 연구로, AI 보조 과학 발견의 실용적 가능성을 강력하게 보여주는 연구이다.