Kosmos: An AI Scientist for Autonomous Discovery

Motivation

• Known: Data-driven scientific discovery는 문헌 검색, 가설 생성, 데이터 분석의 반복 사이클을 요구한다. 기존 AI scientist 시스템들(Robin, Sakana AI Scientist, Google AI co-scientist, Virtual Lab)은 특정 영역에 제한되거나 agent 간 맥락 공유가 부족하며, long-horizon 추론 능력이 제한되어 발견의 깊이를 제약한다.
• Gap: 기존 AI scientist 시스템들은 agent 간 정보 공유 메커니즘이 부족하여 장시간 일관된 추론을 유지하기 어렵고, 이로 인해 수행할 수 있는 action 수가 제한되며 발견의 깊이가 제한된다. 또한 다양한 과학 분야에 걸친 범용적인 자동 발견 시스템이 부족하다.
• Why: 자동화된 과학 발견 시스템은 반복적인 문헌 검색, 가설 생성, 데이터 분석을 수행하는 LLM 기반 agent의 능력을 활용하여 과학 연구의 효율성을 획기적으로 증진할 수 있다. 특히 장시간 일관성 있는 추론이 가능한 시스템은 더 깊이 있는 발견을 가능하게 한다.
• Approach: Kosmos는 structured world model을 통해 data analysis agent와 literature search agent의 출력을 관리하며, 각 cycle에서 최대 10개의 병렬 작업을 실행하고 world model을 지속적으로 업데이트하여 다음 cycle의 작업을 제안한다. 모든 보고서 statement는 code 또는 문헌으로 direct citation되어 traceable reasoning을 보장한다.

Achievement

Figure 1: Kosmos workflow and performance. a) Overall workflow for Kosmos. (left) Kosmos is provided with an initial

Kosmos 성능: 평균 42,000줄의 코드 실행(Robin 대비 9.8배 증가), 1,500편의 논문 처리, 79.4% statement 정확도(data analysis 85%, literature review 82%, interpretation 58%); 임상적 영향: 20-cycle 실행이 전문가 6개월 연구와 동등한 가치; 발견의 확장성: cycle 수에 따라 유용한 발견이 선형적으로 증가(최대 20 cycle 검증); 7가지 발견: metabolomics, materials science, neuroscience, statistical genetics 영역에서 3건은 미발표 논문과 독립적으로 재현, 4건은 신규 기여.

How

Figure 1: Kosmos workflow and performance. a) Overall workflow for Kosmos. (left) Kosmos is provided with an initial

• Structured world model을 활용한 multi-agent 정보 공유 및 context 관리로 장시간 일관성 있는 추론 가능
• 각 cycle마다 parallel하게 data analysis와 literature search 작업 실행
• World model 기반 작업 제안 시스템으로 research avenue 동시 탐색
• 모든 보고서 statement를 code 또는 논문으로 직접 인용하여 traceability 확보
• 10명 이상의 독립 과학자가 statement 정확도 검증

Originality

• Structured world model 도입: Agent 간 정보 공유를 위한 명시적 world model 사용은 기존 시스템(Robin, Sakana)과의 주요 차별점
• Long-horizon coherence 달성: 200+ agent rollout을 통해 기존 시스템 대비 8배 더 많은 iteration 가능
• 범용성: 다양한 과학 분야(metabolomics, materials science, neuroscience 등)에 적용 가능한 일반화된 agent architecture
• Traceability: 모든 statement의 code/논문 citation으로 AI 발견의 투명성 확보

Limitation & Further Study

한계: Interpretation statement의 낮은 정확도(58%)는 complex reasoning에서의 한계를 시사; Agent 간 collaboration 효율성 분석 부족; World model 설계의 scalability에 대한 명확한 평가 부재; 7가지 발견만 제시되어 통계적 검증 부족; 후속 연구: Interpretation accuracy 개선을 위한 reinforcement learning 또는 fact-checking 메커니즘 필요; 더 많은 과학 분야와 데이터 유형에 대한 평가; Agent 간 task allocation 최적화 알고리즘 개발

Evaluation

총평: Kosmos는 structured world model을 통해 다중 agent 간 정보 공유를 실현하여 기존 AI scientist 시스템의 장시간 일관성 문제를 해결한 중요한 기여를 제시한다. 7가지 실제 발견과 79.4% 정확도는 실용성을 입증하며, 특히 미발표 논문 독립 재현과 신규 기여는 시스템의 신뢰성을 강화한다. 다만 interpretation accuracy 개선과 더 광범위한 검증이 필요하다.