Evaluating sakana’s ai scientist for autonomous research: Wishful thinking or an emerging reality towards’ artificial research intelligence’(ari)? arXiv preprint arXiv:2502.14297, 2025.

Motivation

• Known: AI를 통한 과학 발견 자동화는 최근 활발한 연구 분야로, LLMs가 인간 과학자와 비교할 수 있는 연구 아이디어를 생성할 수 있다는 선행 연구가 존재한다. Google의 AI Co-Scientist, ICLR 2025의 agentic AI for science 워크숍 등 이 분야의 성장을 보여주는 움직임들이 있다.
• Gap: AI Scientist의 과장된 주장들에도 불구하고 이를 직접 실험을 통해 종합적이고 독립적으로 평가한 연구가 부족했다. 특히 system이 실제로 문헌 검토, 실험 설계 및 실행, 원고 작성을 얼마나 효과적으로 수행하는지에 대한 신뢰성 있는 평가가 없었다.
• Why: AI Scientist는 연구 자동화에 있어 가장 야심 찬 주장을 하고 있으며 광범위한 관심을 받고 있다. 정보검색(IR) 커뮤니티를 포함한 학계 전체에 AI가 자동으로 연구를 수행하게 될 가능성이 있기 때문에, 이에 대한 객관적이고 체계적인 평가가 시급하다.
• Approach: AI Scientist를 직접 운영하여 연구 아이디어 생성, 실험 설계 및 실행, 원고 작성, 동료 평가 등 전체 연구 생명주기에 걸쳐 시스템의 성능을 평가한다. 생성된 논문들의 질, 인용 수와 출판년도, 코딩 오류율, 수치 결과의 신뢰성, 원고 구조의 완성도 등을 정량적·정성적으로 분석한다.

Achievement

성과 목록:

• AI Scientist의 문헌 검토 프로세스가 단순한 keyword search에 의존하며 깊이 있는 종합이 부족함을 입증
• 12개 제안 실험 중 5개(42%)가 코딩 오류로 실패함을 확인
• 생성된 원고들의 median citation이 5개로 매우 낮으며 대부분 구식임을 지적
• 에너지 효율 최적화를 목표로 한 실험이 정작 더 많은 계산 자원을 소비하면서 정확도 개선을 주장하는 등 논리적 모순 사례 적시
• 하지만 $6-15의 비용으로 3.5시간의 인간 개입만으로 완전한 연구 논문을 생산하는 뛰어난 속도와 비용 효율성을 인정

How

• AI Scientist 시스템을 직접 구동하여 여러 연구 주제에 대해 실험 수행
• 생성된 원고들의 인용, 구조, 수치 결과의 타당성을 정성적으로 검토
• 제안된 실험들의 코드 분석 및 실행 결과 검증
• 각 iteration에서 코드 변경량(평균 8% 문자 증가)을 측정하여 시스템의 적응성 평가
• 생성된 결과들의 재현성과 논리적 일관성 확인

Originality

• Artificial Research Intelligence (ARI)라는 새로운 개념을 제안하여 완전 자동화는 아니지만 인간과 구별 불가능한 수준의 AI 연구 능력을 정의
• AI Scientist에 대한 첫 번째 종합적인 독립 평가 연구를 수행함으로써 기업의 마케팅 주장 검증
• IR 커뮤니티의 관점에서 AI가 자동으로 연구를 수행할 때의 함의를 조직적으로 분석
• 연구 로그(research log)와 markup languages 같은 표준화된 attribution framework 제안

Limitation & Further Study

• 평가 대상이 AI Scientist 단일 시스템에 한정되어 다른 경쟁 도구들과의 비교 분석 부재
• 생성된 논문의 수(n=12)가 상대적으로 작아 통계적 일반화에 한계
• 특정 ml 도메인에 집중되어 다른 연구 분야(생물학, 화학 등)에서의 시스템 성능 확인 불가
• 후속 연구: AI Scientist의 개선 버전이나 다른 자동화 연구 도구들에 대한 평가, 더 많은 샘플 크기로의 재평가, 다학제적 연구 분야에서의 성능 평가가 필요함

Evaluation

총평: 본 논문은 Sakana의 AI Scientist에 대한 첫 번째 종합적 독립 평가로서, 과장되지 않은 객관적 분석을 제공한다. 시스템의 현재 한계를 분명히 보여주면서도 연구 자동화 분야에서의 상당한 진전을 인정하며, IR 및 AI 커뮤니티에 중요한 통찰력과 거버넌스 제안을 제시한다.