/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/081_Ai_scientists_fail_without_strong_implementation_capability

Motivation

• Known: 최근 AI Scientist 시스템(The AI Scientist-v2, CycleResearcher, Zochi 등)이 생성한 연구 논문이 ICLR 2025 workshop 및 ACL 2025 등 주요 학회 심사 기준을 통과하는 수준에 도달했다는 연구가 다수 보고되었다.
• Gap: 기존 연구들은 AI Scientist의 아이디어 생성 능력에 주로 초점을 맞추었으나, 이러한 시스템이 AlphaFold와 같은 자동화 과학 도구에 견줄만한 획기적 성과를 아직 컴퓨터과학 분야에서 내지 못한 이유에 대한 체계적 분석이 부족하다.
• Why: AI Scientist가 인간 수준의 독립적 과학 발견을 이룰 수 있다는 낙관적 전망이 확산되는 가운데, 실제 병목이 무엇인지 명확히 규명하는 것은 연구 커뮤니티가 자원과 노력을 올바른 방향(구현 능력 강화)으로 집중하는 데 중요하다.
• Approach: 저자들은 AI Scientist를 아이디어 생성과 검증 실행을 모두 수행하는 end-to-end 시스템으로 수학적으로 재정의하고, 기존 벤치마크의 정량적 증거와 DeepReviewer-14B를 이용한 28편 논문에 대한 체계적 평가를 통해 구현 능력 부족을 논증한다.

Achievement

The lower panel of the figure shows that while the total number

1. 개념적 프레임워크 제안: AI Scientist를 아이디어 생성(idea generation)과 구현(implementation)을 모두 포함하는 end-to-end 자율 시스템으로 정의하는 수학적 정의(𝒮AI)를 제시하여 기존 scientific tool과의 차이를 명확히 함.
2. 정량적 벤치마크 증거 제시: PaperBench 등 기존 벤치마크에서 Claude 3.5 Sonnet과 같은 최신 LLM이 복잡한 엔지니어링 실행 과제에서 단 1.8%의 성능만 보이는 등, 아이디어 생성과 실행 능력 간 극심한 격차를 정량적으로 제시.
3. 체계적 논문 평가 수행: 5개의 최신 AI Scientist 시스템이 생성한 28편의 연구 논문을 DeepReviewer-14B로 평가하여, 현재 AI Scientist가 엄밀한 실험을 수행하고 고품질 논문을 산출할 실행 능력이 부족함을 실증.
4. 근본 원인 심층 논의 및 윤리적 고려: 구현 격차(implementation gap)의 근본 원인을 심층적으로 논의하고, AI Scientist 발전에 따른 윤리적 규제 이슈를 검토하여 향후 연구 방향을 제안.

How

The roadmap of AI Scientist from 2024 to future, highlighting key milestones and fundamental challenges

• AI Scientist와 일반 scientific tool(예: AlphaFold)을 개념적으로 구분하고, 전자를 연구 질문(𝒬init)을 입력받아 도메인 지식(𝒦domain)을 활용하여 인간 윤리 제약(ℛhuman)과 자원 제약(ℬres) 하에서 새로운 지식(𝒦new)과 검증 가능한 산출물(𝒜sci)을 생성하는 수식(1)으로 정형화
• 기존 복잡 엔지니어링 과제 벤치마크(예: PaperBench)에서 LLM들의 실행 성능 데이터를 수집·비교하여 아이디어 생성과 실험 실행 간 성능 격차를 정량적으로 분석
• The AI Scientist-v2, CycleResearcher, Zochi 등 5개의 advanced AI Scientist 시스템이 생성한 28편의 논문을 대상으로 state-of-the-art review model인 DeepReviewer-14B를 활용해 시뮬레이션된 peer-review 프로세스로 논문 품질을 평가
• 2024년부터 미래까지의 AI Scientist 발전 로드맵(Figure 1)을 통해 주요 마일스톤과 구현 격차(implementation gap)라는 핵심 도전 과제를 시각적으로 정리

Originality

• 기존 연구들이 AI Scientist의 아이디어 생성 능력을 성과의 척도로 삼은 것과 달리, 실행/구현 능력을 병목으로 지목하는 새로운 관점(position)을 제시
• AI Scientist를 scientific tool과 구분하는 수학적 정의(수식 1)를 최초로 공식화하여 개념적 명확성을 제공
• DeepReviewer-14B를 활용해 실제 AI Scientist 시스템이 생성한 논문 28편을 체계적으로 평가하는 실증적 방법론을 결합한 point

Limitation & Further Study

• 28편이라는 상대적으로 제한된 논문 표본과 5개 시스템에 국한된 평가로 일반화 가능성에 한계가 있을 수 있음
• DeepReviewer-14B라는 단일 자동 심사 모델에 의존한 평가로, 인간 전문가 심사와의 정합성 검증이 충분하지 않을 수 있음
• position paper 특성상 구현 격차를 해소하기 위한 구체적 기술적 해법(예: 새로운 아키텍처나 학습 방법)은 제시하지 않고 문제 제기와 방향성 제안에 그침
• 후속 연구로는 실제 실행 능력을 향상시키는 구체적 알고리즘/프레임워크 개발과, 인간 심사와의 상관성 검증을 포함한 대규모 실증 연구가 필요함

Evaluation

총평: AI Scientist 연구의 과열된 낙관론에 균형 잡힌 시각을 제공하며, 구현 능력이라는 핵심 병목을 정량적·체계적 증거로 설득력 있게 논증한 시의적절하고 가치 있는 position paper이다.