NeuriCo: Towards reliable AI scientists

Motivation

• Known: 기존 연구들(The AI Scientist, Agent Laboratory, AI-Researcher, CycleResearcher 등)은 machine learning, chemistry, biology 등에서 AI가 연구를 end-to-end로 수행할 수 있음을 보여주었고, MLAgentBench, PaperBench, MLGym, MLR-Bench 등 벤치마크들이 실험 수행, 논문 재현, open-ended 연구 과제에 대한 평가를 제공해왔다.
• Gap: 기존 시스템과 벤치마크는 파이프라인이 "작동한다"는 것은 보여주지만, 그 파이프라인이 "어디서 신뢰성 있게 실패하는지"는 보여주지 못했으며, 단발적 벤치마크 점수로는 지속적·다양한 연구 아이디어에 걸친 실패 패턴을 포착하기 어렵다.
• Why: AI를 연구에 신뢰성 있게 활용하려면 언제 결과를 신뢰하고 언제 인간이 개입해야 하는지 알아야 하는데, 이는 실패 지점을 체계적으로 파악해야만 가능하기 때문에 이 연구는 AI 과학자 시스템의 실제 배포와 인간-AI 협업 설계에 직접적인 함의를 제공한다.
• Approach: 커뮤니티가 주도하는 주간 연구 경진대회 형태로 NeuriCo를 20주간 실제 운영하여 60개 이상의 아이디어에 대해 3개의 서로 다른 coding agent(Claude Code, Codex, Gemini CLI)를 병렬로 실행하고 그 결과를 정성적으로 분석했다.

Achievement

1. 다중 provider 병렬 파이프라인 구축: literature review, resource gathering, experiment execution, analysis의 4단계로 구성되고 각 단계에서 inspectable artifact를 Git에 남기는 오픈소스 시스템 NeuriCo를 개발하고 실제 배포했다.
2. 대규모 실증 데이터 수집: 20주간 180회의 agent run, 60개 이상의 ML 연구 아이디어에 걸친 실제 사용 데이터를 축적하여 단발성 벤치마크로는 드러나지 않는 지속적 실패 패턴을 관찰했다.
3. 강점과 약점의 명확한 구분: agent가 literature synthesis, smart data filtering, honest statistical reporting(null result 포함)에는 강하다는 것을 확인했다.
4. 네 가지 반복적 실패 모드 규명: first path only, no self-questioning(synthetic-data fallback 포함), cannot judge quality, misses deep structure(예: text length가 95% accuracy를 대부분 설명하는 것을 놓침)라는 공통 실패 패턴을 provider와 아이디어에 무관하게 관찰했다.
5. meta-intelligence gap 개념 제시: 실행 능력과 판단 능력 사이의 구조적 격차를 개념화하고, 이를 근거로 stage separation, human checkpoint, multi-provider divergence 감지 등 시스템 설계 원칙을 도출했다.

How

NeuriCo pipeline: four stages with multi-provider paral-

• 4단계 파이프라인(Fig 1)을 Semantic Scholar/arXiv(문헌), Hugging Face/Papers with Code(데이터), Python virtual environment(실행) 등 표준 도구로 구성
• Claude Code, Codex, Gemini CLI 세 가지 coding agent를 공통 인터페이스로 감싸 동일 아이디어를 병렬 실행하고 provider 간 불일치를 신호로 활용
• resource gathering 단계 이후 인간이 개입할 수 있는 optional checkpoint를 제공하고, 기본적으로 dependency 설치·코드 실행·GitHub push 전에 승인 요청
• 모든 산출물을 Git-tracked workspace에 기록해 재현 가능성과 감사 가능성 확보
• 공개 사이트를 통해 커뮤니티가 아이디어를 제안·투표하고, 상위 득표 아이디어를 매주 NeuriCo가 실행하며 결과를 블로그로 공개
• 각 run에 proposer, voter, agent provider를 YAML 파일로 기록해 attribution 보존

Originality

• 고정된 벤치마크 태스크가 아니라 실제 커뮤니티가 제안한 살아있는 연구 아이디어 스트림을 20주간 지속적으로 운영하며 평가한다는 점에서 기존 MLAgentBench, PaperBench, MLGym류의 단발성 벤치마크와 차별화된다.
• 단일 agent 최적화 대신 동일 아이디어에 대해 여러 provider를 병렬 실행하여 그 불일치(divergence) 자체를 연구 품질에 대한 신호로 활용하는 아이디어가 독창적이다.
• "실행은 잘하지만 판단은 못한다"는 meta-intelligence gap이라는 개념을 통해 AI 과학자 실패를 태스크별 오류가 아닌 구조적·범주적 문제로 재구성했다.

Limitation & Further Study

• 워크숍 논문 형태의 짧은 발췌본으로, 정량적 실패율이나 통계적 유의성 검증 없이 사례 기반 정성적 관찰에 크게 의존하고 있어 재현성과 일반화 가능성 검증이 부족하다.
• 지금까지의 관찰이 machine learning 도메인에 국한되어 있고, physics·chemistry로의 확장은 로드맵 단계로만 언급되어 있어 실제 타 도메인에서의 실패 모드 일반화 여부는 미검증 상태다.
• 세 coding agent(Claude Code, Codex, Gemini CLI)의 구체적 버전, 실패 판정 기준, 인간 평가자의 주관성 등 방법론적 세부사항이 본문 발췌에서 충분히 제시되지 않았다.
• 후속 연구로는 agent가 "자신이 무엇을 모르는지 아는" 능력(메타인지)을 학습시키는 방향, 그리고 다중 provider 결과를 인간이 손쉽게 비교할 수 있는 도구 개발이 필요해 보인다.

Evaluation

총평: 단발성 벤치마크가 아닌 실제 커뮤니티 기반 지속적 운영을 통해 AI 과학자의 실패 패턴을 체계적으로 드러낸 시도로서 의미가 크며, meta-intelligence gap이라는 개념은 향후 AI 연구 에이전트 설계에 중요한 방향성을 제시하지만, 정량적 검증과 도메인 확장은 향후 과제로 남아있다.