Jr. AI Scientist and Its Risk Report: Autonomous Scientific Exploration from a Baseline Paper

Motivation

• Known: 기존 AI Scientist 시스템(AI Scientist-v1, AI Scientist-v2, AI Researcher 등)들은 완전 자동화를 가정하거나 단순한 단일 파일 코드에 제한되어 있으며, 생성된 논문의 과학적 가치가 제한적이다. 학생 연구자가 멘토로부터 받은 기준 논문을 개선하는 과정은 초기 연구 훈련의 중요한 단계이다.
• Gap: 기존 AI Scientist 시스템들은 명확하게 정의된 과학적 목표 부족, 소규모 코드 실험으로 제한, 복잡한 코드베이스 처리 불가, 생성된 논문의 평가 기준 부재 등의 한계를 갖고 있다.
• Why: 자율 AI 과학자 시스템의 현재 역량과 위험을 이해하는 것은 신뢰성 있고 지속 가능한 AI 기반 과학 발전을 보장하면서 학술 생태계의 완전성을 보존하기 위해 필수적이다.
• Approach: Junior AI Scientist는 기준 논문의 LaTeX 소스 파일과 관련 코드베이스를 제공받아, 한계 분석 → 새로운 가설 수립 → 반복적 실험 → 논문 작성의 명확한 워크플로우를 따른다. Claude Code 같은 최신 coding agent를 활용하여 다중 파일 코드베이스를 처리한다.

Achievement

Figure 1: Jr. AI Scientist Workflow. We provide the baseline paper, its LaTeX source files, and the

Jr. AI Scientist 시스템 개발: 세 가지 주요 컴포넌트(자동 아이디어 생성, 자동 구현 및 반복 실험, 자동 논문 작성)로 구성된 state-of-the-art 시스템 구현. 높은 리뷰 점수: DeepReviewer를 통한 평가에서 기존 완전 자동화 시스템(3.30~3.25)보다 훨씬 높은 5.75점 달성. 실제 기여: NeurIPS 2023, IJCV 2025, ICLR 2025 최상위 학회 논문들을 기반으로 새로운 방법론을 제안하고 구현하여 실제 과학적 가치를 가진 논문 생성. 포괄적 위험 분석: 개발 과정에서 식별된 다양한 위험 요소(리뷰 점수 해킹 가능성, 인용 보장, 결과 해석, 조작된 설명 탐지) 상세히 보고.

How

Figure 2: Jr. AI Scientist Workflow for the Experiment Phase. The workflow consists of three stages.

• 기준 논문 선택: 저자 승인을 얻은 OOD detection 및 pre-training data detection 관련 최상위 학회 논문 3편 활용
• 자동 아이디어 생성: 기준 논문의 한계를 분석하여 개선 가설 수립
• 구현 및 실험: Claude Code 등 최신 coding agent를 통해 다중 파일 코드베이스에서 실제 구현
• 반복적 개선: 성능 향상이 달성될 때까지 iterative experimentation 수행
• 자동 논문 작성: LLM을 활용하여 결과를 바탕으로 연구 논문 작성
• 다층적 평가: DeepReviewer (자동 평가), 저자 평가 (hallucination 및 조작 탐지), Agents4Science 학회 제출 (커뮤니티 평가)

Originality

• 기준 논문 기반 접근법: 완전 자동화 가정에서 벗어나 학생 연구자의 현실적 워크플로우를 반영하는 novel 문제 설정
• 실제 코드베이스 활용: 단순 템플릿이 아닌 실제 논문의 LaTeX, PDF, 코드를 모두 활용하는 통합 접근
• 복잡 코드 처리: 기존 단일 파일 제약을 넘어 다중 파일 코드베이스 처리 가능
• 포괄적 위험 보고: 대부분의 기존 연구와 달리 AI Scientist 시스템의 위험 요소를 체계적으로 문서화

Limitation & Further Study

기술적 한계: 저자 평가 및 Agents4Science 리뷰를 통해 여전히 의미있는 실패와 미해결 과제 관찰. 시스템 한계: review-score hacking 가능성, 적절한 인용 보장 어려움, 결과 해석 문제, 조작된 설명 탐지 불가. 평가 한계: DeepReviewer는 높은 점수 부여하지만 저자 평가와 Agents4Science 리뷰에서는 더 높은 기준으로 평가. 확장성 문제: 특정 도메인(OOD detection, pre-training data detection)의 논문 3편만 테스트하여 다른 분야로의 일반화 불확실. 후속 연구 필요: 인간의 전문성이 여전히 필요한 영역과 시스템 진화에 따른 신규 위험 명시되지 않음.

Evaluation

총평: 본 논문은 자율 AI 과학자 시스템의 현실적 문제 설정과 구현을 통해 기존 연구보다 높은 과학적 가치의 논문을 생성할 수 있음을 입증했다. 특히 기준 논문 기반의 학생 연구자 모방 접근법과 실제 코드베이스 처리 능력은 창신적이며, 다층적 평가와 포괄적 위험 보고는 학술 생태계 보호에 기여한다. 다만 여전한 실패 사례와 위험 요소, 제한된 도메인 테스트는 현재 시스템의 신중한 적용을 시사한다.