ARA: Agent-Native Research Artifacts

Motivation

• Known: 기존 연구에서는 FAIR data, RO-Crate, Nanopublications, AGENTS.md 등 데이터 아카이빙이나 코드 문서화의 단편적 표준들이 존재하며, AI 에이전트가 논문을 읽고 코드를 실행해 연구를 보조하는 시도(AI Scientist 등)가 늘고 있다.
• Gap: 기존의 어떤 프로토콜도 과학적 논리, 실행 가능한 코드, 탐색 과정(실패 기록)을 하나의 조작 가능한 객체로 통합하여 제공하지 않으며, 논문 PDF는 human reviewer에게는 충분하지만 agent가 재현·확장하기에는 근본적으로 불충분하다는 구조적 공백이 존재한다.
• Why: AI 에이전트가 이제 실험을 계획하고 코드를 실행하며 연구 결과를 이해·재현·확장하는 역할을 맡게 되면서, 인간 독자에게는 허용 가능했던 정보 손실이 에이전트 기반 과학 생태계에서는 치명적인 병목이 되기 때문에 이 문제는 시급하다.
• Approach: 연구 프로젝트의 branching 구조를 그대로 보존하는 agent-executable 패키지 형태의 ARA 프로토콜을 정의하고, 이를 생성·변환·검증하는 세 가지 메커니즘(Live Research Manager, ARA Compiler, ARA Seal)으로 구성된 생태계를 구축했다.

Achievement

1. 정량적 비용 규명: METR eval-analysis-public 데이터셋(24,008 agent runs) 분석을 통해 실패한 실행이 전체 비용의 90.2%를 차지함을 보이고, PaperBench의 8,921개 재현 요구사항 중 45.4%만이 PDF에 충분히 명시되어 있음을 정량적으로 입증했다.
2. ARA 프로토콜 설계: 과학적 논리(/logic), 실행 코드(/src), 탐색 그래프(/trace), 근거 증거의 4개 레이어로 구성된 file-system 기반 아티팩트 구조를 제안하고, PAPER.md manifest를 통한 progressive disclosure 메커니즘을 설계했다.
3. 성능 향상 입증: PaperBench와 RE-Bench에서 ARA 적용 시 질의응답 정확도를 72.4%에서 93.7%로, 재현 성공률을 57.4%에서 64.4%로 크게 향상시켰다.
4. 생태계 도구 구축: 개발 중 결정과 dead end를 자동 캡처하는 Live Research Manager, 레거시 PDF·저장소를 ARA로 변환하는 ARA Compiler, 4단계 검증 파이프라인인 ARA Seal을 구현했다.

How

• PAPER.md에 YAML frontmatter와 layer index를 두어 에이전트가 약 500 token 내에서 관련성을 triage하도록 설계
• /logic 레이어: problem.md, solution/, claims.md, experiments.md, related_work.md로 구성해 falsifiable claims와 typed dependency를 명시
• /src 레이어: 알고리즘 작업은 kernel mode(핵심 모듈, typed I/O), 시스템 작업은 repository mode(index.md로 파일-컴포넌트 매핑)를 사용하고 configs/에 모든 hyperparameter의 rationale과 search range를 주석
• /trace 레이어: exploration_tree.yaml에 decision, experiment, claim, heuristic, dead_end, pivot, observation의 7가지 typed event로 연구 DAG를 저장, LRM이 이를 실시간 캡처
• ARA Compiler로 레거시 PDF·repo를 프로토콜 준수 ARA로 변환, ARA Seal이 구조적 검증·논증적 엄밀성 감사·예산 인지형 재현을 자동 수행
• PaperBench, RE-Bench 벤치마크 및 METR eval-analysis-public 데이터셋을 활용해 정량 평가 수행

Originality

• 연구 과정 전체(실패, 탐색, 판단)를 하나의 agent-executable 아티팩트로 통합하는 최초의 포괄적 프로토콜 제안
• Storytelling Tax와 Engineering Tax라는 개념적 프레임을 통해 논문이라는 매체의 손실을 정량적으로 규명한 실증 분석(METR 데이터, PaperBench 요구사항 분류)
• 4-layer 아키텍처(논리, 코드, 탐색 그래프, 증거)와 이를 지원하는 3대 메커니즘(LRM, Compiler, Seal)의 통합 생태계 설계
• 실패 기록 보존이 에이전트의 재현 속도를 높이지만 동시에 탐색의 자유도를 제약할 수 있다는 양면적 실증 관찰(RE-Bench extension tasks)

Limitation & Further Study

• RE-Bench의 open-ended extension task에서 보존된 실패 흔적이 유능한 에이전트가 기존 실행의 틀을 벗어나는 것을 오히려 저해할 수 있다는 한계가 관찰되며, 이는 에이전트 능력 수준에 따라 다르게 작용
• ARA 생성·변환·검증 파이프라인(LRM, Compiler, Seal)의 확장성과 다양한 연구 분야·도메인에 대한 일반화 가능성에 대한 추가 검증이 필요
• 현재 평가가 PaperBench, RE-Bench라는 특정 벤치마크에 제한되어 있어 실제 학술 생태계 전반에서의 채택 가능성과 human reviewer와의 상호작용에 대한 장기적 검증이 부족
• 후속 연구로 탐색 그래프의 정보량과 에이전트의 자율적 탐색 균형을 조절하는 메커니즘, 그리고 대규모 커뮤니티 채택을 위한 표준화 노력이 필요

Evaluation

총평: 논문 중심의 과학 커뮤니케이션 패러다임을 에이전트 시대에 맞게 근본적으로 재구성하려는 시의적절하고 야심찬 시도로, 정량적 근거와 구체적 프로토콜 설계가 설득력 있으나 실제 커뮤니티 채택과 확장성 검증은 향후 과제로 남아있다.