AgentExpt: Automating AI Experiment Design with LLM-based Resource Retrieval Agent

Motivation

• Known: 기존 연구는 baseline/dataset 추천을 위해 supervised text classification, dense retrieval, graph-based model, collaborative filtering 등을 활용해왔으며, Paper With Code와 같은 portal-curated inventory에서 후보를 추출하는 방식이 주로 사용되어 왔다.
• Gap: 기존 방법들은 (1) portal 기반 커버리지 한계로 실제 문헌에서 사용된 baseline/dataset을 충분히 반영하지 못하고, (2) first-person description과 metadata에만 의존해 context-dependent한 suitability를 제대로 모델링하지 못하며, (3) baseline과 dataset 선택을 분리해서 다뤄 둘 사이의 joint compatibility를 무시한다는 세 가지 한계를 갖는다.
• Why: baseline과 dataset 선택은 연구 아이디어를 구체적 evaluation protocol로 전환하는 핵심 결정으로, 결과의 validity와 comparability를 좌우하기 때문에 이를 신뢰성 있게 자동화하는 것은 AI 연구 workflow 전체의 자동화(idea generation, paper writing 등)를 완성하는 데 필수적인 단계이다.
• Approach: 십 년간 열 개 주요 AI venue에서 수집한 accepted papers로부터 실제 사용된 baseline/dataset을 링크한 대규모 knowledge base를 구축하고, 이를 기반으로 first-person self-description과 third-person citation context를 통합한 retriever와 baseline-dataset interaction chain을 reasoning prior로 활용하는 LLM reranker를 결합한다.

Achievement

Figure 2. Pipeline for constructing the AGENTEXPT knowledge base. We (1) download and parse papers (from flagship AI con

1. 대규모 knowledge base 구축: 108,825편의 accepted papers를 PDF 파싱과 LLM-assisted extraction, entity normalization, source linking을 통해 baseline/dataset과 링크하여 실제 사용 패턴을 반영한 고정밀 데이터셋을 만들었다.
2. collective perception-enhanced retriever 설계: 각 baseline/dataset에 대해 downstream 논문의 citation context를 community-level perception signal로 추출·요약하여 self-description과 결합한 dual-view representation을 구성하고, 이를 기반으로 embedding model을 fine-tuning했다.
3. reasoning-augmented reranker 설계: P-B-P-D 및 P-D-P-B interaction chain을 reasoning trace로 구성하고 이를 reasoning prior로 삼아 LLM을 fine-tuning하여 해석 가능한 justification을 동반한 refined ranking을 생성했다.
4. 성능 검증: 네 계열의 baseline 대비 가장 강력한 baseline 대비 평균 Recall@20 +5.85%, HitRate@5 +8.30%, HitRate@10 +7.90%의 성능 향상을 달성했으며, ablation을 통해 collective perception이 retrieval 성능 향상에, interaction-chain reasoning이 hit rate 향상에 각각 크게 기여함을 확인했다.

How

Figure 4. Illustration of Collective Perception Augmented Retrieval

• ten flagship AI venue에서 accepted papers를 자동 수집하는 pipeline을 구축하고 PDF의 experiment section을 파싱, LLM-assisted extraction으로 baseline/dataset mention을 식별
• entity normalization과 source linking으로 naming variation을 해소하고 canonical component에 매핑하여 high-precision paper-component linkage 완성
• 각 baseline/dataset에 대해 citation context를 추출하고 이를 aggregate usage profile로 요약, self-description과 통합한 dual-view representation 구성 후 embedding model fine-tuning (collective perception-enhanced retriever)
• P-B-P-D, P-D-P-B interaction chain을 추출해 reasoning chain을 구성하고, 이를 reasoning prior로 활용해 LLM을 fine-tuning하여 reranking 수행 (reasoning-augmented reranker)
• Recall@20, HitRate@5, HitRate@10을 지표로 사용해 네 계열 baseline과 비교 평가 및 ablation study 수행

Originality

• portal-curated inventory가 아닌 실제 accepted papers의 experiment section에서 직접 baseline/dataset 사용 정보를 추출하는 literature-grounded knowledge base 구축 방식
• first-person self-description과 third-person citation context를 결합한 dual-view representation을 통해 community-level perception을 retrieval에 반영하는 collective perception 개념 도입
• baseline과 dataset을 분리하지 않고 paper-mediated interaction chain(P-B-P-D, P-D-P-B)을 reasoning prior로 활용해 LLM reranker를 fine-tuning하는 reasoning-augmented reranking 설계
• 해석 가능한 justification을 동반한 recommendation을 제공하는 점에서 기존 blackbox retrieval/classification 방법과 차별화

Limitation & Further Study

• 지식베이스가 특정 ten flagship AI venue로 한정되어 있어 타 분야나 신생 venue에 대한 일반화 가능성이 제한적일 수 있음
• LLM-assisted extraction과 entity normalization 과정에서 발생할 수 있는 오류나 noise가 downstream 성능에 미치는 영향에 대한 심층 분석이 부족해 보임
• reasoning-augmented reranker의 interpretability가 실제 연구자의 의사결정에 얼마나 신뢰할 만한지에 대한 human evaluation이나 case study가 제한적일 가능성
• 향후 연구로 다양한 도메인 확장, 실시간 업데이트되는 knowledge base 유지, 그리고 human-in-the-loop 검증을 통한 신뢰성 강화가 필요

Evaluation

총평: baseline/dataset 추천이라는 실용적이지만 상대적으로 덜 탐구된 문제를 대규모 실제 문헌 기반 knowledge base와 collective perception, reasoning-augmented reranking이라는 두 가지 참신한 설계로 체계적으로 해결한 견실한 연구로, AI 연구 자동화 파이프라인의 중요한 공백을 메운다는 점에서 의미가 크다.