Towards Self-Evolving Agentic Literature Retrieval

Motivation

• Known: 기존 문헌 검색은 keyword 기반 lexical/semantic retrieval(Level 0-1)로 신뢰성은 높지만 복잡한 연구 의도를 제대로 반영하지 못하며, Frontier LLM 기반 generative retrieval(Level 2)은 의도 이해력은 뛰어나지만 hallucination과 높은 비용 문제가 있고, Fixed-Pipeline Agentic Retrieval(Level 3, 예: PaSa)은 검증된 검색 도구를 사용하지만 초기에 고정된 의도로만 동작해 반복적 인지 갱신이 불가능하다.
• Gap: 기존 방법들은 intent adaptivity, source reliability, cost efficiency 세 가지를 동시에 만족시키지 못하는 trade-off 구조에 갇혀 있으며, 특히 검색 과정 중 랭크된 근거를 바탕으로 의도를 반복적으로 정제하는 self-evolving 메커니즘이 부재하다.
• Why: 과학 문헌의 폭발적 증가로 연구자의 인지적 한계를 넘어서는 정보 과부하가 심화되고 있어, 복잡한 연구 의도를 깊이 이해하면서도 모든 반환 결과가 실재하고 검증 가능한 신뢰할 수 있는 문헌 검색 시스템이 과학 연구 전 과정의 출발점으로서 필수적이다.
• Approach: literature retrieval을 one-shot query-document matching이 아닌, 시간에 따라 진화하는 intent-paper relevance ranking 과정으로 재정의하고, Frontier LLM은 의도 이해에만 사용하며 대규모 검색과 relevance scoring은 lightweight 모델과 customized corpora에 위임하는 방식으로 설계했다.

Achievement

1. PaSaMaster 시스템 제안: self-evolving retrieval, hallucination-free ranking, cost-efficient separation의 세 가지 핵심 설계를 결합한 agentic literature retrieval 시스템을 구축했다.
2. PaSaMaster-Bench 벤치마크 구축: 38개 과학 분야에 걸쳐 244개의 전문가 검증 복잡 검색 의도 과제를 포함하는 최초의 multidisciplinary 벤치마크를 제작했다.
3. 성능 우위 입증: 전통적 keyword retrieval 대비 F1-score를 16.5배 개선했고, GPT-5.2 대비 37.8% 높은 성능을 단 1%의 계산 비용으로 달성했으며, source hallucination을 0%로 유지했다.
4. Generative LLM의 취약점 노출: generative LLM들이 최대 32.66%에 달하는 논문 hallucination율을 보인다는 것을 실증적으로 드러냈다.

How

• Navigator (cognitive planning layer): intent disambiguation, constraint checklist construction, search strategy generation, reflection & refinement를 수행하며 Frontier LLM을 활용
• Librarian Swarm (parallel retrieval and ranking layer): multi-channel retrieval, evidence verification, intent-paper scoring, criteria-based reranking을 lightweight 모델로 병렬 수행
• Verified corpus and toolsets layer: 17억(1.7 Billion) 규모의 scientific corpora와 web/retrieval/reading tools를 활용하여 근거 기반 검증
• 검색-랭킹 결과를 다시 Navigator에 feedback으로 전달하여 strategy를 반복적으로 갱신하는 self-evolving loop 구조를 채택

Originality

• 문헌 검색을 one-shot matching이 아닌 반복적으로 진화하는 intent-paper relevance ranking 프로세스로 재정의한 패러다임 전환
• 논문을 생성(generation)하는 대신 검증된 코퍼스 내에서만 랭킹함으로써 hallucination을 원천적으로 차단하는 설계
• Frontier LLM의 planning과 대규모 retrieval/scoring을 분리하여 비용 효율성과 성능을 동시에 확보하는 아키텍처
• 복잡한 다중 제약 자연어 검색 의도를 평가하기 위한 38개 분야, 244개 과제 규모의 신규 벤치마크(PaSaMaster-Bench) 제시

Limitation & Further Study

• 벤치마크가 244개 과제로 상대적으로 규모가 크지 않아 통계적 일반화에 한계가 있을 수 있음
• 1.7 Billion 규모의 customized corpora에 의존하므로 corpus 구축 및 유지 비용, coverage 한계에 대한 논의가 부족함
• 반복적 self-evolving 루프의 수렴성이나 최적 반복 횟수에 대한 이론적 분석이 제시되지 않음
• 향후 연구로 더 다양한 언어, 더 넓은 분야 커버리지, corpus 업데이트 자동화 등의 확장이 필요함

Evaluation

총평: literature retrieval을 self-evolving intent-paper ranking 문제로 재정의하고 hallucination-free 설계와 비용 효율적 아키텍처를 결합한 실용적이고 임팩트 있는 연구로, 새로운 벤치마크 제시와 함께 실증적 성과가 인상적이다.