Towards Recursive Self-Evolving Agentic Literature Retrieval

Motivation

• Known: 기존 문헌 검색 패러다임은 Level 0(Lexical Retrieval, 예: Google Scholar, PubMed)부터 Level 3(Fixed-Pipeline Agentic Retrieval, 예: PaSa)까지 발전해왔으며, keyword/embedding 기반 시스템은 출처 신뢰성을 보장하지만 복잡한 의도를 압축시키고, 대형 LLM(예: GPT-5.2, Gemini 3.1 Pro)은 의도 이해력은 뛰어나지만 인용 환각(hallucination)을 유발한다.
• Gap: Fixed-Pipeline Agentic Retrieval조차 초기에 사용자 의도 해석이 고정되어 이후 검색 단계에서 관련 하위 주제를 놓치거나 일부 제약만 충족하는 논문을 반환하는 문제가 있으며, 검색 과정 중 의도를 지속적으로 갱신하는 능력이 부재하다.
• Why: 과학적 탐구의 출발점인 문헌 검색에서 복잡한 연구 의도를 정확히 이해하면서도 모든 반환 출처가 실재하고 검증 가능해야 한다는 요구는 LLM 시대에 더욱 중요해졌으며, 이를 해결하지 못하면 연구자의 신뢰를 저해하고 잘못된 지식 축적으로 이어질 수 있다.
• Approach: PaSaMaster는 Navigator(인지적 계획 계층)와 Librarian Swarm(병렬 검색·순위화 계층), 검증된 코퍼스 및 도구 계층으로 구성된 3계층 agentic 시스템으로, 순위화된 근거를 바탕으로 검색 의도를 지속적으로 정제하는 Recursive Self-Evolving 구조를 채택한다.

Achievement

Fig. 2 Retrieval quality, source hallucination and ranking performance on PaSaMaster-

1. 검색 성능 대폭 향상: PaSaMaster-Bench의 38개 학문 분야에서 Google Scholar 대비 16.5배 높은 F1-score, GPT-5.2 대비 37.8% 높은 F1-score를 달성함.
2. 비용 효율성: GPT-5.2 대비 약 1%의 비용으로 우수한 성능을 달성하여, frontier LLM은 의도 이해에만 사용하고 검색·스코어링은 경량 모델과 맞춤형 코퍼스에 위임하는 설계의 효과를 입증함.
3. 환각 제거: 생성형 LLM에서 32.66%에 달하던 출처 환각률을 0%로 감소시켜 검증된 논문만을 순위화하는 hallucination-free ranking의 유효성을 입증함.
4. PaSaMaster-Bench 구축: 38개 학문 분야, 244개 과제로 구성된 벤치마크를 제작하여 의도 이해, 출처 신뢰성, 순위 품질을 종합적으로 평가할 수 있는 기반을 마련함.

How

Fig. 1 Overview of PaSaMaster and PaSaMaster-Bench. a, PaSaMaster converts a

• Navigator (인지적 계획 계층): 자연어 검색 의도의 모호성 해소, 제약 체크리스트(constraint checklist) 구성, 검색 전략 생성, 반영 및 정제(reflection & refinement)를 수행
• Librarian Swarm (병렬 검색·순위화 계층): 다중 채널 검색(multi-channel retrieval), 근거 검증(evidence verification), 의도-논문 스코어링(intent-paper scoring), 기준 기반 재순위화(criteria-based reranking) 수행
• 검증된 코퍼스 및 도구 계층: 17억 개 규모의 과학 코퍼스, 웹 검색/방문 도구, 검색 도구, 메타데이터/초록/청크 읽기 도구를 활용해 모든 출력을 실재 출처에 근거시킴
• Self-evolving retrieval: 순위화된 근거가 다음 검색 라운드를 안내하도록 피드백 루프 구성
• Cost-efficient separation: frontier LLM은 계획에, 경량 에이전트는 검색과 스코어링에 사용하여 비용 절감
• PaSaMaster-Bench 구축: 전문가가 작성한 검색 의도, 다중 채널 후보 검색, 체크리스트 기반 전문가 주석(annotation)을 통해 244개 과제로 구성된 벤치마크 설계

Originality

• 문헌 검색을 one-shot query-document matching이 아닌 Recursive Self-Evolving intent-paper relevance ranking 과정으로 재정의한 패러다임 전환
• 기존 5단계 패러다임(Lexical, Semantic, Generative LLM, Fixed-Pipeline Agentic)을 정리한 Table 1을 통해 Level 4라는 새로운 범주를 제시하고 자사 시스템을 위치시킨 프레임워크적 기여
• planning과 retrieval을 분리하여 frontier LLM과 경량 모델의 역할을 명확히 나눈 cost-efficient 아키텍처 설계
• 증거 기반 근거(evidence snippet, reasoning)를 포함한 hallucination-free ranking 방식으로 신뢰성과 설명 가능성을 동시에 확보

Limitation & Further Study

• 벤치마크가 244개 과제, 38개 분야로 구성되어 있으나 특정 분야(AI/Computing, Medicine)에 편중되어 있어 일반화 가능성에 대한 추가 검증이 필요함
• 비교 대상이 Google Scholar와 GPT-5.2 등 소수 시스템에 국한되어 있어 다양한 최신 agentic retrieval 시스템과의 비교가 부족할 수 있음
• 반복적 self-evolving 과정의 수렴성, 반복 횟수에 따른 비용-성능 트레이드오프에 대한 심층 분석이 본문 발췌에서는 충분히 드러나지 않음
• 향후 연구로는 더 넓은 학문 분야로의 확장, 실시간 코퍼스 업데이트, 다국어 문헌에 대한 적용 가능성 검토가 필요함

Evaluation

총평: 복잡한 연구 의도 이해와 출처 신뢰성이라는 오랜 트레이드오프를 agentic Recursive Self-Evolving 구조와 계획-검색 분리를 통해 효과적으로 해결한 실용적이고 의미 있는 연구이며, 벤치마크 구축까지 포함한 종합적 기여가 돋보인다.