IRIS: An Agentic Multi-Phase Framework for Automated Scientific Literature Review

Motivation

• Known: LLM은 텍스트 생성, 요약, 질의응답에서 강력한 성능을 보여왔고, RAG pipeline과 multi-agent 기반 "deep research" agent들이 문헌 리뷰 자동화를 시도해왔다.
• Gap: 기존 single-pass generation은 커버리지가 불균일하고 hallucination이 발생하며, RAG pipeline은 한 번 retrieve 후 generate하여 누락된 subtopic을 인지하는 메커니즘이 없고, 기존 multi-agent 구조는 언제 연구를 멈출지, 섹션 draft가 부족할 때 어떻게 회복할지에 대한 명확한 기준이 없다.
• Why: 과학 문헌 리뷰는 신약 개발 등 실제 연구 파이프라인에서 반복적인 병목이며, 출처가 명시된 신뢰 가능한 자동 합성 보고서를 생성할 수 있다면 연구자와 하위 agent 모두에게 실질적 가치를 제공할 수 있다.
• Approach: 전문가가 문헌 리뷰를 수행하는 방식(계획-검색-커버리지 평가-재검색-초안 작성-비평-수정)을 모사하여, Open Deep Research의 plan→retrieve→write workflow를 확장한 explicit iteration과 reflection 기반의 3단계 agentic pipeline을 제안한다.

Achievement

1. DeepResearch-Bench 최고 성능: 50개 PhD 수준 영어 연구 과제에서 RACE overall score 53.46을 달성하여 Gemini 2.5 Pro Deep Research(48.88), OpenAI Deep Research(46.98)를 포함한 보고된 모든 상용 시스템을 능가했다.
2. 제한된 소스에서의 우위: PubMed와 ArXiv에만 국한되고 open-web retrieval이 없음에도 RACE의 4개 dimension(comprehensiveness, insight, instruction following, readability) 모두에서 1위를 차지했다.
3. claim-level citation tracking: 모든 사실 주장(factual assertion)을 구체적인 출처 구절(source passage)로 매핑하는 provenance 체계를 구현했다.

How

Figure 1. Three-phase architecture of IRIS. Arrows within phases

• LangGraph 기반 directed state graph로 3단계(Phase 1: iterative research planning, Phase 2: per-section research and writing, Phase 3: report compilation)를 orchestration
• Diversified query decomposition: 연구 주제를 core-concept, mechanistic, recent-developments, comparative 등 서로 다른 intent category로 나누어 sub-query 생성
• Reflective research expansion: LLM critic이 축적된 evidence의 topic coverage를 평가하고 sufficiency threshold에 도달할 때까지 non-redundant query를 반복 생성
• Phase 1 종료 전 선택적 human-in-the-loop plan checkpoint 제공(벤치마크 실행에서는 비활성화)
• Phase 2에서 섹션별로 source-extractor LLM이 문서에 usefulness score(1-5)를 부여하고 verbatim quote와 line number를 포함한 claim을 추출(3점 미만 문서는 폐기)
• writer LLM이 overlap 기반 aggregation heuristic(≥80% 병합, 50-79% 그룹화, 저중첩 개별 제시)으로 claim을 섹션 draft로 합성
• Critic-guided refinement: grader LLM이 content alignment(40%), scientific quality(40%), technical standards(20%) 가중 점수로 draft를 평가하고, 80% 미만 요구사항 충족 시 부족한 요소(mechanistic detail, quantitative evidence, recent findings 등)를 짚어 targeted follow-up query를 생성하는 bounded refinement loop 수행
• Model specialization: 고빈도 저비용 phase(planning, reflection, extraction, writing)에는 빠르고 저렴한 general-purpose model(Claude Sonnet 4.6)을, compounding error가 우려되는 grader에는 더 강력한 reasoning model(Claude Opus 4.6)을 배정
• 다중 search API(PubMed, ArXiv, Tavily, DuckDuckGo)에 병렬 질의하고 중복 URL을 병합하여 소스 재처리 방지

Originality

• 단순히 rewrite를 요청하는 대신 critic이 결핍된 정보 유형을 진단하고 targeted follow-up search를 처방하는 critic-guided refinement 메커니즘이 참신하다.
• reflective research expansion을 통해 sufficiency threshold 기반으로 반복 검색을 멈추는 명확한 정지 기준을 제시한 점이 기존 multi-agent deep research 시스템과 차별화된다.
• query decomposition을 Phase 1과 Phase 2 전체에서 통일된 메커니즘으로 사용해 별도의 heuristic을 도입하지 않은 설계 일관성이 돋보인다.
• token volume과 요구되는 reasoning 성격에 따라 phase별로 다른 모델(fast model vs. strong reasoning model)을 배정하는 model specialization 전략이 실용적이다.

Limitation & Further Study

• PubMed와 ArXiv에만 국한된 curated-corpus 접근이라 FACT metric(open-web retrieval 전제)으로 평가할 수 없어 citation factuality에 대한 정량적 검증이 부족하다.
• 벤치마크가 영어 50개 task에 국한되어 다국어 환경이나 더 큰 규모에서의 일반화 가능성이 검증되지 않았다.
• human-in-the-loop checkpoint가 벤치마크 실행에서는 비활성화되어 실제 상호작용 시나리오에서의 효과가 평가되지 않았다.
• reflection/critic 루프의 반복 횟수가 bounded되어 있으나 구체적인 threshold 값과 그 민감도에 대한 ablation이 제시되지 않아 설계 선택의 견고성이 불명확하다.
• 향후 연구로 open-web 소스를 포함한 FACT 기반 citation factuality 평가, 더 다양한 도메인·언어로의 확장, refinement loop 반복 횟수에 대한 체계적 ablation이 필요하다.

Evaluation

총평: reflective expansion과 critic-guided refinement라는 두 메커니즘을 통해 제한된 curated corpus만으로도 상용 deep research 시스템을 능가하는 실용적이고 잘 설계된 agentic framework를 제시했으나, citation factuality에 대한 정량 검증과 세부 ablation이 보강되면 더욱 설득력이 높아질 것이다.