A Multi-Agent LLM Framework with Hierarchical Citation Graph for Automated Survey Generation

Motivation

• Known: 기존 LLM 기반 자동 survey 생성 연구들은 사용자 쿼리로부터 관련 논문을 검색·요약하여 outline과 full survey를 생성하는 기본 파이프라인(검색-요약-작성)을 따른다.
• Gap: 기존 방법들은 논문 간 citation 관계, 방법론적 연결, 하위 주제 의존성 등 구조적 관계를 무시하고, 단순히 개별 논문 요약을 이어붙이는 방식으로 outline과 survey를 구성해 taxonomy 일관성 부족과 long-context 문제를 야기한다.
• Why: 연구 문헌이 기하급수적으로 증가하는 상황에서 구조적·맥락적 지식을 반영한 고품질 자동 survey 생성은 연구자의 문헌 이해와 최신 동향 파악에 실질적으로 기여할 수 있는 중요한 문제이다.
• Approach: 논문 간 citation dependency와 semantic relatedness를 edge weight로 통합한 hierarchical citation graph를 3계층(Foundation, Development, Frontier)으로 구성하고, 계층 내 horizontal search와 계층 간 vertical traversal을 결합해 multi-level summary를 생성한 뒤, 이를 multi-agent 프레임워크로 통합해 outline과 full survey를 작성하고 검증한다.

Achievement

Figure 4. LLM-as-a-judge evaluation of human-written ground-truth surveys, SurveyForge, and SurveyG across ten topics us

1. SurGE 벤치마크 성능 우위: 10개 컴퓨터 과학 주제에서 Coverage, Structure, Relevance, Synthesis, Critical Analysis 5개 지표에 대해 기존 state-of-the-art 자동 survey 생성 프레임워크들을 능가함을 human expert 및 LLM-as-a-judge 평가로 입증했다.
2. 계층적 지식 표현 제안: citation과 semantic similarity를 동시에 반영하는 hierarchical citation graph 구조를 설계하여 연구의 진화 과정(Foundation→Development→Frontier)을 모델링했다.
3. Graph 기반 traversal을 통한 multi-aspect 요약 생성: horizontal/vertical traversal을 결합해 방법론적 기반, 발전 추세, 최신 동향을 포괄하는 다각도 요약을 생성하는 메커니즘을 제시했다.
4. RAG와 계층적 요약을 결합한 multi-agent 프레임워크: writing agent와 evaluation agent 간 협업을 통해 일관성, 커버리지, 사실 정확성을 보장하는 검증 단계를 도입했다.

How

Figure 2. Starting from a user’s query, SurveyG retrieves and filters relevant papers (step 1-2), builds a hierarchical

• 사용자 쿼리를 LLM으로 확장해 다양한 키워드를 생성하고, 이를 통해 crawling module로 관련 논문을 검색·수집한다.
• 수집된 논문들 간 citation link와 semantic similarity(텍스트 임베딩 코사인 유사도, 식 (1))를 기반으로 edge weight를 계산해 flat graph Ĝ = (V, E)를 구성한다.
• 논문 유형별(survey, methodological, benchmark, theoretical 등) 맞춤형 prompt template으로 각 노드에 요약(summary)과 메타데이터를 attribute로 부여한다.
• trend score(citation count / (1 + 발행 경과연수), 식 (2))를 기준으로 상위 K개 논문을 Foundation layer로 지정하고, 시간 기준점 T 이전/이후 논문을 각각 Development, Frontier layer로 분류해 3계층 hierarchical graph G = (V, E, L)를 완성한다.
• 계층 내에서는 weighted BFS 기반 horizontal summarization을, 계층 간에는 vertical summarization(traversal)을 반복(Tmax회) 수행해 multi-level summary를 도출한다.
• Writing Agent와 Evaluation Agent로 구성된 multi-agent 구조를 통해 outline generation과 paper fulfillment(하위 섹션 작성, 관련성 보강, RAG 기반 재검토) 단계를 거쳐 최종 survey를 완성한다.

Originality

• citation dependency와 semantic relatedness를 하나의 그래프에 weighted edge로 통합해 Foundation-Development-Frontier라는 3계층 구조로 조직화한 hierarchical citation graph 개념을 제시한 점이 새롭다.
• 단순 논문 요약 concatenation 방식에서 벗어나 horizontal(계층 내)과 vertical(계층 간) traversal을 결합한 multi-level summarization 전략을 도입했다.
• trend score라는 정량 지표(citation count 대비 경과연수)를 통해 Foundation layer를 자동으로 정의하는 방식이 실용적이며 독창적이다.
• RAG 기반 memory와 hierarchical summary를 결합해 multi-agent validation(outline evaluation, subsection review, related augment)을 수행하는 구조가 기존 프레임워크 대비 차별점을 지닌다.

Limitation & Further Study

• Foundation/Development/Frontier 구분 기준(trend score 임계값 K, 시간 landmark T)이 다소 임의적이며, 분야별 특성에 따라 최적값이 달라질 수 있어 일반화 가능성에 대한 추가 검증이 필요하다.
• 논문 발췌 내용상 정량적 실험 결과(구체적 수치, 비교 baseline 성능)가 충분히 제시되지 않아 성능 우위의 정도와 통계적 유의성을 판단하기 어렵다.
• citation 정보 및 semantic embedding 품질이 crawling module과 text encoder 성능에 크게 의존하므로, 불완전한 메타데이터나 폐쇄형 논문에 대한 강건성이 불확실하다.
• multi-agent 및 multi-round traversal(Tmax) 구조로 인한 계산 비용과 API 호출 비용에 대한 분석이 부족해 실제 배포 시 확장성 검토가 추가로 필요하다.
• 후속 연구로 다양한 분야(비 컴퓨터 과학)에 대한 일반화, 그래프 구조의 동적 업데이트(신규 논문 반영), 그리고 human evaluation의 규모 확대가 요구된다.

Evaluation

총평: citation 구조와 semantic 관계를 결합한 hierarchical graph를 통해 자동 survey 생성의 taxonomy 일관성 문제를 효과적으로 해결한 실용적이고 참신한 프레임워크로, 다만 정량적 검증과 확장성에 대한 추가 분석이 보완되면 더욱 완성도 높은 연구가 될 것이다.