Automating Cognitive Distillation for Expert-Level Scientific Literature Synthesis

Motivation

• Known: 기존 LLM 기반 자동 literature review 시스템은 몇 시간 만에 survey 형태의 텍스트를 생성할 수 있지만, citation hallucination과 얕은 논증 구조 등으로 인해 전문가가 작성한 리뷰 수준에는 미치지 못한다는 것이 알려져 있다.
• Gap: cognitive distillation을 위해서는 도메인별 평가 기준·용어에 대한 보정, 학문 전체 계보를 포괄하는 comprehensive literature pool 구축, 그리고 연구들 간 논증적 관계를 파악하는 능력이 필요하지만, 기존 시스템들은 이 세 요소를 체계적으로 다루지 못해 도메인 특화성, 문헌 포괄성, citation grounding 측면에서 한계를 보인다.
• Why: 과학 논문 출판량이 전문가의 synthesis 역량을 앞지르면서 지식 통합과 학제 간 교류가 지연되는 구조적 병목이 발생하고 있어, 신뢰할 수 있는 evidence-grounded 방식으로 대규모 문헌 종합을 자동화하는 것이 시급하다.
• Approach: SurveyMaster는 연구 설명을 입력받아 discipline-specific writing skill 보정, 160-million-paper 규모 데이터베이스에 대한 seed-paper 기반 hierarchical retrieval, core papers 중심의 conceptual backbone 구성이라는 세 단계로 cognitive distillation을 수행한다.

Achievement

Figure 3. Overall benchmark performance across disciplines. Bars show the mean overall score for each automatic method i

1. SciSurveyBench 최고 성능: 10개 자연·사회과학 분야 모두에서 SurveyMaster가 가장 높은 overall score를 기록했다.
2. 전문가 수준 근접·초과: topical relevance, coverage, coherence, critical analysis 항목에서 전문가 작성 리뷰와 동등하거나 이를 능가했으며(critical analysis 4.06/5 vs 3.45/5), instruction adherence와 content relevance에서도 격차가 각각 0.13, 0.31점에 불과했다.
3. citation grounding 대폭 개선: 최강 자동화 baseline 대비 fact correctness를 3.63→4.84, citation precision을 3.62→4.49로 향상시켜 citation hallucination 문제를 크게 완화했다.
4. ablation을 통한 설계 검증: writing skill, seed survey 기반 retrieval, core paper 선택 각각을 제거했을 때 성능이 저하됨을 확인해, 성능 향상이 prompt-level tuning이 아닌 세 가지 구조적 설계에서 기인함을 입증했다.

How

Figure 1. Overview of SurveyMaster for expert-level literature review generation.

• Preparation 단계: 입력 query에서 discipline과 topic을 식별하고, 14개 분야를 포괄하는 pre-built skill library에서 해당 discipline의 writing skill(exposition style, section organization, figure roles 지침 포함)을 검색한다. skill library는 인간 작성 리뷰들을 LLM으로 요약하고 도메인 전문가가 검증하여 오프라인으로 구축했다.
• Seed-driven hierarchical retrieval 단계: PasaMaster 검색 엔진을 통해 권위 있는 seed survey를 소수 검색하고, 이를 LLM이 계층적 research outline(thematic aspect → keyword expression)으로 변환한 뒤, 이 확장된 키워드 집합으로 논문을 검색한다. 검색된 논문은 abstract embedding과 survey topic 간 cosine similarity 기반 relevance filter, 중복 제거, metadata 보완을 거쳐 paper pool에 편입된다.
• Core-paper selection 단계: paper pool에서 LLM이 전체의 5% 미만에 해당하는 core paper를 선정하고 이를 thesis-bearing bucket으로 조직화한다. 각 논문은 milestone, method, foundation, theory, survey 등 역할 태그가 부여되며, venue·citation count·impact factor 등 명시적 metadata를 근거로 선정이 이루어진다. 후보 pool이 context window를 초과할 경우 고인용 논문부터 초기 bucket을 구성하고 이후 batch를 점진적으로 병합하는 2단계 절차를 사용한다.
• Core-paper-guided structuring and writing 단계: core paper가 형성한 conceptual backbone을 중심으로 나머지 문헌을 조직화하여 section별 evidence set을 구성하고, 이를 기반으로 section-by-section 방식으로 최종 manuscript와 figure/table을 생성한다.

Originality

• survey generation을 단순 텍스트 생성이 아닌 writing skill, paper pool, core paper backbone, section-level evidence set을 포함하는 evidence-grounded cognitive distillation 문제로 재정식화했다.
• 160-million-paper 규모 데이터베이스에서 seed survey 기반 hierarchical keyword expansion을 통해 인기 subarea 편향을 줄이고 학문 전체 계보를 포괄하려는 retrieval 전략을 제시했다.
• 논문 metadata(venue, citation count, impact factor)에 조건화된 core-paper selection으로 LLM의 parametric knowledge에 의존하지 않는 conceptual backbone 구성 방식을 도입했다.
• 10개 학문 분야, 100개 전문가 curated task로 구성된 SciSurveyBench라는 multidisciplinary benchmark와 citation grounding을 포함한 multidimensional 평가 프로토콜을 새로 제안했다.

Limitation & Further Study

• 논문 발췌에는 SciSurveyBench의 세부 평가자(전문가 vs LLM judge) 구성과 채점 신뢰도에 대한 구체적 설명이 제한적이어서, 평가의 주관성 및 재현성에 대한 추가 검증이 필요하다.
• 14개 분야로 한정된 pre-built skill library의 확장성과, 신흥 분야나 학제 간 융합 주제에 대한 대응력은 추가 연구가 필요하다.
• core paper selection이 LLM의 metadata 해석 능력에 크게 의존하므로, metadata 품질이 낮거나 불완전한 신생 분야에서는 성능 저하 가능성이 있다.
• citation grounding 개선이 여전히 완벽한 수준(5.0)에 도달하지 못했으며, 잔여 hallucination에 대한 정량적 오류 분석이 부족하다.

Evaluation

총평: 전문가 수준 문헌 리뷰 자동 생성을 세 가지 구조적 설계(writing skill, hierarchical retrieval, core-paper backbone)로 분해하고 이를 새로운 multidisciplinary benchmark로 엄밀히 검증한 실용적이고 설득력 있는 연구이다. 다만 workshop paper 특성상 세부 평가 방법론과 한계 분석이 더 보강될 여지가 있다.