/Users/jehyunlee/Documents/내노트북/paper-curation/docs/papers/329_Explaining_relationships_among_research_papers

Motivation

• Known: 기존 연구들은 단일 citing paper와 단일 cited paper 간의 citation sentence를 생성하는 extractive/abstractive 기법(Xing et al., Ge et al., Luu et al., Chen et al. 등)을 다루었으며, related work section 생성을 위한 여러 데이터셋과 seq2seq 기반 모델(RRG, ToC-RWG, SERGE 등)도 제안되어 왔다.
• Gap: 기존 접근법들은 개별 citation sentence를 고립적으로 생성하는 데 집중하여, 여러 cited paper들 간의 관계와 이를 하나의 일관된 이야기로 엮는 expository/transition sentence 생성을 간과했으며, 긴 문서 처리 한계로 citation intent나 topic information 같은 보조 feature를 활용하지 못했다.
• Why: 연구자가 급증하는 논문들을 효율적으로 파악하기 위해서는 여러 관련 논문 간 관계를 사람이 읽기 쉬운 하나의 이야기로 요약해주는 자동화된 customized literature review 생성 기술이 필요하며, 이는 daily feed 도구의 실용성을 크게 높일 수 있다.
• Approach: Related work section을 daily feed summary의 proxy로 삼아, 각 cited paper의 content, relationship, discourse role, writing style을 사람이 해석 가능한 natural language feature로 표현하고 이를 LLM prompt에 반영하여 여러 citation을 통합적으로 생성하는 feature 기반 접근법을 제안한다.

Achievement

Bar chart of the number of factual errors.

1. Feature 기반 LLM-prompting 프레임워크 제안: citation intent, content, relationship 등 human-interpretable feature를 활용해 단일 citation sentence가 아닌 여러 논문 간 관계를 포함하는 richer citation text를 생성.
2. 다중 citation 동시 생성: 여러 cited paper를 한 번에 다루어 expository/transition sentence를 포함한 일관된 문단 생성을 시도.
3. 전문가 평가를 통한 feature 효과 검증: human preference와 integrative writing style(고수준의 추상적 citation과 transition sentence) 간 강한 상관관계를 발견.
4. GPT4 기반 Bing Chat과의 비교: Figure 1에서 보듯 기존 LLM 기반 상용 도구 대비 제안 방법이 더 정확하고 사실 오류가 적은 related work를 생성함을 보임(Figure 4).

How

Bar chart showing the distribution of human evaluation scores.

• Related work section을 학습/평가 데이터로 활용하여 citing paper 관점에서 여러 cited paper에 대한 리뷰를 생성하는 task로 프레이밍.
• 각 cited paper에 대해 discourse role, writing style, content 등을 나타내는 feature를 자연어 형태로 추출/표현.
• 이러한 feature를 LLM prompt에 포함시켜 여러 citation을 한번에 통합적으로 생성하도록 유도(single citation sentence가 아닌 paragraph/section 단위 생성).
• 생성된 결과를 GPT4 기반 Bing Chat 출력과 비교.
• 전문가(사람) 평가자를 통해 생성된 문단의 품질을 채점하고, factual error 개수를 측정하여 제안된 feature들이 생성 품질에 미치는 영향을 분석(Figure 3, Figure 4).

Originality

• 단일 citation sentence 생성에 머물렀던 기존 연구와 달리, 여러 cited paper 간의 관계를 하나의 coherent story로 엮는 expository/transition sentence 생성까지 다룬 최초의 시도 중 하나.
• End-to-end neural sequence-to-sequence 방식이 아닌, human-interpretable natural language feature를 활용한 LLM-prompting 방식을 채택하여 모델 재학습 없이 다양한 feature를 유연하게 반영.
• Related work section을 daily feed summary의 proxy로 활용한다는 문제 설정 자체가 실용적이고 새로운 관점을 제공.

Limitation & Further Study

• Related work section이 실제 daily feed summary와 완전히 동일한 특성을 갖는지에 대한 검증이 부족하며, 이 proxy 설정의 타당성에 대한 추가 검토가 필요.
• 전문가 평가가 소규모 인원과 제한된 샘플에 의존했을 가능성이 있어 일반화 가능성에 한계가 있을 수 있음.
• Feature 추출 과정 자체의 정확도나 자동화 수준에 대한 상세한 분석이 부족하며, feature 오류가 최종 생성 품질에 미치는 영향에 대한 추가 연구가 필요.
• 향후에는 다양한 도메인의 논문, 더 많은 cited paper 수를 다루는 대규모 실험과 자동 평가 metric 개발이 요구됨.

Evaluation

총평: 여러 논문 간 관계를 아우르는 literature review 자동 생성이라는 실용적이면서도 상대적으로 미탐구된 문제를 다루며, human-interpretable feature와 LLM prompting을 결합한 접근이 신선하고 유용한 통찰을 제공하는 연구이다.