Shallow synthesis of knowledge in gpt-generated texts: A case study in automatic related work composition

Motivation

• Known: GPT-4를 비롯한 LLM은 이미 학술 글쓰기 보조 도구로 널리 사용되고 있으며, related work 자동 생성을 위한 다양한 neural sequence learning, topic modeling, content planning 기반 시스템들이 제안되어 왔다.
• Gap: 기존 연구들은 순수 언어모델링/계산적 기법에 의존하여 related work를 자동 생성하는 데 집중했을 뿐, 생성된 텍스트가 실제로 문헌들을 얼마나 잘 연결하고 종합(synthesis)하는지에 대한 객관적이고 재현 가능한 평가 방법이 부재했다.
• Why: 연구 문헌이 기하급수적으로 증가하는 상황에서 AI 보조 학술 글쓰기 도구의 실질적 능력과 한계를 규명하는 것은, 학문적 엄밀성을 유지하면서 AI를 적절히 활용하기 위한 가이드라인을 세우는 데 필수적이다.
• Approach: citance(citation sentence) 단위의 True/False Positive 매칭 같은 기존 방식 대신, 인용된 문헌들을 노드로 하고 같은 문장 내 동시 인용을 엣지로 하는 citation graph를 구축하여 구조적 복잡성과 상호연결성을 측정하는 새로운 평가 방법을 제안한다.

Achievement

Citation graphs extracted from (top) human-

1. ScholaCite 도구 개발: 문헌 정리 및 related work 섹션 작성을 지원하는 GPT-4 기반 애플리케이션을 구축했다.
2. 새로운 평가 방법 제안: citation graph 분석을 통해 human-written, GPT-generated, GPT-assisted 텍스트 간 구조적 복잡성과 상호연결성을 정량적으로 비교하는 객관적이고 확장 가능한 평가 프레임워크를 제시했다.
3. GPT-4의 한계 규명: GPT-4가 대략적인(coarse-grained) 인용 그룹화는 가능하지만, 인간의 개입 없이는 세밀한(detailed) related work synthesis를 수행하지 못한다는 것을 실증적으로 보였다.
4. AI 글쓰기 도구 사용 가이드라인 제시: 향후 글쓰기 보조 도구는 인간 저자와 독립적으로 텍스트를 초안 작성하는 데 사용되어서는 안 된다는 실무적 시사점을 도출했다.

How

Since we are studying GPT-generated texts, GPT-

• ScholaCite 시스템을 이용해 GPT-generated(순수 GPT 생성)와 GPT-assisted(인간-AI 협업) 두 조건 하에서 related work 텍스트를 생성
• 실제 학술 논문의 human-written related work 섹션과 비교하기 위한 데이터셋 구축 및 전처리 파이프라인 마련
• 각 텍스트에서 인용된 문헌을 노드로, 동일 문장 내 동시 인용 관계를 엣지로 하는 citation graph를 추출
• citation graph의 구조적 복잡성 및 상호연결성(interconnectedness)을 정량화하는 metric들을 계산하여 human-written, GPT-generated, GPT-assisted 세 조건 간 3-way 비교 수행

Originality

• 기존의 citance 단위 True/False Positive 매칭 방식이 갖는 주관성과 자동화의 어려움을 지적하고, 이를 대체할 citation graph 기반의 객관적·재현 가능한·확장 가능한 평가 방법을 새롭게 제안
• related work 자동 생성 자체보다 생성된 텍스트의 질적 종합 능력을 평가하는 데 초점을 맞춘 관점의 전환
• 순수 GPT 생성과 인간-AI 협업을 구분하여 3-way 비교를 수행함으로써, AI의 역할을 브레인스토밍 보조 대 독립적 저작으로 구분 지어 분석

Limitation & Further Study

• citation graph의 구조적 지표(노드/엣지 복잡성)가 실제 학술적 종합의 질을 완전히 대변하는지에 대한 타당성 검증이 제한적일 수 있음
• 평가 대상 데이터셋의 규모나 분야 다양성에 대한 구체적 정보(발췌본 기준)가 부족하여 일반화 가능성 검토가 필요
• GPT-4라는 특정 모델에 한정된 분석으로, 다른 LLM에 대한 일반화 여부는 추가 연구 필요
• 향후 연구로는 인간-AI 협업의 최적 인터랙션 방식, 더 다양한 분야·언어에 대한 검증, 세밀한 synthesis 능력을 향상시키기 위한 모델/프롬프트 개선 방향 등을 제안할 수 있음

Evaluation

총평: AI 보조 학술 글쓰기의 실제 종합 능력을 citation graph라는 새로운 렌즈로 평가한 시의적절하고 실용적인 연구로, GPT 기반 도구의 한계를 명확히 드러내고 향후 사용 가이드라인 수립에 기여한다.