TLDR: Extreme Summarization of Scientific Documents

Motivation

• Known: 기존 과학 문서 요약 연구는 주로 abstract 생성이나 abstract를 보완하는 요약을 생성하는 데 초점을 맞춰왔으며(Collins et al., 2017; Cohan et al., 2018; Chandrasekaran et al., 2019; Yasunaga et al., 2019), XSUM과 같은 뉴스 도메인의 extreme summarization 연구도 존재한다.
• Gap: 과학 논문에 대한 single-sentence 수준의 극단적 요약(TLDR) 생성 과제는 아직 정의되지 않았고, 이를 학습·평가할 수 있는 multi-target 데이터셋도 부재했으며, 전문 지식이 필요한 도메인에서의 데이터 희소성 문제를 해결할 학습 전략도 미비했다.
• Why: TLDR generation은 논문 편수 증가로 인한 정보 과부하 문제를 완화하고 독자가 논문의 핵심을 빠르게 파악할 수 있게 해주는 실용적 가치를 가지며, 높은 압축률과 전문 도메인 언어 이해를 요구하는 도전적인 자연어 생성 과제로서 새로운 연구 방향을 제시한다.
• Approach: 저자는 OpenReview의 author-written TLDR과 peer review 코멘트를 전문가가 재작성하는 novel annotation protocol으로 얻은 TLDR-PR을 결합해 multi-target 데이터셋 SCITLDR을 구축하고, title을 control code로 활용해 BART를 멀티태스크로 학습시키는 CATTS 전략을 제안한다.

Achievement

Figure 3: Two example TLDR-Auth and TLDR-PR pairs

1. SCITLDR 데이터셋 구축: 3,229개 컴퓨터과학 논문에 대해 5,411개의 TLDR을 포함하는 multi-target 데이터셋을 공개했으며, author-written과 expert-derived(TLDR-PR) 두 종류의 요약을 모두 포함한다.
2. novel annotation protocol 제안: peer review 코멘트를 재작성하는 방식으로 전체 논문을 읽는 부담 없이 고품질 TLDR을 저비용으로 수집하는 방법을 제시했다.
3. CATTS 학습 전략 제안 및 검증: title을 보조 학습 신호로 활용하는 CATTS를 BART에 적용해 강력한 extractive/abstractive baseline 대비 자동 평가지표(Rouge)와 인간 평가 모두에서 성능 향상을 입증했다.
4. 데이터셋 특성 분석: 기존 뉴스 및 과학 문서 요약 데이터셋과 비교해 SCITLDR이 매우 높은 compression ratio(238.1)와 novel word 비율(15.2%)을 가짐을 보여, 과제의 난이도와 독창성을 정량적으로 입증했다.

How

• OpenReview API를 이용해 논문과 author-written TLDR 쌍을 수집하고 S2ORC 파이프라인으로 PDF를 구조화된 full text로 변환
• 28명의 University of Washington 학부생 annotator를 훈련시켜 peer review 코멘트의 첫 문단(전형적으로 논문 요약을 포함)을 TLDR-PR로 재작성하도록 하는 novel annotation protocol 적용
• train(1,992편, 단일 gold TLDR)/dev(619편)/test(618편, 각각 multi-target) 세트로 분할
• Transformer 기반 extractive 및 abstractive baseline 모델 구축
• CATTS(Controlled Abstraction for TLDRs with Title Scaffolding): scaffold task 기반 멀티태스크 학습과 control code 기법을 결합해, BART 모델이 control code에 따라 title과 TLDR을 모두 생성하도록 학습
• Rouge 등 자동 평가지표와 informativeness, factual correctness 중심의 인간 평가를 통해 baseline 대비 성능 비교

Originality

• 과학 논문에 대한 single-sentence 수준의 extreme summarization 과제(TLDR generation)를 최초로 정식화
• peer review 코멘트를 재작성해 전문가 수준의 요약을 저비용으로 수집하는 novel annotation protocol 고안
• 기존 단일 정답 요약 데이터셋과 달리 multi-target 구조를 갖춘 SCITLDR을 제공해 평가 신뢰성을 높임
• title을 자연 발생적 보조 신호로 활용하는 CATTS라는 간단하지만 효과적인 scaffold+control code 결합 학습 전략 제안

Limitation & Further Study

• 데이터셋이 컴퓨터과학 도메인, 특히 OpenReview에 제출된 논문에 국한되어 있어 다른 과학 분야로의 일반화 가능성이 검증되지 않음
• TLDR-PR이 실제 논문 저자의 의도가 아닌 peer reviewer의 해석에 기반하므로 factual correctness에 오류가 포함될 가능성 존재
• annotator가 학부생으로 구성되어 있어 도메인 전문성의 깊이에 한계가 있을 수 있음
• 데이터셋 규모(3.2K 논문)가 상대적으로 작아 대규모 사전학습 모델의 완전한 잠재력을 평가하기에는 제한적일 수 있으며, 후속 연구에서는 다양한 과학 분야로의 확장과 factual consistency를 평가하는 자동 지표 개발이 필요함

Evaluation

총평: 과학 문서에 대한 새로운 요약 과제와 실용적인 데이터셋 구축 방법론, 그리고 효과적인 학습 전략을 함께 제시한 완성도 높은 연구로, 이후 과학 논문 요약 연구의 기반이 될 만한 기여를 담고 있다.