TLDR: Extreme Summarization of Scientific Documents

Motivation

• Known: 기존 과학 논문 요약 연구는 초록(abstract) 생성이나 초록 보완 요약에 초점을 맞췄으나, TLDR 생성은 전체 논문에서 핵심 내용만 한 문장으로 극단적으로 압축하는 새로운 과제이다.
• Gap: 과학 논문의 극단적 요약(TLDR) 생성에 대한 체계적 연구와 대규모 고품질 데이터셋이 부재하며, 이러한 특화된 영역에서의 데이터 부족 문제를 해결할 효과적인 학습 전략이 필요하다.
• Why: 빠르게 증가하는 과학 출판물 속에서 연구자들이 논문의 핵심을 빠르게 파악할 수 있는 극단적 요약은 실용적 가치가 높으며, 전문가 지식이 필요한 이 과제에 대한 벤치마크와 효과적 해결책이 중요하다.
• Approach: OpenReview에서 저자 작성 TLDR(TLDR-Auth)을 수집하고, 피어리뷰 의견을 전문가가 TLDR로 재작성하는 혁신적 어노테이션 프로토콜로 TLDR-PR을 수집하여 다중 타겟 데이터셋을 구성한다. CATTS는 제목 생성을 보조 task로 하는 multitask learning에 control code를 결합하여 BART 모델을 학습한다.

Achievement

새 과제와 데이터셋 정의: TLDR 생성을 정의하고 3.2K개 논문에 5.4K개 TLDR을 포함한 SCITLDR 데이터셋 구축. 혁신적 어노테이션 프로토콜: 전체 논문 읽기 부담 없이 높은 품질의 expert-derived TLDR 수집 가능. 효과적 학습 전략: CATTS는 제목을 자연스러운 보조 신호로 활용하여 데이터 부족 문제 완화. 평가 개선: 자동 평가와 인간 평가에서 강한 베이스라인 대비 개선 달성 및 정보성과 사실성에 대한 상세 분석.

How

• OpenReview API를 이용한 저자 작성 TLDR 수집 및 S2ORC 파이프라인으로 PDF를 구조화된 텍스트로 변환
• 피어리뷰 의견을 TLDR로 변환하는 28명의 컴퓨터과학 학부생 어노테이터 채용 및 1시간 교육
• 어노테이터가 리뷰 의견의 핵심 요약 부분을 보존하면서 TLDR 형식으로 재작성
• Transformer 기반 모델(BART)과 제목 생성 task를 control code로 구분하여 multitask learning 수행
• ROUGE, BERTScore 등 자동 평가 메트릭과 인간 평가(informativeness, factual correctness)로 검증

Originality

• TLDR 생성을 새로운 극단적 요약 과제로 정의한 점 (기존 연구와 구별되는 초록 생성이 아닌 한 문장 극단 요약)
• 피어리뷰 의견을 활용한 효율적 어노테이션 프로토콜로 대규모 데이터 수집 (전체 논문 읽기 회피)
• 제목을 제어 가능한 보조 신호로 명시적으로 활용하는 CATTS 전략 (기존 multitask learning의 창의적 응용)
• 다중 타겟 과학 요약 데이터셋 제공 (기존 요약 데이터셋 대부분 단일 타겟)

Limitation & Further Study

• 컴퓨터과학 분야만 포함 (다른 과학 분야에 대한 일반화 미지수)
• 약 5%의 논문에서 PDF 파싱 실패로 완전한 본문 불가
• 어노테이터가 모두 학부 수준이므로 전문가 다양성 부족
• CATTS 개선의 기여도를 정확히 분리하기 어려움 (제목의 효과 vs. multitask learning의 효과)
• 후속 연구: 다른 과학 분야로 확장, 더 강력한 encoder 또는 retrieval 기반 방법 탐색, 인간의 내재적 합의도 분석

Evaluation

총평: TLDR 생성을 새로운 과제로 정의하고 혁신적 어노테이션 프로토콜로 고품질 다중 타겟 데이터셋을 구축한 점, 그리고 제목을 활용한 CATTS 전략이 기술적으로 타당하고 실증적 개선을 보여준 점에서 우수하나, 단일 분야 제한과 방법론의 복잡성 분석 부족이 있다.