SciCap+: A Knowledge Augmented Dataset to Study the Challenges of Scientific Figure Captioning

Motivation

• Known: 기존의 SciCap 데이터셋은 도형만을 이용하여 캡션을 생성하는 figure-to-caption 작업으로 정의되었으며, 자동 평가 지표에서 상대적으로 낮은 성능을 보고했다. 일반 자연 이미지 캡셔닝과 달리 과학 도형은 텍스트와 데이터 포인트를 포함하고 데이터 해석을 요구하는 독특한 특성이 있다.
• Gap: 기존 연구에서는 도형만을 입력으로 사용하여 인접 문맥과 도형 내 OCR 정보를 활용하지 못했으며, 이로 인해 캡션 생성에 필요한 배경 지식이 부족했다. 또한 인간이 mention-paragraph 없이 정확한 캡션을 작성하기 얼마나 어려운지, 그리고 멀티모달 정보가 어떤 정도로 도움이 되는지에 대한 체계적인 분석이 부족했다.
• Why: 과학 논문에서 도형 캡션은 독자에게 과학 발견을 효과적으로 전달하는 중요한 역할을 하며, 자동 캡션 생성은 저자가 정보성 높은 캡션을 작성하도록 돕는다. 특히 도형-캡션 작업은 텍스트와 비전을 통합하는 멀티모달 요약 문제로 접근해야 하며, 이는 현실적인 문서 이해 과제의 모델링에 중요하다.
• Approach: SciCap 데이터셋을 확장하여 mention-paragraph와 OCR 토큰을 추가로 추출하고 문서 수준에서 재분할했다. M4C-Captioner라는 멀티모달 트랜스포머 기반 모델을 베이스라인으로 사용하여 다양한 입력 조합으로 실험을 수행했으며, 자동 평가와 인간 평가를 병행하였다.

Achievement

Figure 2: The overall workflow of the data augmentation for creating SciCap+ dataset. For each figure in SciCap+, we ext

mention-paragraph와 OCR의 효과: mention-paragraph가 추가될 경우 BLEU, METEOR, CIDEr 등의 자동 평가 점수가 도형 단독 베이스라인 대비 크게 향상됨을 입증했다. 멀티모달 지식의 가치: 서로 다른 모달리티에 임베드된 지식이 캡션 생성 성능을 크게 향상시키는 것으로 확인되었다. 인간 평가를 통한 난제 분석: 모델 생성 캡션이 인간이 생성한 캡션과 유사한 정보성을 가지며, 인간도 mention-paragraph를 참조할 때 ground-truth 캡션 작성이 여전히 어려움을 보였다. 데이터셋 기여: 멀티모달 정보를 포함한 대규모 SciCap+ 데이터셋(414k 도형)을 공개했다.

How

Figure 2: The overall workflow of the data augmentation for creating SciCap+ dataset. For each figure in SciCap+, we ext

• PDFFigures 2.0 도구를 사용하여 arXiv PDF 논문에서 텍스트 추출
• 정규표현식으로 도형 번호를 매칭하여 관련 mention-paragraph 자동 추출
• Google Vision OCR API를 활용하여 도형 내 텍스트와 바운딩박스 좌표 추출
• 기존 figure-level 분할에서 document-level 분할로 변경하여 정보 누수 제거
• M4C-Captioner 모델로 도형, mention-paragraph, OCR 토큰의 다양한 조합 실험
• 200개 도형에 대해 박사급 평가자 2명이 1-5점 척도로 relevance 평가 수행

Originality

• 과학 도형 캡셔닝을 처음으로 멀티모달 요약 작업으로 재정의하여 새로운 문제 공식화 도입
• Mention-paragraph와 OCR 정보를 체계적으로 통합하여 문맥-인식 캡션 생성 프레임워크 제시
• 기존 SciCap을 document-level로 재분할하여 평가 공정성 문제 해결
• 자동 평가와 인간 평가를 조합하여 멀티모달 정보의 효과를 다각적으로 검증
• 과학 도형 캡셔닝의 내재적 난제를 인간 평가로 체계적으로 분석

Limitation & Further Study

• 모든 도형이 graph plots에 한정되어 다른 형태의 과학 도형(예: 다이어그램, 테이블, 사진)은 다루지 못함
• Mention-paragraph를 도형 번호 기반으로 추출하므로 첫 번째 관련 문단만 사용하여 복수 관련 문단의 정보 활용 불가
• OCR 추출 품질이 Google Vision API에 의존하여 API의 오류가 캡션 생성에 직접 영향
• 인간 평가가 2명의 평가자만으로 수행되어 평가자 간 합의 수준에 대한 상세 분석 부족
• M4C-Captioner가 유일한 베이스라인으로 다른 최신 멀티모달 아키텍처와의 비교 미실시
• 후속 연구로 더 정교한 멀티모달 아키텍처 개발과 도형 다양성 확대 필요

Evaluation

총평: 본 논문은 과학 도형 캡셔닝을 멀티모달 요약 문제로 재정의하고 SciCap+ 데이터셋을 통해 배경 지식의 중요성을 체계적으로 입증한 의미 있는 연구이다. 자동 평가와 인간 평가의 병행으로 문제의 난제성을 명확히 했으며, 대규모 데이터셋 공개는 후속 연구에 큰 기여가 될 것이다. 다만 도형 유형의 한정성과 단일 베이스라인 사용은 개선할 여지가 있다.