SciCap: Generating Captions for Scientific Figures

Motivation

• Known: 기존 연구는 주로 합성 figure에 대한 caption 생성에 집중했으며, FigCAP, FigureQA, DVQA 등이 제안되었다. 그러나 이들 synthetic caption은 generic하고 high-level 통찰력이 부족한 문제가 있다.
• Gap: 실제 과학 논문의 figure에서 추출한 대규모 데이터셋의 부재와 real-world scientific figure에 대한 caption 생성의 challenges가 체계적으로 규명되지 않았다.
• Why: 과학 논문에서 figure caption의 품질은 독자의 이해에 중대한 영향을 미치며, 자동 caption 생성은 저작자의 caption 품질 개선과 시각 장애인의 접근성 향상에 기여할 수 있다.
• Approach: arXiv 데이터셋의 컴퓨터과학 논문 295,028편에서 PDFFigures 2.0을 이용해 figure-caption 쌍을 추출하고, figure type 분류, subfigure 제거, text normalization, caption 선택 등 6단계의 전처리를 수행하여 데이터셋을 구축한다.

Achievement

Figure 1: The figure captioning model takes a scientific

SciCap 데이터셋 구축: 290,000개 이상의 논문에서 2백만 개 이상의 figure 추출, graph plot 기준 133,543개의 정제된 figure-caption 쌍 확보. Figure Type 분류: 자동 분류기로 7가지 figure type 분류 및 graph plot(19.2%)을 주요 대상으로 선정. Subfigure 처리: rule-based 방식과 FigureSeparator를 결합하여 subfigure 포함 figure 필터링. Multiple Sampling Strategies: First Sentence, Single-Sentence Caption, No More than 100 Words 등 3가지 데이터 컬렉션 제공. Baseline 모델 개발: graph plot 캡션 생성을 위한 baseline 모델 구축 및 평가.

How

Figure 1: The figure captioning model takes a scientific

• PDFFigures 2.0를 사용하여 scholarly document에서 figure, caption, legends, labels를 자동 추출

• Figure-Seer의 pre-trained classifier로 7가지 figure type 분류

• Rule-based approach와 FigureSeparator CNN 모델을 결합하여 subfigure 제거

• NLTK를 활용한 tokenization, lowercase 변환, figure number 제거

• 숫자를 [NUM], equation을 [EQUATION], bracket 내용을 [BRACKET]으로 정규화

• 3가지 sampling 전략으로 다양한 크기의 데이터 컬렉션 제공

Originality

• Synthetic image 기반의 기존 연구와 달리 실제 과학 논문에서 추출한 real-world figure-caption 데이터셋 제공

• 대규모 arXiv 데이터셋을 기반으로 체계적인 전처리 파이프라인 구축

• 실제 human-written caption의 특성을 반영한 다양한 sampling 전략 제시

• Figure type별 전문화된 모델 개발 가능성 제시

Limitation & Further Study

• Graph plot에만 초점을 맞춰 다른 figure type(flowchart, scatter plot, bar chart 등)에 대한 caption 생성은 다루지 않음. 향후 다양한 figure type으로 확장 필요. • 2020년 12월까지의 논문만 포함하여 최신 연구 동향 반영 부족. • 자동 figure type classifier의 86% 정확도로 인한 잠재적 오류 누적. • 데이터 정제 과정(subfigure 제거)에서 32.04% 수준의 낮은 최종 유지율

Evaluation

총평: 본 논문은 scientific figure 캡션 생성을 위한 최초의 대규모 실제 데이터셋을 제시함으로써 해당 분야의 중요한 자원을 제공한다. 체계적인 데이터 구축 방법론과 multiple sampling 전략은 다양한 연구를 가능하게 할 것으로 기대된다.