Figuring out figures: Using textual references to caption scientific figures

Motivation

• Known: 과학 도표 캡션 생성은 자연 이미지 캡션 생성과 달리 정밀한 수치 추출과 과학 문체 이해가 필요하다. Hsu et al.의 SCICAP 데이터셋이 최신 작업이지만 CNN+LSTM으로 BLEU-4 점수가 약 2에 불과하며, 대부분의 이미지 캡션 연구는 자연 이미지에 집중되어 있다.
• Gap: 기존 SCICAP 연구는 도표 이미지만 사용했고 전체 논문 텍스트를 활용하는 것이 도움이 될 수 있다는 제안만 했으나, 어떤 텍스트 정보가 실제로 예측 성능에 기여하는지 체계적으로 탐구하지 않았다.
• Why: 과학 도표 캡션은 도표 이미지만으로는 충분한 문맥 정보를 제공하지 못하며, 논문의 문맥 정보를 활용하면 캡션 생성 성능을 크게 향상시킬 수 있기 때문이다.
• Approach: encoder-decoder 구조로 CLIP-ViT/B-32을 인코더로, GPT-2/DistilGPT-2를 디코더로 사용하고, SciBERT으로 논문 메타데이터(제목, 초록, 참조)를 인코딩하여 이미지 임베딩과 결합한 후 cross-attention을 통해 디코더에 전달한다.

Achievement

CLIP+GPT-2 모델의 성능 향상: SciBERT 인코딩된 텍스트 메타데이터를 포함할 때 성능이 개선되었으며, 텍스트 메타데이터만 사용한 SciBERT+GPT-2 모델이 최고 성능을 달성했다. METASCICAP 데이터셋 구축: 논문 제목, 초록, in-text 참조 정보를 SCICAP과 연결하여 새로운 augmented 데이터셋을 구축했다. 모델 개선: 기존 CNN+LSTM의 단일 계층 구조를 벗어나 현대적 transformer 기반 아키텍처를 적용했다.

How

• CLIP-ViT/B-32을 이미지 인코더로 사용하여 자연 이미지 이외의 다양한 시각 입력에 학습됨 - SciBERT으로 텍스트 메타데이터를 인코딩하고 이미지 임베딩과 concatenate - Huggingface Transformers 라이브러리를 fork하여 Vision Encoder-Decoder에 CLIP 지원 추가 - 텍스트 메타데이터에 과도하게 의존하지 않도록 SciBERT 인코딩에 0.7 dropout 적용 - top-p sampling(p=0.9)으로 캡션 생성 및 BLEU, ROUGE-L로 평가

Originality

• 기존 CNN+LSTM 방식을 벗어나 CLIP+GPT-2 기반의 현대적 encoder-decoder 아키텍처 적용 - 논문의 메타데이터(제목, 초록, in-text 참조)를 체계적으로 수집하여 새로운 METASCICAP 데이터셋 구축 - 이미지 특성과 텍스트 정보의 최적 조합을 탐색하는 다양한 실험 설계

Limitation & Further Study

• 구체적인 BLEU, ROUGE-L 점수가 명시되지 않아 성능 향상 정도를 정량적으로 평가하기 어려움 - 최고 성능 모델(SciBERT+GPT-2)이 텍스트만 사용하므로 이미지 특성을 충분히 활용하지 못함을 시사 - 이미지 인코딩을 효율적으로 포함시키려는 노력이 부족함 후속연구: 이미지와 텍스트 정보의 더 효과적인 통합 방법 개발, 다른 도표 유형(다중 그래프, 다이어그램 등)으로 일반화

Evaluation

총평: 본 논문은 과학 도표 캡션 생성의 중요한 문제를 다루고 현대적 모델 아키텍처와 새로운 augmented 데이터셋을 제시했다. 다만 정량적 평가 결과가 명확하게 제시되지 않았고, 최적 성능 모델이 텍스트만 사용한다는 점에서 원래의 목표(이미지+텍스트 결합)와 괴리가 있다. 향후 이미지 정보를 더 효과적으로 활용하는 방향의 개선이 필요하다.