MMSCI: A dataset for graduate-level multi-discipline multimodal scientific understanding

Motivation

Known: 최근 LVLMs는 시각적 문맥을 포함한 문제 해결에서 뛰어난 능력을 보이고 있으며, 이들은 과학 분야의 AI 어시스턴트로서 큰 잠재력을 가지고 있다.
Gap: 기존 과학 이미지 이해 데이터셋들(FigureQA, SciCap, SciFiBench 등)은 막대 그래프, 산점도 등 단순한 차트에만 초점을 맞추고 있으며, 제한된 과학 분야(주로 컴퓨터 과학)만 다루고 있다. 현미경 사진, 분광법 이미지, 3D 모델, 분자 구조 등 복잡한 과학 시각화를 해석하려면 대학원 수준의 도메인 전문 지식이 필요하나 이를 평가할 데이터셋이 부족하다.
Why: 과학 논문의 도형들은 압축되고 복잡한 정보를 담고 있으며, 전문적 해석이 필수적이다. 이를 효과적으로 평가할 수 있는 포괄적 데이터셋과 벤치마크가 필요하다.
Approach: 동료평가된 Nature Communications 논문에서 고품질 이미지와 메타데이터를 수집하고, 다양한 시각화 유형을 포함하는 포괄적 데이터셋을 구축한다. 도형 설명(figure captioning)과 다지선다형 질문(multiple-choice questions) 벤치마크를 구성하여 LVLMs와 인간 전문가의 성능을 비교 평가한다.

그림 2: MMSCI의 7가지 이질적 과학 이미지 유형 예시 (정량적 데이터 시각화 53.5%, 개략도 13.2%, 현미경 사진 14.7% 등)

포괄적 데이터셋 구축: 72개 과학 분야, 131,393개 논문, 742,273개 이미지로 구성된 대규모 고품질 멀티모달 데이터셋 구축. 기존 데이터셋(주로 CS 분야)과 달리 자연과학 전반을 폭넓게 커버하며 다양한 시각화 유형 포함
어려운 벤치마크 과제 개발: 도형 설명과 다지선다형 질문 과제 설계로, 다수의 오픈소스 모델이 무작위 추측 수준 이하의 성능을 보이는 등 과제의 난이도와 현재 모델의 한계를 명확히 드러냄
LVLM 성능 평가 및 기준선 제시: GPT-4o와 Claude-3.5-Sonnet이 최고 성능 모델이며, 일부 경우 도메인 전문가를 초과하는 성능을 달성함을 확인. 미세 조정된 Qwen2-VL-7B이 다지선다형 문제에서 GPT-4o 성능을 상회
훈련 자원으로서의 가치 입증: 과제 특화 데이터로 미세 조정 시 성능 향상 달성, 그리고 기사와 이미지의 인터리브(interleaved) 데이터로 사전 학습 시 재료과학 등 하위 과제에서 성능 개선 확인

그림 3: 부-도형 캡션 추출의 예시와 벤치마크 데이터 구성

데이터 수집: Nature Communications 웹사이트에서 개방 접근(open-access), 동료평가 논문의 제목, 초록, 본문, 참고문헌, 도형, 캡션을 체계적으로 수집
데이터 정제 및 처리:
- LaTeX 수식을 평문으로 변환 (pylatexenc 사용)
- 정규표현식을 활용한 부-도형 캡션 자동 추출 (514,054개 부-도형/도형 식별)
- GPT-4o를 이용한 벤치마크 테스트셋의 이미지 분류
도형 분류: 7가지 주요 범주로 수작업 분류 후 자동화 (정량적 데이터 시각화, 개략도, 현미경 사진, 모의 이미지, 지도, 육안 사진, 실험 결과 시각화)
벤치마크 과제 설계:
- 도형 설명(captioning) 과제: 도형에 대한 상세한 설명 생성
- 다지선다형 질문(MCQ) 과제: 도형 해석에 기반한 4지선다형 문제 풀이
평가 방법론:
- 19개 LVLM 모델 평가 (독점 모델: GPT-4o, Claude 시리즈 등 / 오픈소스: Qwen2-VL, MiniCPM-V 등)
- 인간 전문가(도메인 박사) 평가를 통한 성능 비교
- 자동 평가 지표(BLEU, CIDEr, METEOR 등 사용)
훈련 응용:
- 과제 특화 감독 미세 조정(SFT) 데이터 구축: MCQ 데이터를 지시 따르기(instruction-following) 형식으로 변환
- 인터리브 논문-도형 데이터 구축: 기사 본문과 도형을 교대로 배열하여 연속 사전 학습 수행