SciVideoBench: Benchmarking Scientific Video Reasoning in Large Multimodal Models

Motivation

• Known: 기존 video benchmark들(Video-MME, MVBench, MLVU 등)은 주로 일상생활이나 영화 같은 일반 도메인에 초점을 맞추었고, 최근 등장한 과학/교육 비디오 벤치마크(MMVU, Video-MMMU, Video-MMLU)도 대학 수준의 고전 이론이나 교과서 지식에 의존하는 문제에 그쳐 있다.
• Gap: 현재 벤치마크들은 시각 인식과 암기된 지식만으로 풀리거나 비디오와 무관하게 답할 수 있는 질문이 많아 진정한 멀티모달 추론을 요구하지 않으며, 최신 LMM(Gemini 2.5 Pro 등)이 이미 85% 이상의 정확도로 포화되어 고차원 인지 능력을 제대로 평가하지 못한다는 한계가 있다.
• Why: SciVideoBench는 대학 수준을 넘어 연구 수준(research-level)의 최신 과학 문제와 이론을 다루는 최초의 종합 비디오 추론 벤치마크로서, LMM의 실제 과학적 추론 능력의 격차를 드러내고 향후 AI co-scientist 개발 방향을 제시한다는 점에서 중요하다.
• Approach: Journal of Visualized Experiments(JoVE)에서 수집한 241개의 연구급 실험 비디오를 기반으로, human-in-the-loop multi-agent LLM 파이프라인을 통해 1,000개의 개념적(conceptual), 가설적(hypothetical), 정량적(quantitative) multiple-choice 질문을 생성 및 검증하였다.

Achievement

Figure 5. Chain-of-thought performance gains across proprietary and open-source models. Proprietary models exhibit consi

1. 연구 수준 벤치마크 구축: 25개 이상의 전문 학문 분야를 아우르는 241개의 peer-reviewed 실험 비디오로부터 1,000개의 정교한 QA 쌍을 구축하여, 기존 college-level 벤치마크와 차별화되는 research-level 난이도를 달성했다.
2. 최신 LMM들의 성능 부족 확인: Gemini 2.5 Pro, Qwen2.5-VL을 포함한 최신 proprietary 및 open-source LMM들이 SciVideoBench에서 일관되게 낮은 정확도를 보여 상당한 개선 여지가 있음을 실증했다.
3. 핵심 요인 분석 제공: reasoning complexity, visual grounding, model architecture 등 성능에 영향을 미치는 요인에 대한 심층 분석을 통해 향후 LMM 개발 방향에 대한 통찰을 제공했다.

How

Figure 2. Overview of our annotation pipeline. We manually annotate example QA pairs, and then a multi-agent LLM system

• Video Collection: JoVE 플랫폼에서 241개의 연구급, peer-reviewed 실험 비디오를 수집.
• Human-in-the-loop Multi-Agent Annotation Pipeline: 인간 전문가가 예시 QA 쌍을 수작업으로 주석 처리한 뒤, QA Generator, Evaluator, Visual Comparer, Refiner로 구성된 multi-agent LLM 시스템이 나머지 비디오에 대한 QA를 생성 및 정제.
  • QA Generator가 초기 질문 생성
  • Evaluator가 rationale과 함께 답변 시도
  • Visual Comparer가 visual grounding 및 timestamp 단서를 확인
  • Refiner가 질문이 비디오 내용에 의존하도록 보장하고 선택지 품질을 개선
• Human Verification: 인간 전문가가 최종 QA 쌍을 검증 및 refine하여 품질을 보장.
• Question Categorization: 각 질문을 conceptual, hypothetical, quantitative로 분류하여 다양한 추론 능력을 커버.

Originality

• 기존 벤치마크들이 college-level 지식과 일반 도메인 콘텐츠에 머무른 반면, 최초로 research-level 과학 실험 비디오를 기반으로 한 비디오 추론 벤치마크를 제안함.
• semi-automatic human-in-the-loop multi-agent 주석 파이프라인을 설계하여, 질문이 실제로 비디오 내용에 의존하도록 보장하고 visual grounding을 명시적으로 검증하는 절차를 도입함.
• conceptual/hypothetical/quantitative 세 가지 질문 유형으로 구조화하여 다양한 추론 스킬을 체계적으로 평가할 수 있게 함.

Limitation & Further Study

• 발췌된 내용만으로는 세부 평가 지표(정확도 수치, 모델별 상세 비교)와 데이터셋 품질 검증에 대한 정량적 근거가 충분히 제시되지 않음.
• 데이터 출처가 JoVE라는 단일 플랫폼에 한정되어 있어, 실험 비디오 스타일이나 형식에 편향이 있을 수 있음.
• multiple-choice 형식은 open-ended reasoning보다 우연 정답 가능성이나 답안 유출(visually irrelevant hypothesis) 문제를 완전히 배제하기 어려울 수 있음.
• 후속 연구로는 open-ended QA 형식 확장, 더 다양한 과학 저널 소스로의 확장, 그리고 모델의 실패 유형에 대한 더 세밀한 오류 분석이 필요함.

Evaluation

총평: SciVideoBench는 기존 비디오 벤치마크의 포화 문제를 지적하며 연구 수준의 과학적 추론을 요구하는 새로운 벤치마크를 제안한 의미 있는 연구로, 향후 멀티모달 AI co-scientist 개발에 중요한 이정표가 될 수 있다.