P1-VL: Bridging Visual Perception and Scientific Reasoning in Physics Olympiads

Motivation

Known: LLM이 symbolic reasoning을 넘어 science-grade reasoning으로 발전하고 있으며, IPhO와 같은 물리 올림피아드가 이러한 추론 능력을 평가하는 대표적 testbed로 활용되어 왔다.
Gap: 기존 연구들은 물리 올림피아드 문제 해결을 위해 LLM을 활용했지만 대부분 텍스트 기반 추론에 집중했으며, 문제에 포함된 기하학적 제약, 회로 토폴로지, 힘의 상호작용 등을 담은 도형(diagram)의 시각적 정보를 활용하지 못해 text-only 모델이 근본적인 정보 격차를 겪는 문제가 존재했다.
Why: 물리는 추상적 논리를 물리적 실재에 결속시키는 핵심 시험대로서, 시각적 인지와 과학적 추론을 결합하는 능력은 향후 machine scientific discovery와 embodied AI를 위한 필수적 전 단계이기 때문에 중요하다.
Approach: P1-VL은 base vision-language model 위에 점진적으로 난이도를 확장하는 Curriculum Reinforcement Learning으로 post-training을 안정화하고, 추론 단계에서는 PhysicsMinions agent framework를 통한 반복적 자기검증(Agentic Augmentation)으로 성능을 강화한다.

Achievement

오픈소스 최초 12개 금메달 달성: 플래그십 모델 P1-VL-235B-A22B가 HiPhO의 13개 물리 올림피아드 시험에서 12개 금메달과 1개 은메달을 획득하여 오픈소스 VLM 최초 기록을 세웠다.
전 세계 2위 성적: PhysicsMinions agent로 증강된 P1-VL 시스템이 Gemini-3-Pro에만 뒤지는 글로벌 종합 2위를 달성했다.
텍스트 기반 agent 베이스라인 능가: 단독 P1-VL 모델이 agent로 증강된 텍스트 전용 베이스라인(P1-235B-A22B+PhysicsMinions)을 능가하며 전체 3위를 기록했다.
경량 모델의 성능: P1-VL-30B-A3B가 9개 금메달을 획득해 대부분의 오픈소스 모델 평균을 상회했다.
타 도메인으로의 일반화: FrontierScience-Olympiad의 생물, 화학, 물리 영역과 수학·멀티모달 STEM 추론 과제에서도 베이스라인 대비 각각 8.0점, 9.1점의 유의미한 성능 향상을 보였다.

How

데이터셋 구축: 물리 올림피아드(4,126), 학부 교재(2,968), 경시대회 가이드(939) 등 총 8,033개 문제로 구성된 멀티모달 데이터셋을 curation.
품질 관리 파이프라인: OCR 교정, Gemini-2.5-Flash·Claude-3.7-Sonnet·GPT-4o 세 모델의 다수결 기반 answer cross-validation, 검증 불가능한 개방형 문제(증명 등) 필터링, 시각적 일치성 검사(figure 누락 여부), 전문가 검토를 거쳐 13,432개에서 8,033개로 정제.
Curriculum RL Training: base VLM 위에 난이도를 점진적으로 확장하는 curriculum reinforcement learning framework와 안정화 메커니즘을 도입하여 post-training 수행.
Agentic Augmentation: 추론 시 PhysicsMinions agent framework와 통합하여 다중 턴(multi-turn) 반성, 비판, 해답 정제를 통한 반복적 자기검증 수행.
평가: 2024–2025년 13개 물리 올림피아드 시험을 집계한 HiPhO 벤치마크와 FrontierScience-Olympiad, 수학·STEM 벤치마크에서 성능 검증.

Limitation & Further Study

발췌된 abstract 및 introduction 위주로는 curriculum RL의 구체적 난이도 확장 알고리즘, 안정화 메커니즘의 세부 구현, RL 보상 설계 등 기술적 디테일이 충분히 드러나지 않아 재현성 검증이 어려움.
Gemini-3-Pro 대비 여전히 격차가 존재하며, 폐쇄형 최상위 모델과의 성능 차이를 좁히기 위한 추가 연구가 필요함.
데이터 curation 및 quality control 과정에서 다수의 상용 LLM(Gemini, Claude, GPT-4o)에 의존하는데, 이들 모델의 편향이나 오류가 데이터셋 품질에 미치는 영향에 대한 심층 분석이 부족함.
물리 이외의 STEM 영역(생물, 화학, 수학) 일반화 성능이 보고되었으나, 해당 벤치마크들에서의 세부 실패 사례 분석은 제시되지 않음.

같이 보면 좋은 논문

SciCode: A Research Coding Benchmark Curated by Scientists

기반 연구SPECTER2 유사도 0.94로 LLM Agent Reasoning Training와 AI-Driven Drug and Materials Discovery가 맞닿아, 'SciCode: A Research Coding Benchmark Curated by Scientists'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning

기반 연구SPECTER2 유사도 0.94로 LLM Agent Reasoning Training와 LLM Benchmarking and Agent Evaluation가 맞닿아, 'DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning'가 이 ICML 2026 논문의 배경·대안·응용 맥락을 보완한다.

Sim2Reason: Solving Physics Olympiad via Reinforcement Learning on Physics Simulators

기반 연구curriculum RL과 agentic augmentation 기법의 기반이 되는 연구로 판단됨

다른 접근물리 시뮬레이션 데이터를 활용한 RL 기반 LLM 학습이라는 유사한 접근.

Text Before Vision: Staged Knowledge Injection Matters for Agentic RLVR in Ultra-High-Resolution Remote Sensing Understanding

기반 연구텍스트 지식 주입을 통한 시각적 추론 향상 방법을 확장한 연구이다.

Asking the Right Question: Epistemic Inquiry as a Learnable Reasoning Skill for Scientific Discovery

기반 연구학습 가능한 추론 능력의 도메인 전이성을 확장하여 검증한다.

JURY-RL: Votes Propose, Proofs Dispose for Label-Free RLVR

기반 연구다수결 투표 기반 후보 제안 방식을 확장하여 적용한 후속 연구이다.

다른 접근유사한 오픈소스 과학 추론 VLM을 다른 학습 전략으로 구축함

Curriculum Reinforcement Learning from Easy to Hard Tasks Improves LLM Reasoning

다른 접근강화학습 기반 LLM 학습 방법의 대안적 접근을 제시함