Sim2Reason: Solving Physics Olympiad via Reinforcement Learning on Physics Simulators

Motivation

• Known: DeepSeek-R1 등을 통해 RLVR가 LLM의 수학·논리 추론 능력을 크게 향상시켰음이 알려져 있으나, 이는 인터넷 QA 코퍼스, 특히 수학 도메인에 크게 편중된 데이터에 의존한다.
• Gap: 물리학과 같은 과학 분야는 대규모 QA 데이터셋이 부족하여 reasoning 모델 학습에 한계가 있으며, 물리 시뮬레이터가 정밀한 물리 법칙 정보를 담고 있음에도 이를 LLM의 물리 문제 해결 능력 향상에 직접 활용하는 방법이 부재했다.
• Why: 인터넷 QA 데이터의 규모적 한계를 벗어나 물리 시뮬레이터를 무제한적이고 검증 가능한 학습 신호의 원천으로 전환할 수 있다면, 과학 도메인 전반에서 데이터 병목 없이 LLM의 심층적 추론 능력을 확장할 수 있는 새로운 패러다임을 제시할 수 있다.
• Approach: MuJoCo 물리 엔진에서 DSL(Domain Specific Language)로 절차적 무작위 물리 장면을 생성하고 시뮬레이션 결과로부터 numeric, reverse, symbolic 세 가지 유형의 검증 가능한 QA 쌍을 자동 생성한 뒤, 이를 이용해 LLM을 RLVR 방식으로 파인튜닝한다.

Achievement

Figure 1. We present SIM2REASON: a method for turning physics simulators into scalable generators of question–answer pai

1. Zero-shot sim-to-real 전이 입증: 합성 시뮬레이션 데이터만으로 학습했음에도 IPhO(International Physics Olympiad) 문제에서 3B~32B 규모 모델 전반에 걸쳐 5–10 퍼센트포인트의 성능 향상을 달성했다.
2. 다양한 실제 벤치마크에서의 일관된 개선: JEE-Bench(32B 모델 기준 +17.9%), PHYSICS, OlympiadBench 등 여러 벤치마크에서 일관된 성능 향상을 확인하여 단순 암기가 아닌 일반화된 물리 추론 능력 습득을 입증했다.
3. 자동화된 벤치마킹 도구로서의 가치 발견: 자체 생성 QA에서의 모델 정확도와 실제 물리 벤치마크 성능 간 높은 상관관계를 발견하여, 특정 물리 영역에 대한 확장 가능하고 자동화된 모델 평가 도구로 활용 가능함을 보였다.

How

Figure 3. Overview of our synthetic data-generation pipeline. We procedurally generate simulatable scenes by randomly se

• MuJoCo를 이용해 kinematics, rotational mechanics, orbital motion, variable-mass system, 기본 electromagnetism 등 다양한 물리 현상을 아우르는 무작위 장면을 절차적으로 생성
• (a) 시뮬레이터에서 장면 시뮬레이션, (b) 센서 데이터 기록, (c) 장면 설명 절차적 생성, (d) 질문 절차적 생성, (e) 센서 데이터로부터 정답 추출의 4단계 파이프라인 구축
• 질문 유형을 numeric(상태 질의), reverse(파라미터 역추론), symbolic(닫힌 형태 표현) 세 가지 reasoning 모드로 구성
• DSL의 절차적 특성을 활용해 pulley system과 rotational dynamics 결합 등 이질적 물리 장면을 동적으로 조합하여 수백만 개의 고유한 학습 샘플 생성
• 시뮬레이터 생성 질문의 degeneracy(지나치게 쉽거나 계산상 불가능한 문제) 문제를 해결하기 위해 question pruning 전략으로 필터링 수행
• 생성된 합성 데이터에 대해 실제 물리 QA 없이 RL(RLVR)만으로 LLM post-training 진행

Originality

• 물리 시뮬레이터를 외부 도구(tool-use)로 활용하는 기존 접근과 달리, 시뮬레이터를 QA 데이터 생성기로 전환하여 LLM의 코드 생성 부담 없이 물리 추론 능력을 직접 학습시키는 새로운 프레임워크 제안
• DSL 기반 절차적 장면 조합을 통해 이질적 물리 시스템(예: pulley + rotational dynamics)을 결합, 확장 가능한 무한 데이터 생성 파이프라인 구축
• numeric, reverse, symbolic 세 가지 reasoning 모드로 QA를 구성하여 상태 질의부터 역추론, 닫힌 형태 해석까지 포괄하는 다각적 supervision 설계
• 시뮬레이터 기반 합성 QA 정확도와 실제 벤치마크 성능 간 상관관계를 활용해 자동화된 물리 모델 평가 도구로서의 부가가치 발견

Limitation & Further Study

• MuJoCo가 지원하는 물리 현상 범위 내로 시뮬레이션 커버리지가 제한되며, 시뮬레이터가 기본적으로 다루지 않는 복잡한 물리 현상(예: 유체역학, 열역학)에 대한 일반화는 검증되지 않음
• 발췌본에서 electromagnetism 등은 "기본적인" 수준으로만 다뤄져, 고차원적 물리 개념(양자역학, 상대성이론 등)으로의 확장 가능성은 불명확함
• 질문 생성 및 필터링 파이프라인의 세부 하이퍼파라미터(난이도 경계 설정 등)가 모델 성능에 미치는 민감도에 대한 심층 분석이 추가로 필요함
• 후속 연구로 더 넓은 시뮬레이터(유체, 전자기학 전반, 양자 시스템)로의 확장 및 다른 과학 도메인(화학 등)에 대한 적용 가능성 탐구가 요구됨

Evaluation

총평: 인터넷 QA 데이터의 도메인 편중과 규모 한계를 물리 시뮬레이터 기반 합성 데이터로 극복하려는 시도로, 실질적인 sim-to-real 전이 성능 향상을 여러 벤치마크에서 입증한 인상적인 연구이다. 다만 시뮬레이터가 다루는 물리 현상의 범위에 여전히 의존적이라는 근본적 한계가 남아 있어 향후 더 폭넓은 도메인으로의 확장이 중요한 과제가 될 것이다.