Scaling physical reasoning with the physics dataset

Motivation

• Known: LLM은 수학과 코딩 경쟁에서 올림피아드 수준의 성능을 달성했으나, 현실 세계 이해의 기초인 물리학은 제한된 주목을 받음
• Gap: (1) 고품질 물리 훈련 데이터 부족 (2) 기존 평가 프레임워크가 물리 고유 문제(단위 변환, 수치 근사 등)를 제대로 처리하지 못함 (3) 난이도와 주제 분포가 불균형한 테스트 데이터
• Why: AI가 현실 세계를 정확히 모델링하고 상호작용하기 위해서는 물리학적 추론 능력이 필수적이며, 이는 LLM 발전의 중요한 방향
• Approach: 규모 있는 고품질 물리 데이터셋 구축 + 물리 특화 평가 프레임워크 개발 + 현재 모델들의 물리 능력 광범위 평가

Achievement

PHYSICS 데이터셋의 구축 파이프라인과 특징

1. 최대 규모 물리 데이터셋: 16,568개 문제(한영 이중언어), 5개 물리 분야, 4단계 난이도 수준(고등학교~대학원), 명확한 훈련/테스트 분할(7:1 비율)
2. 물리 특화 평가 프레임워크: Rule+Model 하이브리드 방식으로 물리 특유의 평가 문제(단위 변환, 수치 간단히 하기, 정밀도) 해결. 인공 주석 테스트셋으로 개선 효과 검증
3. 광범위한 모델 평가: 오픈소스/클로즈드소스 모델 평가 결과, OpenAI-o3, Gemini-2.5-pro 등 최강 모델도 물리 문제에서 성능 부족 명시

How

• 데이터 수집: 100개 이상 교과서의 PDF를 OCR로 Markdown 변환 → GPT-4o로 QA쌍 추출 → 메타데이터 기반 매칭
• 품질 관리: (1) OCR 오류 보정 (2) 다중모달/외부 문맥 의존 문제 제거 (3) 인간 전문가 검수 → 8,284개 최종 정제
• 데이터 분할: 훈련셋 14,568개(강력한 추론 모델의 reasoning path 제공), 테스트셋 1,000개(균형잡힌 난이도/주제 분포)
• Rule+Model 평가:
  • Rule: 단위 변환(km↔m), 수학 식 정규화 등 규칙 기반 사전 처리
  • Model: 훈련셋 수동 주석으로 파인튜닝한 판정 모델로 미묘한 의미론적 차이 판단
• 누설 탐지(Leak Detection): 테스트셋이 훈련 데이터에 포함되어 있지 않음을 검증

Originality

• 최초 시도: 물리학에 특화된 Rule+Model 하이브리드 평가 프레임워크 설계
• 광범위한 커버리지: 기존 물리 데이터셋 대비 최대 난이도 범위(고등학교~대학원), 가장 큰 규모(16,568문제)
• 체계적 구축 파이프라인: OCR 기반 자동 추출 + LLM 보조 + 인간 검수의 3단계 품질 관리 절차
• 이중언어 구성: 영어/중국어 1:1 비율로 대역 제공, 다양한 평가 시나리오 가능
• 상세한 reasoning path: 훈련셋에 강력한 추론 모델이 생성한 중간 과정 제공(감독 학습 용이)

Limitation & Further Study

• 평가 프레임워크의 한계: Rule+Model 방식도 복잡한 물리 현상의 미묘한 해석 차이를 완전히 포착하지 못할 수 있음
• 데이터 원본 편향: 100개 교과서는 특정 국가/교육 시스템에 편중될 가능성(영어권, 중국어권 교과서 주로 사용)
• 실험 데이터 제한: 테스트셋 1,000개는 대규모 벤치마크 기준에서 다소 제한적(다양한 세부 분야 상세 분석 어려움)
• 비전 문제 미포함: PDF에서 추출하는 과정에서 도형, 그래프, 이미지 기반 문제가 의도적으로 제외되어 시각적 물리 추론 능력 평가 불가
• 후속 연구 방향:
  • 다중모달 물리 문제 확장
  • 동적 평가 프레임워크(새로운 물리 현상에 자동 적응)
  • 강화 학습 기반 물리 모델 개선 기법 개발

Evaluation

총평: PHYSICS 데이터셋은 물리학이 과소평가된 분야임을 명확히 하고, 체계적인 구축 파이프라인과 물리 특화 평가 프레임워크로 LLM의 물리 추론 능력 발전을 위한 견고한 기반을 제공한다. 다만 비전 문제 포함 및 더 대규모 테스트셋 확보로 실용성을 높일 여지가 있다.