Technical Report for AI4Math-2026 Track 3: VeraPhys: Verified Ensemble Repair for Multimodal Physics Reasoning

Motivation

• Known: Chain-of-thought, self-consistency, ReAct, Tree of Thoughts 등 프롬프트 기반 추론 기법과 PAL, Program-of-Thought, VisProg, ViperGPT 같은 tool-augmented 접근은 텍스트 및 일부 시각 추론에서 성능을 향상시켜왔으며, ScienceQA, MathVista, MMMU/MMMU-Pro 등은 멀티모달 과학·수학 추론 벤치마크를 통해 시각 정보에 기반한 추론의 중요성을 보여주었다.
• Gap: 기존 VLM들은 문제의 핵심 정보가 손글씨 도형, 수식, 문제 설명 등 이미지에만 담겨 있는 경우 성능이 급격히 저하되며, 특히 SeePhysPro가 지적한 modality transfer 상황에서 시각적 변수 grounding이 주요 병목으로 남아 있다는 갭이 존재한다.
• Why: 물리 문제 풀이는 시각 인지, 물리 법칙, 수학적 유도, 충실한 설명을 유기적으로 연결해야 하는 대표적인 멀티모달 추론 과제로, 이 갭을 해결하는 것은 실세계 교육·과학 문제 해결에 적용 가능한 VLM 시스템 구축에 중요하다.
• Approach: Qwen과 GPT 기반의 다양한 생성 프로파일로 후보 답안을 생성한 뒤, 답안 정규화, 후보 병합, 검증 및 복구 게이트를 거쳐 보수적으로 최종 답안을 선택하는 다단계 앙상블 파이프라인을 제안한다.

Achievement

1. 파이프라인 정확도 달성: test-mini 평가에서 최종 시스템이 70.96%의 전체 정확도를 달성함.
2. Qwen 단독 변형의 경쟁력 입증: Qwen-only variant가 65.42% 정확도로 GPT-5.5와 비견되는 성능을 보임.
3. GPT 및 OCR-VL 통합 효과 검증: GPT 후보와 OCR-VL 정제를 통합함으로써 최종 시스템 성능이 유의미하게 향상됨(65.42%→70.96%).
4. 이미지 중심 고난도 문제 대응 모듈 설계: Level 3/4 문제를 위한 wide-panel 크롭 기반 지각 패스와 PaddleOCR-VL-1.6 기반 텍스트 해석 모듈을 도입함.

How

• 후보 생성(Candidate Generation): Qwen 프로파일(exact-answer reasoning, option-by-option auditing, no-tool reasoning, Python/SymPy-assisted solving, wide-panel image reruns)과 GPT 프로파일(N=1 solve, multiple-choice audits)을 조합하여 다양한 후보 답안 ci,g,r = (ai,g,r, τi,g,r)을 생성.
• 도구 보조 계산: 로컬 Python/SymPy 도구 호출을 통해 산술 연산, 방정식 풀이, 기호 단순화, 단위 검증, 옵션 동치성 검사를 수행.
• Wide-panel 지각 패스: 이미지 중심의 level-4 문제에 대해 원본 이미지와 라벨링된 중첩 크롭(최대 5개 이미지)을 함께 입력하여 세부 라벨, 답안 옵션 텍스트, 그래프 축, 회로 연결, 기하 구조를 포착.
• OCR 강화: Level 3/4 문제에 대해 PaddleOCR-VL-1.6을 OpenAI 호환 엔드포인트로 질의하여 문제 텍스트, 답안 선택지, 기호, 단위, 그래프/도형 사실, 위상, 공간 관계 등을 포함한 압축된 지각 시트를 생성.
• 답안 정규화 및 병합: 원시 추출 답안 문자열을 결정론적 함수 ν를 통해 정규화된 vote key로 매핑하고, 후보 인덱스 집합과 멀티셋 Ci를 구성하여 동일 답안에 대한 중복 투표를 반영.
• 검증 및 복구 게이트: Qwen/GPT 혼합 기반(base)을 보수적인 verifier와 repair gate만을 통해 수정하여 최종 답안을 확정.

Originality

• self-consistency와 다수결 투표만으로는 SeePhysPro의 단일/다중 선택, 수치, 기호 답안 형식과 시각적 grounding 오류로 인한 고빈도 오답 문제를 해결할 수 없다는 점을 지적하고, 답안 정규화·후보 그룹화·보수적 VLM 기반 선택을 결합한 하이브리드 접근을 채택함.
• 시각 인코더를 수정하지 않고 라벨링된 크롭을 추가 이미지 입력으로 부착하는 wide-panel 방식으로 고해상도 VLM 타일링 아이디어를 추론 시점(inference-time) 기법으로 경량화하여 적용함.
• Python 인터프리터를 물리 문제 전용 scratchpad(계산, 기호 단순화, 단위 검사, 옵션 검증)로 활용하고 시각 인지는 VLM에 전담시키는 역할 분리 설계.
• PaddleOCR-VL을 이용해 이미지 중심 고난도 문제에 대한 별도의 텍스트 해석 증거를 생성하고 이를 검증/복구 게이트에 통합하는 다단계 증거 결합 구조.

Limitation & Further Study

• 본문 발췌에는 검증(verifier)과 복구(repair) 게이트의 구체적인 규칙과 임계값이 충분히 상세히 기술되어 있지 않아 재현성 및 일반화 가능성 평가가 제한적임.
• test-mini라는 제한된 공식 평가셋에서만 결과가 보고되어 있어 더 큰 test-set이나 다른 물리 도메인/난이도 분포에서의 일반화 성능은 추가 검증이 필요함.
• GPT-5.5 등 특정 상용 모델에 대한 의존성이 있어 비용, 재현성, 장기적 접근성 측면에서 한계가 있으며, 오픈소스 모델만으로 구성된 파이프라인과의 비교가 부족함.
• 다단계 앙상블 파이프라인의 계산 비용(다중 프로파일, 다중 샘플링, OCR 호출 등)에 대한 효율성 분석이나 test-time compute 대비 성능 트레이드오프 논의가 제한적임.
• 후속 연구로는 검증 게이트의 자동 학습화, 더 다양한 물리 하위 도메인 및 벤치마크로의 확장, 경량 오픈소스 모델만으로의 파이프라인 재구성 등이 고려될 수 있음.

Evaluation

총평: VeraPhys는 기존의 검증된 기법들(self-consistency, tool-augmented reasoning, 고해상도 크롭, OCR 증거)을 물리 멀티모달 추론이라는 도전적 설정에 맞게 정교하게 조합한 실용적이고 견고한 대회용 파이프라인이나, 근본적으로 새로운 방법론적 기여보다는 엔지니어링적 통합과 앙상블 설계에 강점이 있는 기술 보고서이다.