PRISM: Structured Decomposition for Multimodal Physics and Mathematical Reasoning

Motivation

• Known: 기존 vision-language model들은 MathVista, MMMU, MATH-Vision, SeePhys 등 벤치마크에서 물리·수학 도메인의 시각적 reasoning에 한계를 보이며, sampling 기반 test-time scaling(majority voting, Pass@k)이나 multi-agent consensus, caption-assisted reasoning 등의 접근이 시도되어 왔다.
• Gap: 기존 방법들은 시각 입력을 단일 end-to-end context에서 처리하여 시각적 perception과 downstream reasoning이 얽혀 있고, 초기 지각적 hallucination이 reasoning 전체로 전파될 수 있다. 또한 sampling 기반 test-time scaling은 동일한 얽힌 추론 과정을 반복하기 때문에, 실패 모드가 결정론적(예: 누락된 시각적 관계나 잘못된 제약조건)일 경우 효과가 제한적이다.
• Why: Physics와 mathematics 문제는 도표·개략도로부터의 정확한 시각적 grounding과 제약조건 보존, 다단계 reasoning을 동시에 요구하는데, 이러한 지각과 추론을 명시적으로 분리하는 것이 inference-time scaling의 실용적 대안이 될 수 있음을 보여준다는 점에서 중요하다.
• Approach: 저자들은 test-time에서 visual grounding, caption enrichment, program-aided reasoning을 각각 별도의 multi-agent 하위 시스템으로 분리하는 PRISM(Physics Reasoning via Integrated Structured Multimodality) 프레임워크를 제안하고, SeePhys 및 MATH-Vision 벤치마크에서 구조적 분해가 direct prompting 및 sampling 기반 baseline 대비 효과적인지 검증한다.

Achievement

Figure 1. The PRISM Framework consisting of three stages: Visual System, Enrichment System, and Solver System.

1. 경량 모델과 고난도 문제에서의 큰 성능 향상: SeePhys mini subset에서 경량 모델 성능을 37.0%에서 64.5%로 크게 끌어올렸고, L8(PhD 수준) 문제에서 mini subset 78.7%, full L8 subset 74.7%를 달성하여 sampling 기반 baseline을 능가하고 Caption-Assisted Reasoning(CAR)과 경쟁력 있는 성능을 보였다.
2. Sampling 기반 scaling의 한계 규명: Pass@k와 Majority@k 사이의 oracle selection gap이 k=5에서 0.5점, k=10에서 4.0점으로 커짐을 보여, 단순히 sample 수를 늘리는 것만으로는 구조적 분해가 해결할 수 있는 실패를 극복하지 못함을 입증했다.
3. 모듈형 3단계 test-time agentic 프레임워크 제안: visual grounding, caption enrichment, program-aided reasoning을 명시적으로 분리한 파이프라인을 설계하여 각 단계의 중간 산출물을 투명하게 노출시켰다.
4. Ablation 및 cross-dataset 일반화 검증: program-aided reasoning 단독으로도 direct prompting 대비 성능이 개선되며 visual grounding 추가 시 추가적 이득이 있음을 확인했고, MATH-Vision에서도 baseline 대비 일관된 성능 향상을 보여 물리 영역을 넘어선 일반화 가능성을 입증했다.

How

Figure 1. The PRISM Framework consisting of three stages: Visual System, Enrichment System, and Solver System.

• Visual System: Semantics Agent(가시적 entity와 속성 추출), Grounding Agent(OpenCV 기반 Python 스니펫으로 bounding box 생성), Topology Agent(entity 간 구조적 관계, 예: 도선·도르래 식별), Critique Agent(hallucination·불일치 검출 시 반복적 개선 루프 트리거)로 구성.
• Enrichment System: Enrichment Agent가 추출된 semantics·topology·원본 caption을 통합해 enriched caption을 생성하며 암묵적/명시적 제약조건을 포착하고, Critique Agent가 이를 검토해 필요 시 재정제.
• Solver System: Planner Agent가 필요한 공식·단위·중간변수를 명시하고 각 단계를 computational/theoretical로 분류한 단계별 계획을 수립하며, Solver Agent가 computational 단계는 SciPy 기반 Python 코드 실행, theoretical 단계는 구조적 reasoning으로 처리하고, Critique Agent가 최종 답과 추론 과정을 검토해 불일치 시 재실행 루프를 트리거.
• SeePhys-mini(200문항, 8단계 난이도 및 시각 의존도 axis로 주석)과 MATH-Vision에서 direct prompting, sampling 기반 baseline(Majority@k, Pass@k), CAR와 비교 평가 및 ablation 수행.

Originality

• 시각적 perception과 mathematical/physical reasoning을 완전히 분리된 순차적 multi-agent 단계(Visual → Enrichment → Solver)로 구조화한 점이 기존 end-to-end multimodal reasoning 접근과 차별화됨.
• 각 하위 시스템마다 Critique Agent를 두어 hallucination과 불일치를 반복적으로 교정하는 iterative refinement loop를 도입한 점.
• Program-aided reasoning(SciPy 기반 코드 실행)과 이론적 reasoning을 문제 단계별로 분류해 혼합 처리하는 Planner-Solver 구조.
• Sampling 기반 test-time scaling과의 비교를 통해 구조적 분해가 결정론적 실패에 대한 실용적 대안임을 실증적으로 제시.

Limitation & Further Study

• 실험이 SeePhys의 200문항 mini subset에 주로 국한되어 있어 전체 벤치마크에 대한 검증이 제한적일 수 있음.
• Multi-agent 파이프라인의 각 단계마다 반복적 critique 루프가 존재하여 추론 비용(계산 자원, latency)이 크게 증가할 가능성이 있으나 이에 대한 비용 분석이 부족해 보임.
• 구조적 분해의 효과가 문제 유형(시각 의존도·난이도)에 따라 달라진다고 언급하며 adaptive routing을 향후 과제로 제시했으나, 구체적 routing 메커니즘은 아직 제안되지 않음.
• 단일 저자의 워크샵 논문으로 큰 모델과의 비교, 다양한 도메인(화학, 생물 등)으로의 확장성 검증이 추가로 필요함.

Evaluation

총평: 지각과 추론을 명시적으로 분리하는 아이디어를 견고한 multi-agent 구조로 구현하여 경량 모델과 고난도 문제에서 유의미한 성능 향상을 보여준 실용적이고 흥미로운 연구이나, 계산 비용 분석과 대규모 벤치마크 검증이 추가되면 더욱 설득력이 강화될 것이다.