Can Vision Language Models Learn Intuitive Physics from Interaction?

Motivation

• Known: 기존 연구들은 pre-trained VLM이 intuitive physics 과제(안정성 판단, 물체 permanence 등)에서 인간 수준에 미치지 못하며, supervised fine-tuning이 특정 과제 성능은 향상시키지만 새로운 맥락으로 일반화되는 강건한 물리 규칙을 학습시키지는 못한다는 것이 알려져 있다. 인지과학에서는 인간이 환경과의 능동적 interaction을 통해 강건하고 일반화 가능한 개념을 학습한다는 주장(Gibson, Piaget, Gopnik 등)이 존재한다.
• Gap: SFT의 한계가 알려져 있음에도 불구하고, interaction 기반 학습(RL)이 VLM에게 일반화 가능한 물리적 직관을 가르치는 데 도움이 되는지는 체계적으로 검증된 바가 없었다. 특히 online RL이 SFT보다 더 강건하게 일반화한다는 주장이 산수·내비게이션 과제에서는 제시되었으나, 확립된 intuitive physics 과제(탑 쌓기, 안정성 판단)에서는 검증되지 않았다.
• Why: VLM이 인간처럼 물리적 세계를 이해하고 예측하는 능력을 갖추는 것은 범용 인공지능 및 로보틱스 응용에 핵심적이며, 이 연구는 interaction 기반 학습이 만능 해법이 아님을 보여줌으로써 향후 VLM의 물리적 직관 습득 전략 설계에 중요한 시사점을 제공한다.
• Approach: 시뮬레이션된 블록 탑 쌓기 환경에서 GRPO를 이용한 강화학습(interactive 조건)과 최적 행동 시퀀스를 보여주는 non-interactive(SFT 유사) 조건을 비교하고, 훈련 과제 내 성능과 관련 과제로의 일반화, 그리고 layer-wise activation decoding을 통한 모델 competence를 분석한다.

Achievement

Figure 3. Qwen3-VL-8B trained on all four conditions and evaluated on the real images of block towers from Lerer et al.

1. 훈련 과제 내 ceiling 성능: interactive와 non-interactive 조건 모두 훈련된 과제에서는 거의 완벽한(ceiling) 성능을 달성했다.
2. 일반화 실패: 두 방법 모두 훈련되지 않은 관련 물리 과제(시각적 통계 및 물리 원리를 공유하더라도)로는 신뢰성 있게 일반화되지 않았으며, interaction 여부와 무관하게 이 결과가 일관되게 나타났다.
3. 실제 이미지 일반화 실패: Lerer et al. (2016)의 실제 나무 블록 탑 이미지 데이터셋에 대한 평가에서도 훈련된 모델들이 일관된 일반화 성능을 보이지 못했다.
4. 경쟁력(competence) vs 수행(performance) 괴리: 활성화(activation)로부터 tower stability와 같은 물리량은 layer-wise decoding을 통해 높은 정확도로 디코딩 가능했으나, 이러한 내부 표상이 실제 텍스트 출력 성능으로 전환되지 않았다.

How

Figure 1. Overview of all combinations of datasets and action types. Datasets: We train models on two related datasets,

• 데이터셋 구성: 2-4개의 무작위 색상 큐브로 이루어진 탑을 다루는 두 개의 관련 데이터셋(top block displacement, side block displacement)을 물리 엔진으로 생성, 256×256 RGB 이미지 사용
• 행동 공간: binary stability 판단, x-only(단일 변위 값), x-y(2차원 변위) 세 가지 action type 정의
• 학습 방법 비교: (1) interactive 조건 - GRPO를 이용한 one-step RL로 trial-and-error를 통해 학습, (2) non-interactive 조건 - 최적 행동 시퀀스 예시를 보여주는 방식(SFT 유사)
• 모델: Qwen3-VL-8B를 데이터셋×액션타입의 네 가지 조합 모두에 대해 훈련
• 평가: 훈련 과제 내 성능, 관련된 새로운 과제(다른 데이터셋/액션 타입 조합)로의 교차 일반화, Lerer et al. (2016)의 실제 나무 블록 탑 이미지에 대한 외부 일반화 평가
• 표상 분석: 모델 activation을 layer별로 디코딩하여 tower stability와 같은 핵심 물리량이 얼마나 예측 가능한지(competence) 측정, interactive와 non-interactive 조건 간 later-layer decodability 비교
• 추가 실험: single-step과 multi-step GRPO 버전 비교(Figure 4)

Originality

• Interaction(강화학습을 통한 학습)이 VLM에 intuitive physics를 가르치는 데 유효한지를 최초로 체계적으로 검증한 연구
• 인지과학의 embodied cognition 이론(Gibson, Piaget, Gopnik 등)을 VLM 훈련 방법론 비교 설계에 직접 접목시킨 점
• Competence(내부 표상의 디코딩 가능성)와 performance(실제 텍스트 출력)를 구분하여 분석함으로써, 단순 행동 실패를 모델의 지식 부재로 오귀속하지 않는 방법론적 엄밀성 제공
• 시뮬레이션 데이터와 실제 이미지(Lerer et al. 2016) 모두를 이용한 교차 도메인 일반화 평가를 결합

Limitation & Further Study

• 단일 모델(Qwen3-VL-8B)에 대해서만 실험이 이루어져, 결과가 다른 아키텍처나 모델 크기에도 일반화되는지 불분명함
• One-step RL로 interaction을 조작화했는데, 이는 실제 embodied interaction(다중 감각, 순차적 행동)과는 상당히 단순화된 형태이며 multi-step RL이나 실제 로보틱스 상호작용에서는 다른 결과가 나올 가능성 존재(논문 자체도 Figure 4에서 multi-step 버전을 일부 탐색)
• 물리 과제의 범위가 블록 탑 쌓기/안정성 판단으로 제한되어 있어, 다른 유형의 intuitive physics(연속성, 물체 permanence 등)에 대한 결론으로 확장하기 어려움
• Competence-performance 괴리의 근본 원인(출력 포맷 문제인지, 표상과 행동 간 연결 메커니즘의 문제인지)에 대한 심층 분석이 부족하며, 후속 연구에서 이 괴리를 해소할 수 있는 훈련 기법(예: chain-of-thought, 표상-행동 직접 연결 기법) 탐구가 필요함

Evaluation

총평: Interaction 기반 강화학습이 VLM의 일반화 가능한 intuitive physics 학습에 만능 해법이 아님을 보이는 실증적으로 탄탄하고 흥미로운 부정적 결과 연구로, 향후 embodied learning과 VLM 물리적 추론 연구에 중요한 경종을 울리는 기여이다.