From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers

Motivation

• Known: Vafa et al. (2025)는 GPT-2 규모의 transformer가 20B 토큰 규모의 행성 운동 데이터로 학습되어도 높은 예측 정확도를 달성하지만, 내부 표현에 gravitational force와 같은 Newtonian 물리 법칙이 나타나지 않음을 보였다. 한편 기존 "AI Physicist" 접근법들은 강한 도메인 특화 prior를 사용해 물리 법칙을 성공적으로 복원해왔다.
• Gap: 범용 transformer 아키텍처가 왜 세계 모델을 학습하지 못하는지, 그리고 도메인 특화 prior 없이 어떤 최소한의 구조적 변경만으로 이를 해결할 수 있는지가 불명확했다. 즉 실패의 근본 원인과 그에 대한 최소 개입 방식의 규명이 연구 공백이었다.
• Why: 범용 AI 아키텍처가 이미 알려진 고전역학 법칙조차 복원하지 못한다면, 미지의 자연 법칙을 발견하는 'AI Scientist'로서 신뢰받기 어렵다는 점에서, 이 문제 해결은 자동화된 과학적 발견을 향한 핵심 리트머스 시험이 된다.
• Approach: discretized tokenization으로 인한 공간적 불연속성을 continuous regression으로 대체하고, noisy context learning으로 추론 안정성을 확보하며, attention 윈도우(context length)를 좁혀 temporal locality를 부여하는 세 가지 inductive bias를 순차적으로 도입하여 transformer의 world model 습득 여부를 검증한다.

Achievement

Figure 1. Visual abstract. Top left: The problem setup of Vafa et al. (2025): planetary motion prediction is formulated

1. Spatial smoothness 문제 규명: 기존 tokenization 방식이 물리적으로 가까운 점들을 embedding 공간에서 멀리 떨어뜨려(포인트 클라우드가 4분면으로 분절되는 등) spatial map 형성을 방해함을 실증적으로 보였다 (Figure 2, 3).
2. Regression 기반 해법: classification 대신 continuous regression으로 문제를 재정의하여 spatial smoothness를 보장하고, noisy context learning으로 error accumulation 문제를 해결해 모든 데이터 규모에서 classification을 능가하는 성능을 달성했다 (Figure 4, 5).
3. Temporal locality의 발견적 역할: context length를 짧게 제한하면 transformer가 Newtonian force representation(가속도, 힘)을 학습하고, context length가 길면 Kepler적 타원 맞춤(LRL vector 등 기하학적 파라미터)에 의존하는 모델을 학습한다는 것을 규명했다 (Figure 1).
4. 일반적 함의 도출: 물리 법칙 자체에 대한 구체적 지식 없이도, 단순하고 일반적인 inductive bias만으로 올바른 특정 세계 모델을 유도할 수 있음을 보여, 아키텍처 설계가 curve-fitter와 physicist를 가르는 결정적 요인임을 입증했다.

How

Figure 4. Error accumulation and fixing it by adding context noise in training. Each subplot shows the ground truth traj

• Vafa et al. (2025)의 설정을 재현: 태양을 원점에 두고 행성 위치 (x,y)를 시간 간격 Δt마다 기록, GPT-2 규모 transformer로 auto-regressive 예측 수행
• Tokenization 분석: x, y를 각각 V개 bin으로 이산화하고 학습 가능한 embedding으로 표현하는 기존 방식의 embedding 구조를 시각화 및 선형 decodability 평가
• Vocabulary size V, 데이터 크기 D, embedding 차원 N에 따른 spatial map 형성의 스케일링 행태 분석
• Continuous regression(MSE loss) 방식과 noisy context learning(학습 컨텍스트에 노이즈 주입)을 결합하여 error accumulation 완화 및 성능 비교
• Attention window(context length)를 전체 이력 대신 2개 이전 상태로 제한하는 실험을 통해 temporal locality가 Newtonian force 표현 출현에 미치는 영향 검증
• Kepler적 세계 모델(타원 파라미터, Laplace-Runge-Lenz vector 기반)과 Newtonian 세계 모델(gravitational force, F=ma) 간의 내부 표현 차이를 비교 분석

Originality

• 기존 "AI Physicist" 연구들이 강한 도메인 특화 prior에 의존했던 것과 달리, 본 연구는 최소한의 일반적 inductive bias(spatial smoothness, stability, temporal locality)만으로 물리 법칙 발견이 가능함을 보여 접근 방식 자체가 새롭다
• Kepler 대 Newton이라는 두 가지 대비되는 세계 모델이 동일한 transformer 아키텍처에서 context length라는 단일 하이퍼파라미터 조절만으로 전환될 수 있다는 발견은 예상치 못한 통찰이다
• Vafa et al.의 실패 사례를 단순 재현이 아니라 원인(spatial smoothness, stability 결여)을 체계적으로 분해하여 각 실패 모드에 대응하는 해법을 제시한 진단적 접근이 독창적이다

Limitation & Further Study

• 행성 운동(2체 문제)이라는 매우 단순하고 통제된 시스템에 국한된 실험으로, 더 복잡한 다체계나 비보존계, 노이즈가 많은 실제 물리 시스템에 대한 일반화 가능성은 검증되지 않았다
• Temporal locality를 부여하기 위해 context length를 인위적으로 짧게 제한하는 것은 사실상 도메인 지식(2차 미분방정식 구조)을 암묵적으로 주입하는 것으로 볼 수 있어, "완전히 일반적인" inductive bias라는 주장에는 논란의 여지가 있다
• 세 가지 inductive bias의 상호작용(예: smoothness와 stability만으로는 왜 Kepler 모델에 머무는지에 대한 이론적 설명)이 실증적 관찰에 그치고 있어 더 엄밀한 이론적 분석이 필요하다
• 후속 연구로는 비평면 궤도, 다행성계, 혹은 완전히 미지의 물리 법칙에 대한 확장 실험이 필요해 보인다

Evaluation

총평: Vafa et al.의 유명한 실패 사례를 체계적으로 진단하고 최소한의 구조적 개입만으로 해결한 명료하고 통찰력 있는 연구로, AI 기반 과학적 발견 분야에 실질적인 기여를 한다. 다만 단순한 물리계에 국한된 검증이라는 점에서 일반화 가능성에 대한 추가 검토가 필요하다.