Structure Abstraction and Generalization in a Hippocampal-Entorhinal Inspired World Model

Motivation

• Known: HPC-MEC 회로는 공간 탐색뿐 아니라 개념적 공간 표상에도 관여하며, HPC는 개별 경험의 content-specific 정보를 결합(binding)하고 MEC는 grid cell 기반의 추상적 관계 구조를 인코딩하여 continuous attractor neural network(CANN)로서 velocity 입력에 따른 path integration을 수행한다는 것이 알려져 있다.
• Gap: 기존 인지 지도(cognitive map) 모델들(TEM, CSCG, Vector-HaSH 등)은 discrete하거나 사전 정의된 action에 의존하거나 전체 시퀀스를 암기하는 방식이어서, 연속적이고 고차원적인 실제 시각 장면(raw video)으로부터 직접 공유 추상 구조를 추론하는 능력이 결여되어 있다.
• Why: action label이나 사전 지식 없이 순수 관찰 시퀀스만으로 재사용 가능한 추상 구조를 학습하고 이를 새로운 맥락에 일반화할 수 있다면, 뇌가 어떻게 효율적인 world model을 구축하는지에 대한 계산적 이해뿐 아니라 정책 학습·표현 전이 등 머신러닝 응용에도 중요한 시사점을 제공한다.
• Approach: Inverse model을 통해 MEC embedding으로부터 latent transition(추상 구조)을 추론하고, HPC-MEC coupling model이 CANN 기반 velocity-driven path integration으로 다음 프레임을 예측하는 계층적 encoder-decoder 구조를 결합하여, content(HPC)와 structure(MEC)를 분리한 채 자기지도적으로 world model을 학습한다.

Achievement

Figure 5. Structural generalization. (A) One-step latent transition transfer across different scenes on SSv2. (B)(C) One

1. 구조 추상화(Structure abstraction)의 정성/정량적 입증: primitive transformation dynamics를 벤치마크로 사용해 모델이 appearance와 dynamics를 분리하며 MEC embedding에서 주기성(periodicity)과 class 내 구조 공유를 보임을 보였다.
2. 맥락 간 구조 일반화(Structural generalization): 학습된 latent transition을 서로 다른 물체·환경에 걸쳐 재사용하여, one-step 및 autoregressive 예측에서 높은 정확도를 유지함을 보였다.
3. 실제 데이터 및 out-of-distribution 일반화: 실제 인간 행동 시퀀스(real-world human activity)에서도 효과적인 예측 성능을 보였으며, 학습 분포 밖 데이터셋에도 일반화되는 능력을 확인했다.

How

Figure 2. Overview of the HPC-MEC coupling model. (A) The graphical model of the HPC-MEC coupling model. The visual infe

• 사전학습된 multi-scale VQ-VAE(Tian et al., 2024)로 비디오 프레임을 observation embedding s로 인코딩(고정된 상태로 사용)
• spatial-temporal Transformer encoder(temporal causal masking 적용)를 통해 s를 HPC embedding p(content 정보)로, 이어서 MEC embedding g(구조 정보)로 압축하는 visual inference flow 구성
• MEC의 transition dynamics를 CANN 기반 template으로 구현하여 latent transition z_t를 g_t에 적용해 g_{t+1}을 생성하는 generation flow(path integration) 구현
• 별도의 inverse model이 연속된 MEC embedding들로부터 latent transition z_t(구조)를 추론하여, ground-truth action 없이 구조를 자기지도적으로 학습
• VQ-VAE decoder를 통해 생성된 embedding으로부터 다음 프레임을 복원, 전체 파이프라인을 end-to-end로 학습

Originality

• HPC와 MEC의 기능적 분리(content vs. structure)를 실제 고차원 비디오 시퀀스에 적용해 자기지도적으로 동시에 학습하는 최초의 시도로 보임
• 기존 cognitive map 모델(TEM, CSCG, Vector-HaSH)이 discrete하거나 재학습이 필요하거나 전체 시퀀스 암기에 의존하는 것과 달리, CANN 기반 velocity-driven path integration으로 continuous하고 재사용 가능한 구조를 추론
• latent action 추출 연구(Genie, LAPO, AdaWorld 등)와 신경과학적 grid cell 모델을 연결하여, 생물학적으로 근거 있는 CANN dynamics를 state-action 상호작용 메커니즘으로 사용한 점이 AdaLN 등 기존 딥러닝적 접근과 차별화됨

Limitation & Further Study

• primitive transformation dynamics와 같은 비교적 제한된 벤치마크에서 구조 추상화를 검증했으며, 훨씬 복잡하고 다양한 실제 환경으로의 확장성은 추가 검증이 필요함
• 사전학습된 고정 VQ-VAE에 의존하고 있어, 시각 인코더 자체의 표현력이 구조 추출 성능에 미치는 영향에 대한 분석이 부족함
• 모델이 CANN template의 사전 설계(하이퍼파라미터, attractor 구조)에 의존하는 정도가 커서, 완전히 구조에 대한 사전 지식 없이 학습한다고 보기 어려운 부분이 있을 수 있음
• 후속 연구로는 더 복잡한 다중 물체·다중 에이전트 시나리오, 장기 시퀀스에서의 계층적 구조 재사용, 그리고 실제 로봇 정책 학습으로의 적용 가능성 검증이 필요함

Evaluation

총평: 신경과학적 HPC-MEC 회로의 기능적 분리를 실제 고차원 비디오 데이터에 적용해 자기지도적 구조 추상화와 일반화를 구현한 참신하고 잘 설계된 연구로, 뇌 영감 world model 연구와 latent action 학습 분야를 잇는 의미 있는 기여이다.