Scaling Cross-Embodied Learning: One Policy for Manipulation, Navigation, Locomotion and Aviation

Essence

Figure 1: We introduce CrossFormer, a transformer-based policy trained on 900K trajectories of diverse,

CrossFormer는 20개의 서로 다른 로봇 embodiment에서 900K 궤적으로 학습된 단일 transformer 기반 정책으로, 관찰 및 행동 공간의 수동 정렬 없이 조작, 네비게이션, 보행, 항공 로봇을 모두 제어할 수 있다.

Known: 로봇 학습은 각 플랫폼별 제한된 데이터로 인해 일반화가 어렵지만, 다중 로봇 데이터로 학습하면 더 넓은 데이터셋을 활용할 수 있다. 기존 연구는 동일한 관찰/행동 공간을 가진 로봇들에 제한되었거나 수동 정렬이 필요했다.
Gap: 서로 다른 센서(카메라, proprioceptive), 액추에이터(2-1400 DoF), 제어 주파수(5-20Hz)를 가진 로봇들을 자동으로 처리하면서 동시에 조작, 네비게이션, 보행, 항공 등 극도로 다양한 embodiment을 제어하는 단일 정책은 아직 없었다.
Why: cross-embodied 학습은 데이터 효율성을 크게 향상시키고, 각 로봇별 맞춤 정책 설계 비용을 줄이며, 일반화된 로봇 정책의 실현 가능성을 보여준다.
Approach: Transformer 기반 정책으로 가변 길이 관찰을 토큰 시퀀스로 직렬화하고, 행동 타입별 readout 토큰과 action-space specific head를 사용하여 임의 차원의 행동을 예측한다.

Figure 5: Real Evaluation. We compare CrossFormer to the same architecture trained on just the

900K 궤적, 20개 embodiment 규모: 조작(단일/이중 팔), 바퀴 로봇, quadcopter, quadruped을 포함하는 가장 크고 다양한 cross-embodied 데이터셋으로 학습
관찰/행동 공간 자동 처리: 수동 정렬 없이 2-1400 DoF의 행동, 다양한 센서 조합, 5-20Hz 제어 주파수 차이를 자동 처리
specialist 정책 수준 성능: 각 embodiment별 맞춤 정책과 성능을 일치시키면서 cross-embodiment 학습 기존 최고 성능 초과
실제 로봇 검증: 광범위한 실제 환경 실험으로 방법의 실용성 입증

Figure 2: Policy architecture. Our architecture enables cross-embodied policy learning through

모든 관찰(다중 카메라, proprioceptive 센서)을 토큰으로 변환하여 flat sequence로 순서화
각 행동 타입(manipulation, navigation, locomotion 등)마다 action readout 토큰을 입력 시퀀스에 삽입
대응하는 출력 임베딩을 행동-공간 특화 head로 전달하여 올바른 차원의 벡터 생성
Action chunking을 사용하여 시간적 일관성 개선
Language instruction 또는 goal image를 통한 flexible task specification 지원
OXE dataset의 900K 부분 궤적과 GNM navigation, DROID manipulation, Go1 quadruped, ALOHA bimanual 데이터로 co-training

학습 데이터 분포에 대한 분석이 명확하지 않음 (각 embodiment별 궤적 개수 분포 미상)
Fine-tuning 필요성에 대한 분석이 부족 (zero-shot vs. few-shot 성능 비교 부재)
Failure case 분석이 제시되지 않음 (어떤 embodiment/task 조합에서 어려움을 겪는지 미상)
후속 연구: 더 이질적인 embodiment (예: 유연한 로봇, 다리 개수 다양성) 포함; embodiment 인코딩과 데이터 불균형의 영향 연구; 강화학습을 통한 on-robot improvement 탐색

기반 연구Robot Utility Models 논문은 범용 정책의 zero-shot deployment에 관한 이론적 기반을 제공하여 Cross-embodiment policy transfer에 대한 개념적 토대를 마련해 준다.

기반 연구π₀.₅는 다양한 embodiment에서의 VLA generalization을 강조하여, Scaling Cross-Embodied Learning 연구의 토대가 된다.

기반 연구Scaling Cross-Embodied Learning 논문은 cross-embodiment 정책 학습·확장성에 초점을 맞추어, Latent Action Diffusion의 핵심 아이디어를 대규모 실험·평가로 확장합니다.

다른 접근Latent Action Diffusion for Cross-Embodiment Manipulation 논문은 다양한 로봇 embodiment간 스킬 전이에 diffusion approach를 활용하여 CrossFormer와 비교할 수 있다.

다른 접근MetaMorph는 transformer 기반 universal controller를 cross-embodiment에 대해 제안하며, CrossFormer와 유사한 문제에 다른 아키텍처 접근을 제시한다.

다른 접근Scaling Cross-Embodied Learning 논문은 다양한 embodiment에서 단일 정책 학습을 실험하며, RoboCat과 유사한 목표를 가진 대안 방법론이다.

다른 접근ManipVQA는 다양한 로봇 형태와 물리적 환경에 대한 비주얼 질의응답 구성을 통한 정책 전이 및 일반화를 다루는 대안적 방법을 제시한다.

반론/비판Transferring Foundation Models for Generalizable Robotic Manipulation 논문은 embodiment agnostic 정책의 전이 성능과 한계를 비판적 시각에서 분석하므로 비교 시 유익하다.