SENTINEL: A Fully End-to-End Language-Action Model for Humanoid Whole Body Control

Motivation

Known: 기존 휴머노이드 제어는 원격조종이나 language understanding과 physical execution을 분리하는 모듈식 파이프라인에 의존한다. text-to-motion 모델과 whole body controller의 결합은 두 컴포넌트가 독립적으로 최적화되어 물리적으로 실현 불가능한 동작을 생성한다.
Gap: 모듈식 파이프라인은 중간 표현 또는 정렬 모듈이 필요하여 language-kinematic 간의 tight alignment가 부족하다. 중간 표현 없이 직접 저수준 행동으로 매핑하는 완전 end-to-end 모델은 아직 없다.
Why: end-to-end 접근은 gradient flow를 통해 execution feedback을 language understanding으로 역전파하여 전체 시스템의 joint optimization이 가능하므로, 더 강건하고 일반화 가능한 언어-조건부 구체화 지능을 실현할 수 있다.
Approach: 먼저 pre-trained whole body controller로 인간 동작을 시뮬레이션에서 추적하여 언어-행동 데이터셋을 구성한다. 그 후 flow matching 행동 전문가를 가진 end-to-end 모델을 behavior cloning으로 pre-training하고, 잔여 강화학습으로 open-loop drift를 완화하고 real-world deployment에 적응시킨다.

Figure 1: Overview of SENTINEL. Our framework consists of three stages. (1) We construct a language-

완전 end-to-end 프레임워크: 중간 motion representation이나 latent abstraction 없이 언어와 proprioceptive state를 직접 저수준 29 DoF 타겟으로 변환
안정적인 실제 배포: 시뮬레이션과 실제 로봇에서 strong semantic grounding과 물리적으로 안정적인 행동 실행 달성
multi-modal 확장성: 시각 입력을 waypoint 언어 표현으로 변환하여 navigation 등 추가 모달리티 통합 지원
세 단계 학습 파이프라인: WBC training & BC data collection → flow matching을 통한 pre-training → residual RL post-training으로 점진적 성능 향상

Figure 1: Overview of SENTINEL. Our framework consists of three stages. (1) We construct a language-

Mixture-of-Expert (MoE) policy를 PPO로 학습하여 diverse human motion을 humanoid에서 추적하는 whole body controller 구현
공개 human motion 데이터셋과 natural language 설명으로 BC 데이터셋 구성
CLIP text encoder로 언어 임베딩을 인코딩하고, transformer 기반 언어-상태 인코더로 proprioception history와 결합
Flow matching을 통해 Gaussian noise에서 action 분포로의 생성 과정을 학습하여 action chunk 생성
Done prediction head로 open-loop drift 감지 및 action chunk 종료 판단
Residual RL로 LA 모델의 출력에 잔여 행동을 더하여 real-world deployment 적응 및 refinement

완전 end-to-end 설계: 모든 intermediate motion representation을 제거하고 직접 저수준 제어로의 완전 end-to-end 매핑은 기존 문헌에서 사례를 찾기 어려움
Flow matching의 행동 생성 적용: action generation에 flow matching을 적용한 것은 이전에 시도되지 않은 새로운 접근
Residual RL을 통한 sim-to-real 적응: pre-trained 모델에 잔여 강화학습을 추가하는 방식으로 domain randomization과 함께 real-world 배포 최적화
Multi-modal 확장성: 언어로의 입력 변환을 통해 시각, 음성 등 다양한 모달리티 통합 가능한 설계

데이터셋 규모 및 다양성: human motion 데이터셋과 text annotation의 규모가 제한되어 있어 더 광범위한 태스크로의 일반화 능력 미지수
Action chunking의 open-loop drift: 고정된 크기의 action chunk로 인한 누적 오류 문제를 residual RL로 완화하지만 근본적 해결은 아님
실제 환경의 복잡성: 시뮬레이션-현실 간 gap이 여전히 존재하며, 매우 동적이거나 예측 불가능한 환경에서의 성능 미평가
Transformer 인코더의 계산 비용: 실시간 제어에 필요한 inference latency와 메모리 사용량에 대한 상세한 분석 부재
후속 연구 방향: (1) 대규모 language-labeled motion 데이터셋 확보, (2) Attention 메커니즘으로의 환경 피드백 실시간 통합, (3) 다양한 로봇 플랫폼으로의 확장성 검증