SENTINEL: A Fully End-to-End Language-Action Model for Humanoid Whole Body Control

Motivation

• Known: 기존 휴머노이드 제어는 원격조종이나 language understanding과 physical execution을 분리하는 모듈식 파이프라인에 의존한다. text-to-motion 모델과 whole body controller의 결합은 두 컴포넌트가 독립적으로 최적화되어 물리적으로 실현 불가능한 동작을 생성한다.
• Gap: 모듈식 파이프라인은 중간 표현 또는 정렬 모듈이 필요하여 language-kinematic 간의 tight alignment가 부족하다. 중간 표현 없이 직접 저수준 행동으로 매핑하는 완전 end-to-end 모델은 아직 없다.
• Why: end-to-end 접근은 gradient flow를 통해 execution feedback을 language understanding으로 역전파하여 전체 시스템의 joint optimization이 가능하므로, 더 강건하고 일반화 가능한 언어-조건부 구체화 지능을 실현할 수 있다.
• Approach: 먼저 pre-trained whole body controller로 인간 동작을 시뮬레이션에서 추적하여 언어-행동 데이터셋을 구성한다. 그 후 flow matching 행동 전문가를 가진 end-to-end 모델을 behavior cloning으로 pre-training하고, 잔여 강화학습으로 open-loop drift를 완화하고 real-world deployment에 적응시킨다.

Achievement

Figure 1: Overview of SENTINEL. Our framework consists of three stages. (1) We construct a language-

• 완전 end-to-end 프레임워크: 중간 motion representation이나 latent abstraction 없이 언어와 proprioceptive state를 직접 저수준 29 DoF 타겟으로 변환
• 안정적인 실제 배포: 시뮬레이션과 실제 로봇에서 strong semantic grounding과 물리적으로 안정적인 행동 실행 달성
• multi-modal 확장성: 시각 입력을 waypoint 언어 표현으로 변환하여 navigation 등 추가 모달리티 통합 지원
• 세 단계 학습 파이프라인: WBC training & BC data collection → flow matching을 통한 pre-training → residual RL post-training으로 점진적 성능 향상

How

Figure 1: Overview of SENTINEL. Our framework consists of three stages. (1) We construct a language-

• Mixture-of-Expert (MoE) policy를 PPO로 학습하여 diverse human motion을 humanoid에서 추적하는 whole body controller 구현
• 공개 human motion 데이터셋과 natural language 설명으로 BC 데이터셋 구성
• CLIP text encoder로 언어 임베딩을 인코딩하고, transformer 기반 언어-상태 인코더로 proprioception history와 결합
• Flow matching을 통해 Gaussian noise에서 action 분포로의 생성 과정을 학습하여 action chunk 생성
• Done prediction head로 open-loop drift 감지 및 action chunk 종료 판단
• Residual RL로 LA 모델의 출력에 잔여 행동을 더하여 real-world deployment 적응 및 refinement

Originality

• 완전 end-to-end 설계: 모든 intermediate motion representation을 제거하고 직접 저수준 제어로의 완전 end-to-end 매핑은 기존 문헌에서 사례를 찾기 어려움
• Flow matching의 행동 생성 적용: action generation에 flow matching을 적용한 것은 이전에 시도되지 않은 새로운 접근
• Residual RL을 통한 sim-to-real 적응: pre-trained 모델에 잔여 강화학습을 추가하는 방식으로 domain randomization과 함께 real-world 배포 최적화
• Multi-modal 확장성: 언어로의 입력 변환을 통해 시각, 음성 등 다양한 모달리티 통합 가능한 설계

Limitation & Further Study

• 데이터셋 규모 및 다양성: human motion 데이터셋과 text annotation의 규모가 제한되어 있어 더 광범위한 태스크로의 일반화 능력 미지수
• Action chunking의 open-loop drift: 고정된 크기의 action chunk로 인한 누적 오류 문제를 residual RL로 완화하지만 근본적 해결은 아님
• 실제 환경의 복잡성: 시뮬레이션-현실 간 gap이 여전히 존재하며, 매우 동적이거나 예측 불가능한 환경에서의 성능 미평가
• Transformer 인코더의 계산 비용: 실시간 제어에 필요한 inference latency와 메모리 사용량에 대한 상세한 분석 부재
• 후속 연구 방향: (1) 대규모 language-labeled motion 데이터셋 확보, (2) Attention 메커니즘으로의 환경 피드백 실시간 통합, (3) 다양한 로봇 플랫폼으로의 확장성 검증

Evaluation

총평: SENTINEL은 언어-조건부 휴머노이드 제어를 위한 완전 end-to-end 접근의 첫 사례로, 중간 표현을 제거하고 flow matching과 residual RL을 결합한 창의적인 방법론을 제시한다. 시뮬레이션과 실제 로봇 모두에서의 성공적인 배포는 본 접근의 타당성을 입증하며, 향후 구체화 AI 발전에 중요한 기초를 마련한다.