CLONE: Closed-Loop Whole-Body Humanoid Teleoperation for Long-Horizon Tasks

Motivation

• Known: 기존 휴머노이드 원격 조종 시스템들은 안정성을 위해 상체와 하체 제어를 분리하거나 폐루프 피드백 없이 개루프로 작동하여 누적된 위치 오차가 발생한다.
• Gap: 전신 협응을 유지하면서 장시간 작업 동안 정확한 위치 추적을 동시에 달성하는 방법이 부족하며, 폐루프 피드백을 통한 드리프트 보정 메커니즘이 미흡하다.
• Why: 휴머노이드 로봇이 인간처럼 자연스러운 움직임으로 복잡한 작업을 수행하려면 전신 협응과 장시간 정밀 제어가 필수적이며, 이는 가정용 보조 로봇과 위험 환경 작업 등 실제 응용에 필수적이다.
• Approach: MoE 정책 아키텍처로 다양한 동작 스킬을 학습하면서 자연스러운 상하체 협응을 유지하고, LiDAR 오도메트리와 Apple Vision Pro 추적을 통한 폐루프 오차 보정으로 위치 드리프트를 실시간으로 방지한다.

Achievement

Figure 3: The CLONE framework. (a) CLONED curates and augments retargeted AMASS [28] data through

• 전신 협응 텔레오퍼레이션: MoE 기반 프레임워크로 걷기와 웅크리기 같은 상충하는 목표를 자연스럽게 통합하여 최초로 장거리 궤적에서 전신 협응을 유지
• 폐루프 오차 보정: LiDAR 오도메트리 기반 실시간 글로벌 포즈 피드백으로 장시간 작업 중 누적 드리프트를 최소화
• 최소 입력으로 최대 제어: 상용 MR 헤드셋의 헤드 및 손 포즈 3개 키포인트만으로 전신 29 DoF 제어
• 복잡 협응 동작 실현: 지면에서 물체 집기 등 정교한 조작과 이동의 통합 동작 구현
• 포괄적 데이터셋: CLONED 데이터셋으로 AMASS 확장 및 온라인 손 방향 생성 방법으로 조작 시나리오에 강건한 학습

How

Figure 3: The CLONE framework. (a) CLONED curates and augments retargeted AMASS [28] data through

• 데이터셋 구성: 오픈소스 인간 동작 데이터에서 필터링, 손목 샘플링, 모션 편집을 거쳐 CLONED 데이터셋 준비
• 티처 정책 학습: AMP(Adversarial Motion Prior) 판별기를 이용한 모방 학습으로 티처 정책 π 훈련
• MoE 정책 아키텍처: 라우터를 통해 입력에 따라 여러 Expert를 가중치 조합으로 선택하여 다양한 동작 스킬 통합
• 폐루프 오차 보정: VR 입력과 LiDAR 오도메트리에서 얻은 글로벌 포즈 피드백으로 실시간 위치 오차 보정
• 학생 정책 증류: 티처 정책을 학생 정책으로 압축하여 실시간 로봇 제어 가능하도록 최적화
• 저수준 제어: 1000Hz PD 컨트롤러로 예측된 동작 명령을 실제 관절 제어로 변환

Originality

• MoE 기반 전신 제어: 휴머노이드 텔레오퍼레이션에서 MoE 아키텍처를 최초로 적용하여 상충하는 동작 목표를 자연스럽게 통합
• 폐루프 드리프트 보정: 양족 로봇의 복잡한 발-지면 상호작용을 고려한 LiDAR 오도메트리 기반 폐루프 오차 보정 메커니즘 도입
• 최소 입력 인터페이스: 3개 키포인트(헤드, 양손)만으로 전신 29 DoF 제어하는 최소 정보 입력 전략
• 포괄적 데이터 증강: 기존 모션 캡처 데이터에 온라인 손 방향 생성과 모션 편집을 통한 로봇 특화 데이터셋 구성

Limitation & Further Study

• 실험 환경 제한: 주로 실내 환경과 특정 시나리오에서 검증되었으며, 실외 및 극단적 환경 성능 미정
• LiDAR 의존성: 폐루프 보정이 LiDAR 오도메트리에 의존하므로 LiDAR가 작동하지 않는 환경에서 성능 저하 가능성
• 일반화 한계: CLONED 데이터셋이 특정 형태의 동작에 치우쳐 있을 수 있으며, 보이지 않은 복잡한 동작으로의 일반화 정도 미지수
• 지연 시간: MR 헤드셋에서 로봇까지의 통신 지연이 실시간 폐루프 제어 성능에 미치는 영향 분석 필요
• 후속 연구: 다양한 환경과 긴급 상황에 대한 강건성 검증, 적응형 동작 학습, 사람-로봇 협력 시나리오 확대 필요

Evaluation

총평: CLONE은 MoE 기반 폐루프 제어와 최소 입력 인터페이스를 결합하여 휴머노이드 텔레오퍼레이션의 근본적 제약을 해결한 선도적 연구로, 전신 협응과 장시간 정밀 제어를 동시에 달성한 최초의 실제 시스템 구현이다.