저자: Tairan He, Zhengyi Luo, Xialin He, Wenli Xiao, Chong Zhang, Weinan Zhang, Kris Kitani, Changliu Liu, Guanya Shi | 날짜: 2024-06-13 | URL: https://arxiv.org/abs/2406.08858 📄 PDF
Essence
Figure 1: (a) OmniH2O enables teleoperating a full-size humanoid robot (Unitree H1) to complete tasks that
OmniH2O는 kinematic pose를 보편적 제어 인터페이스로 사용하여 VR, RGB 카메라, 음성 명령 등 다양한 입력을 통해 전신 인형 로봇을 조작하고 자율 작업을 수행할 수 있는 학습 기반 시스템이다.
Evaluation
Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5
총평: OmniH2O는 kinematic pose 기반의 보편적 제어 인터페이스와 정교한 sim-to-real 파이프라인을 통해 인형 로봇의 전신 로코-조작을 처음으로 체계적으로 해결한 연구이며, 공개 데이터셋과 다양한 실제 작업 시연으로 높은 실무 가치를 제공한다.
같이 보면 좋은 논문
기반 연구humanoid 로봇의 전신 제어를 위한 기본적인 표현적 제어 이론을 제공한다
기반 연구H2O의 기본 텔레오퍼레이션 기능을 다양한 입력 방식과 자율 제어로 확장한 발전된 시스템이다
후속 연구OmniH2O의 teleoperation 방법을 real-time whole-body control로 확장하여 더 즉각적인 제어를 구현한다.
기반 연구인간-humanoid 상호작용의 기본적인 shadowing과 imitation 메커니즘을 제공한다
기반 연구OmniH2O는 다양한 인간-휴머노이드 전신 조작 데이터를 활용하여 UniAff의 도구 사용 확장 연구에 기반을 제공한다.
기반 연구OmniH2O의 human-to-humanoid 제어를 foundation model 기반으로 확장한 접근법이다.
다른 접근로봇의 복잡한 운동 기술 학습을 위한 대안적 강화학습 방법을 제시한다.
다른 접근휴머노이드 로봇의 표현적 전신 동작 생성 및 제어를 위한 유사한 프레임워크를 제안한다.
다른 접근OmniH2O는 의류 조작과 유사한 복잡한 전신 조작을 다루지만 휴머노이드 로봇에 특화된 다른 접근법을 사용합니다.
다른 접근sim-to-real 전이를 통한 휴머노이드 전신 제어를 다른 방식으로 접근하는 대안적 연구이다.
다른 접근인간-로봇 협력 조작에서 의도 추론과 제어를 결합하는 유사한 문제를 다룬다.
다른 접근diffusion model을 활용한 휴머노이드 로봇의 다양한 동작 생성의 유사한 접근법이다.
다른 접근복잡한 로봇 동작 학습 및 추적을 위한 대안적 접근법을 제시하는 연구이다.
다른 접근다양한 환경에서 전신 휴머노이드 상호작용 및 자율 작업 수행을 다루는 유사한 연구이다.
다른 접근인간형 로봇의 전신 제어를 위한 다른 학습 기반 접근법을 제시하며 유사한 명령 추적 문제를 다룬다.
다른 접근인간형 로봇의 전신 조작을 위한 학습 기반 제어에서 유사한 문제를 다른 방식으로 해결한다.
다른 접근휴머노이드 로봇의 시각 기반 제어를 위한 sim-to-real 접근법을 제시하는 관련 연구이다.
다른 접근VR 기반 텔레오퍼레이션을 통한 로봇 데이터 수집 방법을 제시하는 유사한 연구이다.
다른 접근휴머노이드 로봇의 복잡한 조작 작업을 위한 다른 모듈식 학습 방법을 제시한다.
다른 접근VLA 정책의 미세조정을 통한 휴머노이드 로봇 조작 능력 향상을 다루는 유사 연구이다.
다른 접근인간형 로봇의 자율 복잡 작업 수행을 위한 다른 학습 기반 제어 방법론을 제안한다.
다른 접근휴머노이드 로봇 제어의 시뮬레이션-실제 간 갭 해소를 위한 관련 연구이다.
다른 접근휴머노이드 로봇 원격조종 및 전신 제어를 위한 다른 방법론을 제안하는 대안적 연구이다.
다른 접근강화학습 기반 모션 추적기를 활용한 휴머노이드 로봇 텔레오퍼레이션의 유사한 방법론이다.
다른 접근휴머노이드 로봇 전신 텔레오퍼레이션을 위한 다른 시스템 설계 방법이다.
다른 접근통합 모션 어휘를 통해 다양한 언어 명령에 대응하는 유사한 휴머노이드 제어 접근법이다.
다른 접근humanoid 로봇의 전신 조작을 위한 텔레오퍼레이션 데이터 기반 학습이라는 공통 접근법을 다른 방식으로 구현한다.
후속 연구3D Diffusion Policy의 방법론적 기초를 제공하는 연구이다.
후속 연구1498은 휴머노이드 전신 제어의 기반이 되는 방법론을 제공하며,
1985의 다양한 제어 모드 통합을 위한 이론적 토대를 형성한다.
후속 연구OmniH2O는 휴머노이드의 전체 신체 제어와 시각-언어 인식의 통합 프레임워크로 휴머노이드 다지 손 조작 RL의 이론적·실험적 배경을 제공한다.
후속 연구휴머노이드 로봇의 강화학습 기반 제어를 위한 방법론적 기반을 제공한다.
후속 연구real-to-sim-to-real 파이프라인과 RL 기반 휴머노이드 제어의 기반 기술을 제공하는 연구이다.
후속 연구휴머노이드 로봇 강화학습 제어의 방법론적 기반을 제공한다.
후속 연구실제 환경에서의 로봇 정책 학습의 이론적/방법론적 기반을 제공한다.
후속 연구휴머노이드 전신 제어를 위한 기반 방법론을 제공하는 선행 연구다.
후속 연구human motion prior를 로봇 제어에 활용하는 방법론적 기반을 제공한다.
후속 연구휴머노이드 로봇의 계층적 전신 제어를 위한 방법론적 기반을 제공한다.
후속 연구keypoint 기반 모션 트래킹과 RL 정책 학습을 통한 휴머노이드 제어의 기반 기술을 제공한다.
후속 연구RL 기반 로봇 제어 정책 학습의 방법론적 기반을 제공한다.
후속 연구강화학습 기반 로봇 sim-to-real 전이의 방법론적 기반을 제공한다.
후속 연구OmniH2O는 인간-휴머노이드간 whole-body 조작 시뮬레이션과 영상 데이터를 WholeBodyVLA의 대규모 전신 제어 학습의 기초로 삼을 수 있다.
후속 연구휴머노이드 로봇의 전신 제어 및 동작 재타겟팅을 위한 방법론적 기반을 제공한다.
후속 연구로봇 강화학습 정책 배포의 방법론적 기반을 제공한다.
