저자: Arthur Allshire, Hongsuk Choi, Junyi Zhang, David McAllister, Anthony Zhang, Chung Min Kim, Trevor Darrell, Pieter Abbeel, Jitendra Malik, Angjoo Kanazawa | 날짜: 2025-05-06 | URL: https://arxiv.org/abs/2505.03729 📄 PDF
Essence
Figure 2: VideoMimic Real-to-Sim. A casually captured phone video provides the only input. We first
VIDEOMIMIC는 단순한 휴대폰 영상에서 인간-환경 4D 기하학을 공동 재구성하고, 이를 시뮬레이션에서 RL 정책으로 학습한 후 실제 휴머노이드 로봇에 배포하는 real-to-sim-to-real 파이프라인이다.
Evaluation
Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5
총평: 이 논문은 일상 영상으로부터 휴머노이드 로봇의 문맥-인식 제어를 가능하게 하는 실용적이고 확장 가능한 파이프라인을 제시하며, 공동 4D 재구성과 RL 기반 정책 증류의 조합으로 높은 독창성을 보인다. 실제 로봇 배포 성공은 연구의 가치를 크게 높이나, 환경 표현의 제한성과 동역학 정확도 측면에서 개선 여지가 있다.
같이 보면 좋은 논문
기반 연구real-to-sim-to-real 파이프라인과 RL 기반 휴머노이드 제어의 기반 기술을 제공하는 연구이다.
다른 접근참조 모션 데이터를 활용한 로봇/캐릭터 제어 학습의 대안적 접근법이다.
다른 접근Physics 기반 humanoid controller 학습을 위한 유사한 접근법을 다루는 연구이다.
다른 접근인간형 로봇의 전신 움직임 제어를 위한 유사한 학습 기반 방법론을 제시한다.
다른 접근휴머노이드 로봇 제어를 위한 대안적 학습 방법을 제시하는 연구이다.
다른 접근휴머노이드 로봇의 전신 제어를 위한 모션 리타게팅 및 모방 학습이라는 유사한 문제를 다루는 연구이다.
다른 접근인간 동작 데이터를 활용한 휴머노이드 로봇의 물리적으로 타당한 모션 생성이라는 공통 목표를 가진다.
다른 접근1751도 휴머노이드 로봇 제어를 위한 학습 기반 접근법을 제안하며,
1985의 정책 증류 기반 통합 제어와 유사한 문제를 다룬다.
다른 접근모바일 휴머노이드 로봇의 베이스-암 협조 제어를 위한 유사한 접근법을 공유한다.
다른 접근통합된 전신 제어 정책 학습이라는 공통 문제를 다루는 대안적 접근법이다.
다른 접근인간형 로봇 보행 제어를 위한 다른 세계 모델 기반 접근법을 제안한다.
다른 접근1751도 휴머노이드 전신 제어를 위한 학습 기반 방법을 제안하며,
2017과 유사한 견고성 목표를 다른 방식으로 달성한다.
다른 접근고수준 언어 지시로부터 휴머노이드 전신 행동을 생성하는 유사한 프레임워크를 공유한다.
다른 접근1751도 휴머노이드 제어를 위한 학습 기반 방법을 제안하며,
2039의 CVAE 기반 student policy와 유사한 접근법을 공유한다.
다른 접근시뮬레이션 학습 기반 휴머노이드 로봇 제어의 실제 환경 배포라는 유사한 문제를 다루는 연구이다.
후속 연구휴머노이드 전신 제어를 위한 강화학습 기반 방법론의 기초를 제공한다.
다른 접근다단계 휴머노이드 로봇 조작을 위한 계층적 프레임워크라는 공통 주제를 다룬다.
다른 접근humanoid 로봇의 정밀한 전신 동작 제어를 위한 유사한 강화학습 기반 접근법을 제시한다.
다른 접근인간 비디오를 활용한 로봇 모션 학습 및 sim-to-real 전이라는 공통 주제를 가진 대안적 접근법이다.
다른 접근휴머노이드 로봇의 전신 제어를 위한 계층적 접근법이라는 공통 주제를 공유한다.
다른 접근인간형 로봇의 전신 동작 제어를 다루는 유사한 연구이다.
다른 접근휴머노이드 로봇의 전신 동작 제어를 다루는 관련 연구이다.
다른 접근부분 관찰 환경에서의 로봇 정책 학습의 대안적 방법을 제안한다.
다른 접근로봇 보행의 시뮬레이션-실제 전이를 위한 학습 기반 방법을 다루는 관련 연구이다.
다른 접근비디오 데이터에서 휴머노이드 로봇의 모션을 추출하고 실제 로봇에 배포하는 유사한 파이프라인을 가진 연구이다.
다른 접근휴머노이드 로봇의 동작 추적 정책 학습을 위한 다른 방법론을 제안한다.
다른 접근인간형 로봇 제어 정책 학습을 위한 유사한 비전 기반 접근법을 제시한다.
다른 접근인간형 로봇 전신 제어를 위한 모션 모방 학습의 유사한 문제를 다른 방식으로 접근한다.
다른 접근휴머노이드 로봇의 균형 유지 및 제어 정책 학습을 다루는 관련 연구이다.
다른 접근end-to-end 설계 대비 계층화 제어 구조의 우월성을 검증하는 유사한 연구이다.
다른 접근Physics-constrained 모션 리타게팅의 대안적 방법론을 제안하는 연구이다.
다른 접근휴머노이드 로봇의 실제 배포를 목표로 하는 end-to-end 파이프라인이라는 공통점을 가지나, 학습 방식에서 차이가 있다.
다른 접근시뮬레이션에서 학습한 egocentric 비전 기반 전신 로코-조작 정책을 실제 휴머노이드에 배포하는 유사한 문제를 다루는 대안적 접근법이다.
다른 접근휴머노이드 로봇의 다목적 제어를 위한 단일 정책 학습의 다른 접근법을 제시한다.
다른 접근휴머노이드 로봇의 이동 및 제어 정책 학습에서 유사한 접근법을 사용한다.
다른 접근로봇의 전신 동작 제어를 위한 유사한 학습 방법론을 제시하는 연구이다.
다른 접근휴머노이드 로봇의 동적 동작 안정성을 위한 강화학습 방법으로, 낙상 안전 정책과 유사한 문제를 해결한다.
다른 접근1751은 humanoid 로봇의 독특한 동작 구현을 위한 다른 RL 접근법을 제시한다.
다른 접근휴머노이드 로봇의 전신 제어를 위한 RL 기반 모션 추적 프레임워크를 제안하는 유사 연구이다.
다른 접근휴머노이드 로봇의 whole-body 제어를 위한 RL 기반 접근법을 제안하는 관련 연구이다.
다른 접근인간형 로봇의 복잡한 전신 동작 제어를 위한 계층적 학습의 다른 접근법을 제안한다.
다른 접근시뮬레이션에서 학습하여 실제 하드웨어에 zero-shot 배포하는 유사한 sim-to-real 접근법이다.
다른 접근휴머노이드 로봇의 전신 동작 제어 및 복잡한 환경 탐색을 다루는 유사한 연구이다.
다른 접근인간형 로봇의 전신 제어를 위한 단일 정책 학습의 유사한 문제를 다른 방식으로 접근한다.
다른 접근휴머노이드 로봇의 일반화 가능한 스킬 학습을 위한 데이터 기반 프레임워크를 다룬다.
다른 접근휴머노이드 로봇의 전신 보행 제어를 위한 강화학습 기반의 유사한 연구이다.
다른 접근휴머노이드 로봇의 범용 locomotion 제어를 위한 유사한 목표를 가진 연구이다.
다른 접근휴머노이드 로봇의 전신 제어를 위한 유사한 강화학습 기반 접근법이다.
다른 접근1751도 휴머노이드 전신 제어를 위한 학습 기반 방법을 제안하며,
2096의 전문가 정책 분해-통합 방식과 유사한 문제를 다룬다.
다른 접근강화학습으로 다양한 보행 기술을 학습하는 휴머노이드 로봇 제어 연구이다.
다른 접근휴머노이드 로봇의 다양한 기술 실행을 위한 강화학습 기반 접근법으로, RPG와 유사한 다중 기술 제어 문제를 다룬다.
다른 접근로봇 내비게이션 정책 학습을 위한 대안적 접근법을 제시하는 연구이다.
후속 연구강화학습 기반 휴머노이드 이동 제어의 방법론적 기반을 제공한다.
후속 연구휴머노이드 로봇 강화학습 보행 제어의 방법론적 기반을 제공하는 핵심 연구이다.
후속 연구휴머노이드 로봇 제어를 위한 강화학습 기반 방법론의 기초를 제공한다.
후속 연구휴머노이드 로봇 제어의 기초적인 방법론을 제공하는 선행 연구이다.
후속 연구인간다운 모션을 생성하기 위한 강화학습 기반 전신 제어의 방법론적 기반을 제공한다.
후속 연구실제 로봇 배포를 위한 물리 기반 전신 제어 학습의 방법론적 기반을 제공한다.
후속 연구휴머노이드 로봇의 복잡한 동작 학습을 위한 강화학습 기반 방법론의 기초를 제공한다.
후속 연구휴머노이드 로봇 제어 정책 학습의 기초 방법론을 제공하는 선행 연구이다.
후속 연구Adversarial Motion Priors를 시각 기반 동적 제어로 확장하는 본 논문의 방법론적 기반을 제공한다.
후속 연구휴머노이드 로봇 강화학습 보행 제어의 기초적인 방법론을 제공한다.
후속 연구휴머노이드 로봇의 전신 제어를 위한 강화학습 방법론의 기초를 제공한다.
후속 연구Adversarial Motion Priors를 활용한 인간다운 모션 생성 방법론이 본 논문의 기반이 된다.
