VR-Robo: A Real-to-Sim-to-Real Framework for Visual Robot Navigation and Locomotion

Essence

Fig. 1: Our VR-Robo introduces a unified real-to-sim-to-

3D Gaussian Splatting을 활용하여 실제 환경을 포토리얼리스틱한 디지털 트윈으로 재구성하고, 이를 시뮬레이션에 통합하여 RL 기반 시각 네비게이션 정책을 학습한 후 실제 로봇에 무영점 전이하는 Real-to-Sim-to-Real 프레임워크를 제시한다.

Known: RL과 물리 시뮬레이터를 통한 다리 로봇 제어는 성공적이나, 시뮬레이터가 시각적 현실성과 복잡한 기하를 재현하지 못해 실제 배포 시 sim-to-real 갭이 발생하며, 현존 RGB 기반 시각 정책은 저수준 작업에만 국한된다.
Gap: 기존의 NeRF/3DGS 기반 Real-to-Sim 접근법들은 포토리얼리즘에 중점을 두면서 물리 상호작용과 환경 탐색 메커니즘이 부족하여, RGB 기반 고수준 네비게이션 태스크를 지원하기 어렵다.
Why: 가정용/산업용 로봇의 실제 배포에는 다양한 환경에서 RGB만으로 네비게이션을 수행할 수 있는 견고한 정책이 필수적이며, 시뮬레이션의 포토리얼리즘과 물리 상호작용의 결합이 이를 가능하게 한다.
Approach: 멀티뷰 RGB 이미지로부터 3DGS와 foundation model 제약을 활용하여 기하 일관성 있는 환경을 재구성하고, GS-Mesh 하이브리드 표현으로 Isaac Sim에 통합한 뒤, 물체 임의화와 폐색 인식 장면 구성 전략으로 강화되는 정책을 학습한다.

포토리얼리스틱하고 물리 상호작용 가능한 디지털 트윈 생성: GS-Mesh 하이브리드 표현과 좌표 정렬을 통해 시각적 충실도와 물리 시뮬레이션을 동시에 지원
RGB 기반 무영점 sim-to-real 전이: 깊이/LiDAR 없이 RGB 관찰만으로 학습한 정책이 실제 환경에서 목표 추적 네비게이션을 수행
복잡한 환경에서의 빠른 정책 적응: 물체 임의화와 폐색 인식 구성 전략으로 새로운 환경에서의 탐색과 적응 능력 향상

Fig. 4: VR-Robo real-to-sim-to-real framework. We build a realistic and interactive simulation environment with GS-mesh

Structure from Motion (SfM)으로 카메라 포즈 추정 후 3D Gaussian Splatting으로 장면과 물체를 분리 재구성
Foundation model 제약 (depth, normal)을 활용한 기하 일관성 강화
GS-mesh 하이브리드 표현으로 렌더링은 3DGS, 물리 상호작용은 메시 기반으로 처리
좌표 정렬(coordinate alignment)을 통해 시뮬레이션과 실제 환경 간 scale 일치
에이전트-물체 임의화와 폐색 인식 장면 구성으로 RL 정책의 견고성 향상
Isaac Sim 내에서 ego-centric RGB 관찰과 proprioception으로 정책 학습
학습된 정책을 별도의 재학습 없이 실제 로봇에 배포

Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: RGB 기반 시각 네비게이션과 로컬로모션의 sim-to-real 갭을 포토리얼리즘과 물리 상호작용의 결합으로 효과적으로 해결하며, 실제 로봇 배포에서의 무영점 전이를 달성한 실용적이고 창의적인 접근법이다.