VR-Robo: A Real-to-Sim-to-Real Framework for Visual Robot Navigation and Locomotion

Motivation

Known: RL과 물리 시뮬레이터를 통한 다리 로봇 제어는 성공적이나, 시뮬레이터가 시각적 현실성과 복잡한 기하를 재현하지 못해 실제 배포 시 sim-to-real 갭이 발생하며, 현존 RGB 기반 시각 정책은 저수준 작업에만 국한된다.
Gap: 기존의 NeRF/3DGS 기반 Real-to-Sim 접근법들은 포토리얼리즘에 중점을 두면서 물리 상호작용과 환경 탐색 메커니즘이 부족하여, RGB 기반 고수준 네비게이션 태스크를 지원하기 어렵다.
Why: 가정용/산업용 로봇의 실제 배포에는 다양한 환경에서 RGB만으로 네비게이션을 수행할 수 있는 견고한 정책이 필수적이며, 시뮬레이션의 포토리얼리즘과 물리 상호작용의 결합이 이를 가능하게 한다.
Approach: 멀티뷰 RGB 이미지로부터 3DGS와 foundation model 제약을 활용하여 기하 일관성 있는 환경을 재구성하고, GS-Mesh 하이브리드 표현으로 Isaac Sim에 통합한 뒤, 물체 임의화와 폐색 인식 장면 구성 전략으로 강화되는 정책을 학습한다.

포토리얼리스틱하고 물리 상호작용 가능한 디지털 트윈 생성: GS-Mesh 하이브리드 표현과 좌표 정렬을 통해 시각적 충실도와 물리 시뮬레이션을 동시에 지원
RGB 기반 무영점 sim-to-real 전이: 깊이/LiDAR 없이 RGB 관찰만으로 학습한 정책이 실제 환경에서 목표 추적 네비게이션을 수행
복잡한 환경에서의 빠른 정책 적응: 물체 임의화와 폐색 인식 구성 전략으로 새로운 환경에서의 탐색과 적응 능력 향상

Fig. 4: VR-Robo real-to-sim-to-real framework. We build a realistic and interactive simulation environment with GS-mesh

Structure from Motion (SfM)으로 카메라 포즈 추정 후 3D Gaussian Splatting으로 장면과 물체를 분리 재구성
Foundation model 제약 (depth, normal)을 활용한 기하 일관성 강화
GS-mesh 하이브리드 표현으로 렌더링은 3DGS, 물리 상호작용은 메시 기반으로 처리
좌표 정렬(coordinate alignment)을 통해 시뮬레이션과 실제 환경 간 scale 일치
에이전트-물체 임의화와 폐색 인식 장면 구성으로 RL 정책의 견고성 향상
Isaac Sim 내에서 ego-centric RGB 관찰과 proprioception으로 정책 학습
학습된 정책을 별도의 재학습 없이 실제 로봇에 배포

기반 연구VR-Robo(1625)는 시각 기반 내비게이션을 위한 real-to-sim-to-real 프레임워크로, robosuite의 시뮬레이션-실제 환경 전이 연구를 확장한다.

기반 연구3D Gaussian Splatting 논문은 VR-Robo에서 실제 환경의 디지털 트윈 생성 핵심 렌더링 기법의 이론적 기반을 제공한다.

기반 연구VR-Robo는 real-to-sim-to-real 프레임워크를 통해 인간 비디오와 시뮬레이션 데이터 간 상호작용을 강조하며, SWIM의 인간-로봇 데이터 적응 개념을 확장 적용한다.

기반 연구VR-Robo 논문은 실제 환경 감지값(센서 정보)의 정밀 해석 및 실시간 융합을 통한 네비게이션 성능 향상 방식을 연구하여, 무선 감지 센서의 실무 적용을 검증합니다.

기반 연구VR-Robo는 Real-to-Sim-to-Real 프레임워크의 실제 내비게이션 응용 사례를 제공하여 DLO 조작 framework의 확장 가능성을 보여준다.

다른 접근A Real-to-Sim-to-Real Approach...은 유사한 sim-to-real 프레임워크이지만, 강화학습 정책 최적화와 실환경 무손실 전이에 있어 다른 방법론을 적용한다.

다른 접근VR-Robo는 시뮬레이션 기반과 실제 로봇 간 내비게이션 정책 전이 이슈를 전혀 다른 sim2real 방식으로 해결하여 NavDP의 diffusion policy 접근과 비교가 됩니다.

다른 접근VR-Robo처럼 실제 환경에서의 평가 및 실험에 집중하지만, RoboArena는 다중 로봇에 대한 분산 평가에 초점을 두어 환경 구성과 검증 방식이 다르다.

다른 접근VR-Robo 논문에서 실제-합성 데이터 통합 및 크로스 플랫폼 일반화 접근을 제안하여 대규모 heterogeneous 사전학습의 대안을 제공한다.