Mobi-$π$: Mobilizing Your Robot Learning Policy

Motivation

• Known: 기존 연구에서는 조작 정책의 viewpoint robustness 개선을 위해 광범위한 데이터 수집이나 end-to-end 모바일 조작 학습을 진행했으나, 이는 데이터 비용이 크고 기존의 stationary robot 데이터셋을 재활용하기 어렵다.
• Gap: 기존 navigation 방법들은 객체 가시성과 거리만 고려하고 정책의 training distribution과의 호환성을 무시하여, 정책이 out-of-distribution 상태에서 실행되는 문제가 발생한다.
• Why: 기존 stationary robot 정책들의 재활용성과 배포 효율성을 크게 향상시킬 수 있으며, 추가 데이터 수집 없이 모바일 로봇에서의 조작 성공률을 높일 수 있기 때문에 중요하다.
• Approach: 3D Gaussian Splatting을 이용한 scene representation, differentiable rendering을 통한 pose suitability 평가, sampling-based optimization으로 최적 로봇 베이스 포즈 탐색

Achievement

Figure 3: A suite of simulated tasks for benchmarking performance of policy mobilization methods. We pick five single-st

Mobi-π 프레임워크 개발: policy mobilization 난이도를 정량화하는 메트릭, RoboCasa 기반 시뮬레이션 태스크 스위트, 분석용 시각화 도구 / 방법론의 효과성: 시뮬레이션과 실제 환경 모두에서 non-policy-aware baseline과 policy-aware baseline을 능가하는 성능 달성 / 기존 정책 활용 가능성: stationary robot 데이터만으로 학습된 조작 정책을 모바일 플랫폼에 효과적으로 배포

How

Figure 2: Overview of our proposed proof-of-concept method. The goal of our method is to find a proper robot pose p for

• 3D Gaussian Splatting으로 장면을 연속적 표현으로 인코딩하여 임의의 카메라 포즈에서 view synthesis 가능 / - Score function으로 (1) in-distribution likelihood, (2) task-relevant object 가시성, (3) collision 회피를 평가 / - Cross-entropy method 같은 sampling-based optimizer로 score function을 최대화하는 로봇 포즈 탐색 / - 발견된 최적 포즈로 navigation 하여 조작 정책 실행

Originality

• Policy mobilization을 새로운 문제로 명확하게 정의: navigation과 manipulation의 decoupling 하면서도 policy-aware하게 수행 / - In-distribution detection을 수동적 분류가 아닌 능동적 pose optimization으로 전환 / - 3D Gaussian Splatting과 differentiable rendering을 로봇 pose selection에 활용하는 novel 적용

Limitation & Further Study

• 방법이 기존 pre-trained 조작 정책이 필요하므로, 정책 자체의 out-of-distribution 문제는 완전히 해결하지 못함 / - Score function 설계가 휴리스틱 기반이며, 복잡한 멀티-태스크 환경에서의 일반화 가능성 미확인 / - Real-world 실험의 규모 제한으로 광범위한 실환경 검증 부족 / 후속 연구: 멀티-태스크 정책으로의 확장, 더 정교한 in-distribution score 함수 개발, 시뮬레이션-현실 전이 개선

Evaluation

총평: Policy mobilization을 명확히 정의하고 3D Gaussian Splatting 기반의 실질적 해결책을 제시한 우수한 연구이다. 기존 stationary robot 정책의 모바일 로봇 배포 문제를 elegant하게 해결하며, Mobi-π 프레임워크를 통해 체계적 평가가 가능하도록 한 점이 특히 가치있다. 다만 실환경 실험 규모 확대와 더 정교한 method 개발이 추가되면 영향력을 더욱 높일 수 있을 것으로 기대된다.