Visual Language Maps for Robot Navigation

Motivation

• Known: 기존 geometric map은 공간 정밀도를 제공하지만 언어 이해가 부족하고, 최근의 VLM 기반 방법(CoW, LM-Nav)은 언어 이해는 우수하나 공간 정밀도가 떨어진다. 또한 semantic mapping과 VLN 분야는 각각 제한된 의미 클래스 또는 데이터 의존성 문제를 갖고 있다.
• Gap: 기존 연구들이 object-centric 목표에만 국한되어 "소파와 TV 사이"와 같은 공간적 관계를 표현하지 못하고, 다양한 로봇 embodiment 간 지도 공유 메커니즘이 부족하다. 또한 언어 기반 네비게이션과 기하학적 공간 표현의 gap을 메우는 작업이 미흡하다.
• Why: 로봇 네비게이션에서 자연언어와 공간 정밀도를 동시에 제공하는 것은 실제 응용에 중요하다. 특히 "~의 오른쪽", "~사이"와 같은 상대적 공간 표현을 이해하고 실행하는 능력은 복잡한 네비게이션 작업의 필수 요소이다.
• Approach: RGB-D 카메라와 odometry를 통해 시각-언어 모델(LSeg)의 픽셀 단위 임베딩을 3D 재구성의 표면에 역투영(back-project)하여 VLMap을 구성한다. LLM과 협력하여 자연언어 명령을 공간적 목표로 변환하고, 다양한 로봇 embodiment에 대해 동적으로 장애물 지도를 생성한다.

Achievement

Fig. 4: Object mask for object type “chair”. 4a shows the top-down map

• VLMaps 표현 개발: 의미론적 특성과 기하학적 공간 정보를 통합한 지도 표현 제시
• 공간적 언어 이해: "~의 오른쪽", "~사이" 등 상대적 공간 표현을 직접 지도에서 해석 가능
• 다중 embodiment 지원: 동일 지도에서 로봇 종류에 따라 동적 장애물 지도 생성
• 추가 학습 불필요: 사전학습 모델만 활용하여 zero-shot 네비게이션 수행
• 실험 검증: 시뮬레이션 및 실제 환경에서 기존 방법(CoW, LM-Nav)을 능가하는 성능

How

Fig. 1: VLMaps is a spatial map representation in which pretrained visual-

• LSeg 모델을 사용하여 RGB-D 프레임에서 픽셀별 CLIP 특성 추출
• 카메라 odometry와 깊이 정보를 이용해 픽셀 임베딩을 3D 세계 좌표 체계의 격자지도로 역투영
• 상위뷰 격자지도(top-down grid map)에 임베딩을 누적하여 VLMap 구성
• LLM을 사용하여 자연언어 쿼리를 코드(Python)로 변환하여 지도에서 공간적 목표 인식
• 로봇 embodiment의 특성에 따라 지정된 장애물 범주로부터 동적 장애물 지도 생성

Originality

• 새로운 표현: VLM 임베딩을 3D 재구성과 직접 융합하여 공간 인덱싱 가능한 의미론적 지도 제안
• 공간적 언어 쿼리: "~사이" 등 관계적 공간 표현을 open-vocabulary로 처리하는 첫 시도
• Cross-embodiment 지도 활용: 동일 VLMap에서 다양한 로봇의 장애물 정의 동적 생성
• LLM 통합: Socratic 방식으로 LLM을 활용하여 자연언어를 공간적 프로그래밍 쿼리로 변환

Limitation & Further Study

• 모델 의존성: LSeg과 CLIP 모델의 성능에 크게 의존하며, 사전학습 데이터의 도메인 편향 영향
• odometry 필요: RGB-D SLAM 시스템에 의존하므로 odometry 오류 누적 가능성
• 계산 비용: 모든 프레임에서 픽셀별 임베딩 계산 및 역투영이 필요하여 실시간성 제약
• 공간 해상도: 격자지도의 해상도에 따라 미세한 공간 구조를 표현하지 못할 수 있음
• 동적 환경: 사람이나 이동 물체가 있는 동적 환경에서의 안정성 미검증

후속 연구 방향:

• 더 효율적인 특성 추출 방법 개발로 계산 비용 감소
• odometry 오류에 대한 견고성 개선
• 동적 환경에서의 VLMap 업데이트 메커니즘
• 3D 또는 계층적 지도 표현 확장

Evaluation

총평: VLMaps는 의미론적 이해와 기하학적 정밀도를 결합한 혁신적 지도 표현을 제시하며, 공간적 언어 쿼리 처리에서 기존 방법을 명백히 개선한다. 다만 odometry 의존성과 계산 비용 측면에서 실제 적용의 제약이 있으므로 추가 개선이 필요하다.