GC-VLN: Instruction as Graph Constraints for Training-free Vision-and-Language Navigation

Motivation

Known: 기존 VLN 방법들은 이산 환경에서만 작동하거나 시뮬레이터에서 비지도 학습이 필요하여 실제 환경 배포가 어렵다. VLN-CE는 연속 환경을 지원하지만 대부분의 zero-shot 방법도 시뮬레이터 학습에 의존한다.
Gap: 학습 없이 연속 환경에서 작동 가능한 VLN 프레임워크가 부족하며, sim-to-real 간극을 완전히 제거하는 방법이 필요하다.
Why: 로봇의 실제 배포 가능성 확대와 주석 데이터 부족 문제 해결을 위해 완전한 training-free 접근법이 중요하며, 이는 새로운 환경과 지시에 대한 우수한 일반화를 가능하게 한다.
Approach: 지시를 directed acyclic graph로 분해하고 공간 관계 제약 라이브러리를 구성하여 그래프 제약을 구축한 후, 제약 솔버로 waypoint 좌표를 결정하는 그래프 제약 최적화 문제를 해결한다. 네비게이션 트리와 백트래킹으로 불확실한 해의 개수를 처리한다.

Figure 1:

Training-free 연속 환경 VLN: 시뮬레이터 학습 없이 연속 환경 R2R-CE, RxR-CE에서 작동 가능
향상된 성능: 기존 zero-shot VLN 방법 대비 success rate와 navigation efficiency에서 현저한 개선
실제 환경 검증: 실세계 실험을 통해 새로운 환경과 지시 세트에 대한 강력한 일반화 능력 입증
해 불확실성 처리: navigation tree와 backtracking 메커니즘으로 no solution/multiple solutions 문제 해결

Figure 2: Framework of GC-VLN. We construct a constraint library, containing all the spatial rela-

자연언어 지시를 LLM으로 처리하여 multi-stage directed acyclic graph (DAG)로 분해
6가지 유형(known distance, known angle, unknown angle/distance의 unary/multi-constraint)의 공간 제약으로 구성된 constraint library 구축
DAG를 constraint library에 쿼리하여 graph constraint K 구성
Constraint solver로 graph constraint K의 waypoint 좌표를 점진적으로 결정
Topological sort (TS)를 기반으로 navigation tree 구축하여 모든 가능한 해 탐색
Local policy로 low-level action (turning, moving forward) 생성하여 로봇 제어
RGB-D 관측과 BEV 표현을 통해 환경 인식 및 제약 검증

다른 접근Improving Vision-and-Language Navigation with Image-Text Pair Mining은 그래프 구조가 아닌 이미지-텍스트 기반 접근으로 zero-shot navigation을 시도합니다.

다른 접근CoWs on Pasture는 이미지-언어 쿼리만으로 open-vocabulary object navigation을 실현하는 또 다른 학습 없는 프레임워크로 비교 연구에 유용합니다.

다른 접근GC-VLN은 open-vocabulary 네비게이션에서 instruction을 그래프 제약 조건으로 모델링하여, 장면 표현 및 플래닝 문제를 다른 방식으로 해결한다.

다른 접근TRAVEL 논문은 학습 없는 vision-language navigation을 retrieval 및 alignment 구조로 접근하여 GC-VLN의 graph constraint 방식과 차별화된 솔루션을 제시합니다.

후속 연구GC-VLN은 별도의 학습 없이 instruction 그래프 제약과 토폴로지 맵을 이용해 VLN 문제를 풀며, TRAVEL의 기본 이론적 토대가 된다.

다른 접근ApexNav(1311)은 GC-VLN처럼 학습 없는 네비게이션을 목표로 하지만 그래프 제약 대신 적응적 탐색 전략으로 문제를 푼다.

후속 연구GC-VLN은 instruction을 graph 제약으로 해석하는 Vision-Language Navigation 프레임워크로 RoboTron-Nav의 기초 이론을 제공한다.

후속 연구GC-VLN: Instruction as Graph Constraints 논문은 그래프 기반의 비전-언어 내비게이션 프레임워크로, SmartWay의 그래프·경로 예측 방식과 상호 보완적 이론적 기반을 제시한다.

후속 연구GC-VLN은 그래프 기반 내비게이션에서 다양한 정보원을 경로 탐색에 활용하는 방법을 제시하여, UniGoal의 통일된 그래프 기반 내비게이션 접근에 이론적 근거가 된다.

응용 사례OpenBench는 다양한 조건 하에서 semantic navigation을 벤치마크하므로, GC-VLN의 zero-shot 적응 전략의 실제 성능평가에 적합합니다.