CityNavAgent: Aerial Vision-and-Language Navigation with Hierarchical Semantic Planning and Global Memory

Motivation

Known: 기존 ground VLN 에이전트들은 실내·실외 환경에서 좋은 성능을 달성했으나, aerial VLN은 미리 정의된 네비게이션 그래프가 없고 장시간 탐색 시 action space가 지수적으로 확장되어 어려움을 겪고 있다.
Gap: 기존 방법들은 aerial VLN의 복잡한 도시 장면 이해(고도별 의미 밀도 변화)와 장시간 motion planning의 지수적 복잡성(m^n)을 충분히 해결하지 못하고 있으며, STMR 같은 이전 방법들은 높이 정보를 활용하지 않는다.
Why: Aerial VLN은 드론 기반 구조 재난 대응, 운송, 도시 검사 등 실제 응용 분야에서 인간-로봇 상호작용 비용을 줄이고 3D 공간 추론 능력을 요구하는 중요한 embodied AI 문제이다.
Approach: Open-vocabulary perception module로 도시 장면의 복잡한 의미를 추출하고, HSPM으로 navigation task를 landmark-level, object-level, motion-level의 계층적 sub-goals로 분해하여 action space를 축소한다. 추가로 global memory module이 역사적 궤적을 topological graph에 저장하여 재방문 대상의 네비게이션을 단순화한다.

Figure 2: CityNavAgent consists of three key modules. The open-vocabulary module extracts open-vocabulary

Aerial VLN 벤치마크에서 최고 성능 달성: 두 개의 aerial VLN 벤치마크에서 state-of-the-art 성능을 달성하고 success rate와 path following에서 유의미한 개선을 보였다.
장시간 네비게이션 복잡도 감소: 계층적 의미 계획을 통해 지수적 action space 복잡도(m^n)를 선형적으로 축소했다.
높이 정보 통합: 이전 STMR과 달리 3D 공간의 높이 정보를 활용하여 네비게이션 오류를 감소시켰다.
Zero-shot 네비게이션 가능: LLM의 reasoning 능력을 활용하여 미리 정의된 그래프 없이 zero-shot 환경에서 동작한다.

Figure 2: CityNavAgent consists of three key modules. The open-vocabulary module extracts open-vocabulary

Open-vocabulary perception: LLM을 통한 scene captioning과 prompt engineering으로 instruction 관련 객체 추출, vision foundation model을 이용한 open-vocabulary image grounding
Hierarchical semantic planning: Landmark-level planning에서 전체 경로의 주요 landmark 시퀀스 결정 → Object-level planning에서 landmark 도달을 위한 객체 추론 → Motion-level planning에서 최종 waypoint와 action sequence 예측
Global memory module: Historical trajectory를 topological graph 형태로 저장하여 재방문 대상의 네비게이션 성능 향상
Planning frequency control: 상위 계획(landmark-level)은 낮은 빈도로, 하위 계획(motion-level)은 높은 빈도로 수행하여 효율성 극대화

Open-vocabulary perception의 LLM captioning이 복잡한 도시 장면에서 모든 의미있는 객체를 정확히 추출하지 못할 수 있음
Hierarchical planning의 각 level 간 오류 전파(error propagation) 문제 미분석
Global memory의 topological graph 구성 방식과 메모리 용량 제한에 대한 상세한 논의 부족
실제 드론 플랫폼에서의 검증이 부재하며 시뮬레이션 환경에서만 평가됨
후속연구로 시각적 오류에 대한 강건성 개선, 동적 도시 환경(건설 중인 지역, 이동하는 객체) 처리, 실제 드론 배포 실험 필요

기반 연구CityNavAgent 논문은 CLIP 기반 학습 없는 navigation frame을 도시 환경 등 다양한 시나리오에 적용하여 CoW 방법의 실제 적용 범위를 넓힌다.

기반 연구GenSim 논문은 대규모 시뮬레이션 및 내비게이션 환경 구축을 자동화해 CityNavAgent와 같은 에이전트에 필수적 데이터를 제공한다.

기반 연구CityNavAgent는 시각적으로 풍부한 데이터와 world model을 바탕으로 aerial navigation 작업을 수행하므로, DIAMOND 기반의 world modeling 성능이 실제 how-to navigation 문제에 적용된 사례이다.

기반 연구Openfly는 aerial VLN 실험 환경 및 플랫폼을 제공하므로 CityNavAgent의 연구 적용 및 확장에 필수적인 기반 자료이다.

다른 접근CityNavAgent 역시 항공 이미지 및 VLM 기반 내비게이션을 다루며, 공간 정보 처리와 대규모 데이터셋의 활용 방식에서 기술적으로 견줄 수 있습니다.

기반 연구SmartWay는 waypoint 예측과 backtracking 기반 navigation 방법론을 aerial 환경 네비게이션 등 다양한 장면에 적용하기 위한 계층적 계획의 기반을 제공한다.

다른 접근CityNavAgent는 계층적 네비게이션 전략과 VLM을 결합하여, SmartWay가 제안하는 증강 waypoint 예측과 zero-shot navigation 접근법에 대한 대안적 프레임워크를 제시한다.

다른 접근An Embodied Generalist Agent in 3D World는 다양한 에이전트 환경에서의 일반화를 다루므로, 도시 aerial VLN 문제에 대한 대안적 접근을 제시한다.

후속 연구CityNavAgent는 aerial view와 hierarchical policy를 이용한 vision-language 항법을 제안해 L3MVN의 의미적 맵 기반 비지도 탐색의 이론적 토대를 제공합니다.

후속 연구MapNav는 의미 주석 기반 공간 메모리 구조를 통해 시각-언어-내비게이션 에이전트의 성능을 높인다.