Openfly: A comprehensive platform for aerial vision-language navigation

Motivation

• Known: 실내 및 지상 기반 VLN은 광범위하게 연구되었으며, R2R, REVERIE, VLN-CE 등의 벤치마크가 존재한다. 최근 AerialVLN과 OpenUAV가 항공 VLN을 시작했으나 데이터 규모와 다양성이 제한적이다.
• Gap: 기존 항공 VLN 연구는 AirSim과 Unreal Engine에만 의존하여 데이터 다양성이 부족하고, 수동 주석으로 인한 높은 수집 비용으로 데이터 규모가 10k 궤적 수준에 그친다.
• Why: UAV는 항공 촬영, 구조 작업, 물품 운송 등 실제 응용 분야가 많으며, 대규모 고품질 항공 VLN 데이터셋은 embodied AI 발전에 필수적이다.
• Approach: OpenFly는 Unreal Engine, GTA V, Google Earth, 3D Gaussian Splatting을 통합하여 환경 다양성을 확보하고, point cloud 획득, 의미론적 분할, 궤적 생성, instruction 자동 생성의 완전 자동화 파이프라인을 개발했다.

Achievement

• 다중 렌더링 엔진 통합: UE, GTA V, Google Earth, 3D GS를 단일 플랫폼에 통합하여 광범위한 디지털 자산 활용 가능
• 자동화 데이터 생성: 조종사 조작과 수동 주석의 의존성을 제거한 완전 자동화 파이프라인으로 데이터 수집 비용 대폭 절감
• 대규모 벤치마크: 18개 장면에서 100k 궤적을 수집한 지금까지 최대 규모의 항공 VLN 데이터셋 구축
• 우수한 성능: OpenFly-Agent가 보인 VLN 환경에서 14.0% (seen), 7.9% (unseen) 성능 향상
• Real-to-sim 렌더링: 3D GS 기술로 실제 환경 이미지를 정확하게 시뮬레이션된 3D 장면으로 변환

How

• 점군 획득: 각 장면의 3D 공간 점유 정보를 LiDAR Acquisition API로 자동 수집
• 의미론적 분할: 장면 내 landmark를 자동 식별하여 waypoint 후보 선정
• 궤적 생성: landmark와 점군 정보를 활용하여 충돌 없는 항공 경로를 자동 탐색
• Instruction 생성: GPT-4o 같은 VLM을 활용하여 UAV 시점 이미지와 궤적으로부터 언어 instruction 자동 생성
• Keyframe-aware 모델: 적응형 frame-level sampling으로 지시어 관련 landmark를 포함한 중요 관측에 집중하여 성능과 효율성 동시 개선

Originality

• 항공 VLN을 위해 처음으로 4개 이상의 렌더링 엔진을 통합한 플랫폼 개발
• Real-to-sim 렌더링으로 실제 환경을 정확한 3D 시뮬레이션 환경으로 변환하는 혁신적 접근
• Point cloud, 의미론적 분할, 궤적 생성, instruction 생성을 통합한 완전 자동화 파이프라인 구축
• Keyframe-aware sampling을 통해 항공 VLN의 특성상 높은 frame rate 데이터에서 핵심 정보 추출
• 100k 규모 벤치마크로 항공 VLN 연구의 quantitative 평가 기반 확립

Limitation & Further Study

• 현재 18개 장면으로 제한되어 있으며, 더욱 광범위한 지리적 다양성 확보 필요
• 3D GS 기반 real-to-sim 렌더링의 정확도가 극도로 복잡한 동적 환경에서 저하될 가능성
• 자동 instruction 생성이 VLM에 의존하므로 생성된 instruction의 품질과 다양성이 모델에 좌우됨
• 현재 모델은 정적 환경 가정하에 설계되어 있으며, 동적 장애물이나 실제 기상 조건 반영 필요
• 실제 UAV 하드웨어 배포 시 시뮬레이션과의 domain gap 해소를 위한 추가 연구 필요

Evaluation

총평: OpenFly는 항공 VLN 연구의 데이터 부족 문제를 획기적으로 해결한 종합 플랫폼으로, 다중 렌더링 엔진 통합, 완전 자동화 파이프라인, 100k 규모 벤치마크를 통해 embodied AI 분야에 중요한 기여를 한다. 제안된 keyframe-aware 모델도 항공 VLN의 특수성을 반영한 효과적인 접근법이다.