LOVON: Legged Open-Vocabulary Object Navigator

Motivation

• Known: LLM은 장시간 작업 계획에 효과적이고 open-vocabulary 시각 감지 모델(Grounding DINO 등)은 미리 정의되지 않은 객체를 인식할 수 있다. Legged robot은 바퀴 로봇보다 지형 적응성이 우수하다.
• Gap: 기존 방법들은 LLM 기반 계획, open-vocabulary 감지, legged robot 이동성을 효과적으로 통합하지 못하며, 로봇 운동으로 인한 시각 지터, 가림, 목표 손실 등 실제 환경의 도전 과제를 해결하지 못한다. 또한 장시간 다중 목표 작업을 비구조화된 환경에서 수행하는 것이 충분히 탐색되지 않았다.
• Why: 장시간 복합 작업을 비구조화된 환경에서 자율적으로 수행하는 legged robot은 실제 산업 및 서비스 로봇 응용에서 중요하며, LLM과 open-vocabulary 시각의 최신 발전을 활용하면 이전에 불가능했던 수준의 적응성과 일반화를 달성할 수 있다.
• Approach: LLM으로 장시간 작업을 세부 subtask로 분해하고, open-vocabulary 감지 모델로 실시간 객체 인식을 수행하며, language-to-motion model로 지시사항과 시각 피드백을 동작 벡터로 변환한다. Laplacian Variance Filtering으로 시각적 흔들림을 완화하고 robot execution logic으로 robust한 작업 완료를 보장한다.

Achievement

Fig. 1: Object navigation of legged robots in diverse open-world scenarios.

• 통합 프레임워크 개발: LLM, open-vocabulary 감지, language-to-motion model을 통합하여 복잡한 장시간 네비게이션 작업 계획 및 실행이 가능하다.
• 시각 안정화 기법: Laplacian Variance Filtering을 통해 legged robot 운동으로 인한 동적 블러링과 시각 지터를 효과적으로 해결한다.
• 멀티 플랫폼 검증: Unitree Go2, B2, H1-2 등 다양한 legged robot에서 장시간 탐색, 감지, 네비게이션 작업을 성공적으로 수행함을 입증한다.
• Plug-and-play 호환성: 여러 legged robot 플랫폼에 즉시 적용 가능한 모듈식 설계로 실제 로봇 응용의 실용성을 보장한다.

How

Fig. 2: Overview of LOVON’s pipeline. First, the LLM task planner reconfigures the human’s task into basic instructions,

• LLM 기반 Task Planner: 사용자 지시사항을 구조화된 subtask와 구체적 명령어(속도, 목표 객체 등)로 분해
• Instruction Object Extractor (IOE): 각 subtask에서 목표 객체를 추출하여 detection 모델에 제공
• Laplacian Variance Filtering: 입력 영상에 Laplacian filter를 적용하여 고주파 잡음 제거 및 안정화
• Open-vocabulary Detector: 전처리된 영상에서 실시간으로 목표 객체 감지 및 bounding box 정보 획득
• Language-to-Motion Model: Transformer 기반 모델로 instruction, detection 결과, mission/search state를 입력받아 [Vx, Vy, θ] 동작 벡터 생성
• Robot Execution Logic: mission state(목표 달성 중)와 search state(목표 탐색 중)에 따라 적응적 동작 전환 및 피드백 루프 구성

Originality

• LLM, open-vocabulary 감지, legged robot 이동성을 처음으로 통합한 장시간 object navigation 시스템 제안
• Legged robot의 고유한 운동 특성(지터, 블라인드 존)에 맞춘 Laplacian Variance Filtering 기법으로 시각 안정화 문제를 해결
• Language-to-Motion Model에 mission state와 search state를 명시적으로 입력하여 task 적응성과 robustness를 향상
• 다중 legged robot 플랫폼(Go2, B2, H1-2)에서 동시에 검증하여 일반화 가능성을 입증

Limitation & Further Study

• Laplacian Variance Filtering은 과도한 모션 블러에서 효과가 제한될 수 있으며, 더 정교한 동적 이미지 안정화 기법의 필요성 존재
• LLM의 hallucination이나 부정확한 작업 분해 가능성에 대한 error handling mechanism이 상세히 제시되지 않음
• 실험이 주로 실내/제어된 환경에서 수행되었으며, 극단적 날씨, 심한 지형 변화 등 극한 조건에서의 성능 미검증
• 시뮬레이션 환경(Gym-Unreal)과 실제 환경 간의 domain gap이 완전히 해소되지 않음
• 후속 연구로는 multimodal LLM을 통한 시각-언어 통합 이해 강화, reinforcement learning을 통한 동적 환경 학습, 여러 robot의 협력 작업 확장 필요

Evaluation

총평: LOVON은 LLM 기반 계획과 open-vocabulary 감지를 legged robot과 처음으로 통합하여 비구조화된 환경에서 장시간 object navigation을 달성한 혁신적인 시스템이다. 실제 환경 도전(시각 지터, 목표 손실)에 대한 맞춤형 해결책과 다중 플랫폼 검증을 통해 높은 실용성과 일반화 가능성을 입증하였으나, 극한 환경 성능과 에러 처리 mechanism의 보강이 필요하다.