SafeHumanoid: VLM-RAG-driven Control of Upper Body Impedance for Humanoid Robot

Motivation

• Known: 임피던스 제어는 안전한 인간-로봇 상호작용을 위한 표준 도구이며, VLM은 로봇 작업 시퀀스 생성 및 궤적 생성에 활용되고 있다.
• Gap: 기존 VLM/VLA 파이프라인은 작업 완료와 위치 제어에 중점을 두며 임피던스 거동 변조를 고려하지 않으며, 의미론적 추론과 안전 임피던스 제어의 통합이 부족하다.
• Why: 로봇이 공유된 인간 환경에서 작동할 때 단순한 기하학적 안전장치로는 부족하며, 작업과 맥락을 이해하고 사전에 적절한 강성과 속도를 선택하는 것이 사용자 안전과 신뢰도를 향상시킨다.
• Approach: 자중심 비전으로 장면을 캡처하고 VLM 프롬프트로 의미론적 정보를 추출한 후, FAISS 기반 RAG를 통해 검증된 시나리오 데이터베이스에서 임피던스 파라미터(Kp, Kd, v)를 검색하고 역운동학으로 관절 명령으로 변환한다.

Achievement

Figure 2: SafeHumanoid pipeline architecture. The onboard PC streams egocentric frames and executes impedance control at

• VLM-RAG 제어 파이프라인: 자중심 비전과 구조화된 VLM 프롬프트를 활용하여 실시간으로 맥락 인식 임피던스 및 속도 파라미터를 선택
• 실제 시스템 통합: Unitree G1 휴머노이드 로봇에서 고수준 의미론적 추론과 저수준 상체 제어의 완전한 통합 달성
• 적응적 거동: 테이블 닦이, 물체 인수인계, 액체 붓기 작업에서 고정 게인 기준선 대비 더 안전하고 맥락 인식적인 거동을 유지하면서 작업 성공률 보장
• 표준 준수: ISO/TS 15066과 ISO 13855 같은 협력 로봇 안전 표준을 고려한 파라미터 선택

How

Figure 2: SafeHumanoid pipeline architecture. The onboard PC streams egocentric frames and executes impedance control at

• 자중심 카메라에서 egocentric frames 획득
• 구조화된 VLM 프롬프트를 사용한 Molmo VLM으로 장면 의미론적 분석
• VLM 임베딩을 FAISS 검색 엔진으로 검증된 시나리오 데이터베이스와 매칭
• 검색된 파라미터(Kp, Kd, v)를 역운동학과 중력 보상을 통해 관절 명령{qref, q̇ref, τff, Kp, Kd}으로 변환
• 온보드 PC에서 50 Hz로 제어 실행, 오프보드 워크스테이션에서 VLM 및 RAG 처리

Originality

• 의미론적 추론을 안전 임피던스 제어 계층과 직접 통합한 최초 시도
• 휴머노이드 HRI에서 VLM+RAG 파이프라인을 적용한 첫 번째 구체적 구현
• 작업과 인간 근접성 맥락에서 동적 스티프니스, 댐핑, 속도 조정의 새로운 접근
• 궤적 생성 방식과 무관하게 작동하는 범용 compliance layer 개발

Limitation & Further Study

• 현재 추론 지연시간(최대 1.4초)으로 인해 매우 동적인 환경에서 즉각적 대응 제한
• 시나리오 데이터베이스의 규모와 다양성에 따른 성능 의존성
• 오프보드 처리 필요로 인한 실시간성 제약 및 통신 지연 위험
• 테이블탑 작업 중심의 평가로 전신 이동 작업에 대한 검증 부족
• 후속연구: 온디바이스 VLM 최적화로 지연시간 감소, 더 포괄적인 시나리오 데이터베이스 구축, 동적 환경에서의 실시간 적응 메커니즘 개발

Evaluation

총평: SafeHumanoid는 의미론적 추론과 임피던스 제어의 혁신적 결합으로 인간-로봇 협력의 안전성을 크게 향상시키는 제안이지만, 추론 지연시간과 실시간성은 실제 배포를 위해 해결해야 할 주요 과제이다.