GenerativeMPC: VLM-RAG-guided Whole-Body MPC with Virtual Impedance for Bimanual Mobile Manipulation

Essence

Fig. 3.

GenerativeMPC는 Vision-Language Model과 Retrieval-Augmented Generation을 활용하여 의미론적 장면 이해를 물리적 제어 파라미터로 변환하고, Whole-Body MPC와 통합 임피던스-어드미턴스 제어기를 통해 양팔 이동형 조작 로봇의 안전하고 맥락인식적인 제어를 실현한다.

Motivation

Known: VLM은 장면 이해와 작업 계획에 우수하지만 물리적 compliance 동작을 정의하지 못하며, Whole-Body MPC는 실시간 궤적 최적화에 효과적이지만 제약 조건이 설계 단계에 고정된다.
Gap: 의미론적 추론과 물리적 상호작용의 안전성을 통합하는 것이 미흡하며, 경험 기반 메모리를 제어 루프에 활용하는 방법이 아직 탐구되지 않았다.
Why: 인간 중심 환경에서 작동하는 로봇은 고수준 이해와 저수준 안전성을 동시에 만족해야 하며, 이를 통해 사회적으로 인식하는 자율 로봇이 실현될 수 있다.
Approach: VLM-RAG 모듈이 카메라 이미지와 언어 명령에서 속도 제약, 안전 마진, 임피던스 게인을 생성하고, Whole-Body MPC가 이를 제약으로 사용하여 7단계 예측 지평에서 궤적을 최적화하며, Impedance-Admittance 제어기가 50Hz에서 순응적 추적을 실행한다.

Achievement

Fig. 2. Bimanual manipulation in IsaacSim. Left: the robot performs a pick-

VLM-RAG 기반 파라미터 생성: InternVL3-1B와 ChromaDB를 통해 시각·언어 정보에서 해석 가능한 물리적 제약(속도, 안전 마진, compliance 게인)을 자동 추출
통합 사이버-물리 프레임워크: 이동 기저, 양팔 조작, 충돌 회피를 단일 Whole-Body MPC와 일관된 spring-damper 공식으로 통합 관리
경험 기반 적응 메커니즘: ChromaDB를 통해 이전 작업의 검증된 파라미터 세트를 검색하여 VLM 재학습 없이 재사용
안전성 검증: 60% 속도 감소(인간 근처), MuJoCo/IsaacSim/실제 플랫폼에서 사회적으로 인식하는 네비게이션 및 조작 입증

How

Fig. 3.

Layer 1: VLM-RAG이 RGB-D 입력과 자연어 명령을 처리하여 JSON 형식의 구조화된 출력 생성(작업 유형, 객체, 인간 근처성 등)
Layer 2: Whole-Body MPC가 10Hz에서 N=7 단계의 좌표화된 기저·양팔 궤적 계획, APF(Artificial Potential Fields) 기반 충돌 회피 비용 항 포함
Layer 3: Impedance-Admittance 제어기가 50Hz에서 생성된 궤적을 virtual stiffness Ki, damping Di로 순응적 추적
Sim-to-Real: 30~60ms의 Modbus RTU 레이턴시 분석 및 게인 감소를 통한 체계적 적응(Table I)
ChromaDB 통합: 완료된 에피소드 저장 후 유사 작업의 파라미터 검색으로 반복 학습

Originality

처음으로 VLM-RAG을 Whole-Body MPC와 통합 impedance-admittance 제어기로 연결하여 의미-물리 변환 파이프라인 구현
SafeHumanoid의 단일팔 VLM 기반 compliance를 양팔 이동형 플랫폼으로 확장하고, 기저 네비게이션과 양팔 조작을 통일된 spring-damper 공식으로 통합
RAG 기반 경험 메모리를 로봇 제어 루프에 도입하여 '메모리 갭' 해결", '동적 제약 스케일링 메커니즘으로 인간 근처성을 VLM에서 감지하여 실시간 MPC 제약 변경

Limitation & Further Study

실제 플랫폼 실험이 제한적이며, 더 복잡한 다중 객체 조작 시나리오에서의 성능 평가 필요
Jetson Orin Nano의 계산 제약으로 인한 10Hz MPC 주기로, 더 빠른 동적 환경에서의 적응성 미검증
ChromaDB 벡터 유사도 기반 검색이 임계값 설정에 민감할 수 있으며, 분포 외(out-of-distribution) 작업에 대한 robustness 분석 부족
VLM 정량화(INT4) 과정에서의 추론 정확도 손실에 대한 상세 분석 미흡
후속 연구: (1) 실제 환경의 시간 변화 장면에서 온라인 학습, (2) 더 높은 MPC 주기 달성을 위한 경량 제어기 설계, (3) 사람-로봇 상호작용 중 compliance 파라미터의 적응적 미세조정

Evaluation

Novelty: 4/5 Technical Soundness: 4/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: GenerativeMPC는 의미론적 이해와 물리적 안전성을 체계적으로 통합하는 창의적 접근으로, VLM-RAG 기반 파라미터 생성과 경험 메모리의 신규 활용을 통해 양팔 이동형 조작 로봇의 인간중심 자율성을 크게 향상시킨다. 광범위한 시뮬레이션 및 실제 검증으로 신뢰성을 입증했으나, 실제 플랫폼 실험 확대와 분포 외 robustness 분석이 추가 필요하다.