A Rapid Deployment Pipeline for Autonomous Humanoid Grasping Based on Foundation Models

Essence

Fig. 1. The three-stage pipeline for rapid deployment of humanoid grasping.

Foundation model들(YOLOv8, SAM 3D, FoundationPose)을 통합하여 휴머노이드 로봇의 새로운 물체 조작 배포 시간을 1-2일에서 약 30분으로 단축하는 end-to-end 파이프라인을 제시한다.

Motivation

Known: Deep learning 기반 6-DoF pose estimator는 물체별 훈련이 필요하며, 전통적인 휴머노이드 로봇 배포는 데이터 수집, 수동 주석, 3D 모델 획득, 모델 훈련을 요구한다.
Gap: Foundation model의 zero-shot 능력을 활용하여 전통적인 데이터 수집 및 훈련 단계를 제거하고, 전문 하드웨어(laser scanner) 대신 일상적 카메라를 사용하는 빠른 배포 파이프라인이 부재하다.
Why: 휴머노이드 로봇이 다양한 일상 물체를 빠르게 다루도록 적응할 수 있어야 하며, 현장 배포와 빠른 반복을 위해 배포 장벽을 낮추는 것이 중요하다.
Approach: Roboflow 기반 자동 주석으로 YOLOv8 훈련, Meta SAM 3D로 단일 사진에서 3D 메시 재구성, FoundationPose로 zero-shot 6-DoF pose tracking을 연계하고, Unity 기반 inverse kinematics planner로 Unitree G1 휴머노이드를 제어한다.

Achievement

빠른 배포 시간: 새로운 물체 배포를 1-2일에서 약 30분으로 단축
높은 검출 정확도: YOLOv8n이 mAP@0.5 = 0.995, mAP@0.5:0.95 = 0.858 달성
정밀한 pose tracking: σ < 1.05 mm의 pose tracking 정밀도 달성
실제 로봇 성공: Unitree G1 휴머노이드에서 작업공간 내 5개 위치에서 성공적 물체 파지
파이프라인 일반성 검증: 자동차 윈도우 접착제 도포 작업으로 구조적으로 다른 두 번째 작업에 재사용 가능성 입증
저사양 하드웨어 지원: RTX 4060 Laptop GPU에서 30 fps 실시간 처리 가능

How

Fig. 1. The three-stage pipeline for rapid deployment of humanoid grasping.

오프라인 자산 준비: RealSense D435i로 150장의 다양한 시점 이미지 수집 → Roboflow SAM 자동 라벨링 → YOLOv8n 미세 조정(50 에포크, 배치 8)
3D 재구성: 단일 사진을 Meta SAM 3D에 업로드하여 텍스처 메시 생성 및 Poisson surface reconstruction으로 .obj 변환
온라인 perception: RGB-D 프레임을 YOLOv8(5 프레임마다 호출)과 FoundationPose(cascade)로 처리하여 30 Hz 주기로 JSON 직렬화된 pose 추정
유한 상태 머신 관리: UNINITIALIZED → TRACKING → LOST 상태 전환으로 추적 실패 및 재초기화 처리
Sim-to-real 실행: Unity 장면의 G1 URDF가 perception endpoint 폴링 → inverse kinematics로 다단계 파지 궤적 계획 → UDP로 C++ bridge 경유 Unitree SDK 명령 전송
모션 제어: Position control mode(kp=60.0, kd=1.5, velocity limit=2.0 rad/s)로 관절 각도 제어

Originality

SAM 3D 재구성을 FoundationPose기반 6-DoF tracking과 처음 통합하여 전문 laser scanner 파이프라인을 카메라 기반 설정으로 대체
Foundation model 기반 modular 설계로 VLA(Vision-Language-Action) end-to-end 패러다임 대비 훈련 데이터 불필요, 해석가능성 및 디버깅 가능성 강화
동일한 아키텍처를 구조적으로 다른 두 번째 작업(window glue application)에 재사용하여 파이프라인 일반성 입증

Limitation & Further Study

단일 원통형 음료수 병에 대한 주된 실험으로 복잡한 형태의 물체에 대한 일반화 미검증
SAM 3D의 단일 이미지 재구성의 한계로 복잡한 기하학적 구조나 폐쇄 부분을 갖는 물체에서 메시 정확도 미분석
Pose tracking의 재초기화 조건(위치 변화 0.15 m, 회전 변화 90°)이 경험적으로 설정되었으며 다양한 물체/환경에 대한 로버스트성 미평가
실험이 단일 RTX 4060 Laptop GPU에서만 수행되었으며 다양한 하드웨어 환경에서의 성능 검증 부재
후속 연구: (1) 복잡한 형태의 물체 및 투명/반사 물체에 대한 일반화, (2) 동적 환경에서의 추적 안정성 강화, (3) 다중 물체 동시 추적 및 상호작용 처리

Evaluation

Novelty: 4/5 Technical Soundness: 3/5 Significance: 4/5 Clarity: 4/5 Overall: 4/5

총평: Foundation model들의 효과적 통합으로 휴머노이드 로봇 배포 시간을 획기적으로 단축한 실용적이고 우수한 논문이며, 자동 주석, zero-shot 3D 재구성, zero-shot pose tracking을 연계한 modular 설계가 산업 적용성을 높인다. 다만 제한된 물체 유형과 환경 조건에서의 검증이 일반화 가능성을 판단하기 위해 추가 필요하다.