Learning Whole-Body Human-Humanoid Interaction from Human-Human Demonstrations

Motivation

Known: 휴머노이드 로봇이 인간과 물리적으로 상호작용할 수 있도록 학습하는 것은 중요하지만, HHoI 데이터의 부족으로 진행이 제한된다. 기존 재타겟팅 기법은 동작의 운동학적 유사성만 보존하므로 모폴로지 차이로 인해 필수 접촉을 손상시킨다.
Gap: 표준 재타겟팅은 접촉 시맨틱을 보존하지 못하며, 기존 모방학습 정책은 궤적을 모방할 뿐 상호작용적 이해와 반응성이 부족하다.
Why: 휴머노이드 로봇의 인간-로봇 협력 능력은 공유 환경에서의 자연스러운 상호작용을 위해 필수이며, 풍부한 HHI 데이터를 활용할 수 있다면 데이터 수집 비용을 대폭 절감할 수 있다.
Approach: PAIR는 두 단계의 최적화 파이프라인으로 접촉 시맨틱을 명시적으로 보존하고, D-STAR는 Phase Attention(언제)과 Multi-Scale Spatial 모듈(어디)을 분리하여 diffusion head로 융합함으로써 동기화된 전신 행동을 생성한다.

Figure 1. From HHI to HHoI with simulation and real-robot results. Left: PAIR (Physics-Aware Interaction Retargeting) co

PAIR 개발: 상호작용 인식형 N×N 휴먼-로봇 거리 손실 Lcon을 포함한 두 단계 재타겟팅 파이프라인으로 물리적으로 일관된 HHoI 데이터 생성
D-STAR 제안: Phase Attention과 Multi-Scale Spatial 모듈을 분리하여 시간적 위상과 공간적 노이즈를 독립적으로 학습, 반응적 협력 실현
확장성: HHI 데이터셋에서 대규모 물리적으로 일관된 HHoI 데이터 생성 가능
시뮬레이션 및 실제 로봇 검증: 모의실험에서 기준 방법 대비 우수한 성능, Unitree G1 로봇에 성공적으로 배포

Figure 3. PAIR preserves contact semantics and physical consis-

PAIR Stage 1 (Coarse Global Init): Lkin + Ltemp + Lpose + Lhum 손실로 운동학적 타당성 확보
PAIR Stage 2 (Contact-Centric Refinement): wcon 증가와 함께 Lcon을 강조하여 접촉 일관성 최적화
접촉 시맨틱 보존: 누가 어디를 몇 초 동안 접촉하는지를 추적하는 N×N 휴먼-로봇 거리 손실로 접촉 의미 보존
Phase Attention: 이산 시간 위상 정보로 '언제 행동할지' 학습", "Multi-Scale Spatial 모듈: 다중 스케일의 공간 특징으로 '어디서 행동할지' 학습", 'Diffusion head 융합: PA와 MSS의 출력을 diffusion 메커니즘으로 통합하여 동기화된 전신 행동 생성
모폴로지 정렬: 골반 정렬 및 비례적 뼈 길이 스케일링으로 초기 모폴로지 차이 해결

시뮬레이션 중심 정량 평가: 실제 로봇 배포는 제한된 시나리오(Hug, Handshake, High-Five)에서만 검증됨
접촉 감지 의존성: 실제 로봇의 비동기 센싱과 표준 전신 제어기의 제약을 완전히 극복하지 못함
모폴로지 다양성: 다양한 휴머노이드 플랫폼이나 극단적 모폴로지 차이에 대한 일반화 성능 미검증
상호작용 복잡도: 제시된 6가지 상호작용(Bend, Wave, Fly-Kiss, Hug, High-Five, Handshake)을 넘어 더 복잡한 전신 협력 작업으로의 확장 필요
후속 연구: 실제 피부 접촉 피드백 통합, 다중 휴머노이드-인간 상호작용, 동적 장면 적응 등이 필요