Simulating Infant First-Person Sensorimotor Experience via Motion Retargeting from Babies to Humanoids

Motivation

• Known: 3D 포즈 추정은 성인을 대상으로 개발된 기법이 영아에도 적용 가능함이 보고되었고, 일인칭 영상 분석은 최근 인지발달 연구에서 주목받고 있다. 특히 ViTPose는 영아 데이터셋에서 우수한 성능을 보였으며, iCub은 발달 로보틱스의 표준 플랫폼으로 활용되어왔다.
• Gap: 기존의 인간-로봇 motion retargeting 기법은 운동학(kinematics)만을 재현하고 감각경험(sensorimotor experience)을 무시해왔다. 또한 일인칭 영상 분석은 침습적인 머리장착 카메라가 필요하여 종단 발달 추적에 부적합하다. 따라서 3인칭 비디오로부터 1인칭 감각경험을 시뮬레이션하는 통합 프레임워크가 부재했다.
• Why: 영아의 초기 감각운동 발달을 이해하는 것은 인간 인지발달의 기초를 규명하고 신경발달 이상을 조기에 진단하는 데 필수적이다. 기존 행동 분석 방법들은 제한된 정보만 제공하므로, 영아의 내재적 감각경험을 직접 시뮬레이션할 수 있는 도구는 발달과학과 로보틱스 모두에 큰 가치가 있다.
• Approach: Multi-view 카메라로 촬영된 영아 영상에서 ViTPose를 이용해 각 뷰에서 2D 키포인트를 추출하고 카메라 간 대응 관계를 통해 3D 좌표를 계산한다. 단일 뷰의 경우 SMPL 기반 모델(SMIL)을 2D 투영에 맞춘다. 추정된 3D 자세를 MIMo의 기하학적 원시형(geometric primitives)을 스케일링하여 매핑하고, iCub과 EMFANT의 실제 관절 구조에 맞춘다. 이후 각 로봇 플랫폼에서 자세를 재현하여 proprioception, touch, vestibular sensation, vision 등의 다중감각 스트림을 기록한다.

Achievement

Fig. 3. Accuracy of the motion retargeting. MIMo and EMFANT achieve

최적 일치 구현에서 sub-centimeter 정확도 달성: MIMo와 EMFANT의 motion retargeting이 높은 정확도로 작동함을 입증했다. 다중감각 스트림 생성: iCub의 4,000개 촉각 수용체 모의, MIMo의 가상 촉각 피부, 쌍안 시각 렌더링 등을 통해 풍부한 감각 데이터를 생성했다. 발달 로보틱스 및 신경발달 진단 응용: 영아 발달 분석 및 행동 자동 주석 달성, 신경발달 이상 조기 진단에 활용 가능한 도구 제공.

How

Fig. 2.

• 2D 키포인트 추출: ViTPose를 다중 뷰에 적용하여 각 뷰에서 독립적으로 추출
• 3D 좌표 삼각측량: 멀티뷰 대응 관계를 통해 3D 좌표 계산; 단일 뷰 시 SMIL 모델 피팅
• 휴머노이드 매핑: MIMo는 기하학적 원시형 스케일링으로 영아 체형 보정, iCub/EMFANT는 관절 제약 적용
• 감각 시뮬레이션: 재현된 자세로부터 proprioceptive signals, touch sensor activation, binocular vision 기록
• 검증: 6개월 영아 비디오(2,900 프레임, 116초) 단일 영상으로 시스템 입증

Originality

• 첫 통합 프레임워크: 3D 포즈 추정과 다중감각 시뮬레이션을 결합한 최초 시스템으로, 기존 motion retargeting의 운동학 중심 접근을 넘어 감각경험 재현으로 확장
• 영아-로봇 매핑의 새로운 응용: ViTPose + multi-robot platform(iCub, pyCub, EMFANT, MIMo) 통합 파이프라인으로, 단일 비디오로부터 다양한 체구 로봇으로의 정확한 재타게팅 실현
• 다중감각 접근법: proprioception, touch, vestibular, vision을 함께 시뮬레이션하여 감각운동 학습 연구에 새로운 차원 추가

Limitation & Further Study

• 단일 영상 검증: 6개월 영아 1명의 단일 비디오로만 검증되어 발달 궤적의 다양성 미흡
• 자세 추정 정확도 의존성: ViTPose 성능 한계(특히 폐쇄 운동이나 occlusion)가 하류 재타게팅 정확도에 직접 영향
• 로봇 체구 편차: iCub(4세 아동 모델)이 영아 체형과 차이로 인한 정확도 감소; 영아 전용 로봇 필요성
• 후속 연구: 대규모 영아 데이터셋 적용, 신경발달 장애 진단 검증, 물리 시뮬레이션 정확도 향상 필요

Evaluation

총평: 본 논문은 영아 발달 연구와 로보틱스의 교점에서 motion retargeting에 다중감각 시뮬레이션을 결합한 창의적이고 기술적으로 건전한 작업이다. Sub-centimeter 정확도와 실제 및 가상 휴머노이드 플랫폼에서의 입증은 강점이나, 단일 영상 검증과 영아 모델 부재로 인한 일반화 가능성 제약이 한계이다. 코드 공개 및 명확한 방법론 제시는 높이 평가되며, 발달과학과 신경발달 진단 응용의 미래 잠재력이 있다.