Learning to Look Around: Enhancing Teleoperation and Learning with a Human-like Actuated Neck

Essence

Figure 1: A teleoperation system featuring an actuated neck and dexterous arms, enabling human-like manipu-

인간의 자연스러운 머리 움직임을 모방하는 5-DOF actuated neck을 원격 조종 시스템에 통합하여 작업자의 직관성 향상, 인지 부하 감소, 자율 정책 학습 개선을 달성하는 연구이다.

Known: 원격 조종 시스템은 직접적인 데이터 수집 방식을 제공하지만 제한된 시야각과 직관성 부족으로 어려움을 겪고 있다. 인간은 머리와 목 움직임을 통해 복잡한 공간을 자연스럽게 인지한다.
Gap: 기존 원격 조종 시스템은 정적인 광각 카메라만 사용하여 폐색 처리와 동적 시점 조정이 제한되며, 이는 모방 학습 데이터의 분포 이동(distribution shift) 문제를 야기한다. 인간의 자연스러운 지각 능력을 시뮬레이션하는 원격 조종 시스템이 부재하다.
Why: 작업자의 인지 부하를 감소시키고 복잡한 전신 조작 능력을 향상시키며, 고품질의 데이터를 수집하여 자율 로봇의 정책 학습 성능을 개선할 수 있다.
Approach: 5-DOF actuated neck을 탑재한 인간형 로봇 시스템을 설계하고, Apple Vision Pro의 머리 추적과 hand tracking 기술을 통해 직관적인 텔레오퍼레이션을 실현한다. 이를 통해 7개의 원격 조종 작업과 3개의 자율 정책 학습 작업에서 효과를 검증한다.

Figure 1: A teleoperation system featuring an actuated neck and dexterous arms, enabling human-like manipu-

직관적 원격 조종: 5-DOF actuated neck으로 인간 같은 머리 움직임(회전, 기울임, 피킹)을 구현하여 작업자의 인지 부하를 감소시킴
개선된 데이터 품질: 표준 RGB 카메라와 동적 카메라 조정으로 왜곡 없는 고품질 이미지 획득 및 인식 오류 최소화
향상된 대화형 지각: 동적 물체 추적과 폐색 관리를 통해 자연스러운 인간 행동 모방 및 다양한 작업 적응성 입증
자율 정책 학습 개선: actuated neck이 공간 인식 향상, 분포 이동 감소, 작업별 적응 조정을 지원함을 3개 작업에서 입증

Universal Robotics UR5e 듀얼 암(각 5kg 페이로드), Interbotix WidowX-200 5-DOF neck, Husarion Panther 모바일 베이스로 구성된 인간형 로봇 시스템 구축
Apple Vision Pro를 통한 6-DOF 머리 추적으로 작업자의 머리 포즈를 로봇 neck 카메라 포즈에 직접 매핑
Ascension trakSTAR와 Manus VR 장갑을 이용한 정밀한 손 추적으로 그리퍼 조작 제어
Intel Realsense D405 카메라 4개를 neck, torso, wrist에 배치하여 멀티 뷰 감지 정보 수집
7개의 원격 조종 작업(coat hanger finding 등)과 3개의 자율 정책 학습 작업에서 성능 비교 평가
imitation learning을 통해 teleoperation 데이터로부터 다중 작업 정책 학습 및 일반화 능력 검증