TACT: Humanoid Whole-body Contact Manipulation through Deep Imitation Learning with Tactile Modality

Motivation

• Known: 인간형 로봇의 대부분 조작 연구는 손과 발 같은 말단부 접촉만 다루며, 전신 접촉 조작을 위한 기존 모델 기반 방법들은 계산 비용이 높고 광범위 접촉 측정이 어렵다는 한계가 있다.
• Gap: 인간처럼 전신을 활용한 균형잡힌 접촉 조작을 수행하면서도 분산된 촉각 센서 정보를 효과적으로 활용하는 학습 기반 제어 방법이 부족하다.
• Why: 전신 접촉 조작은 안정성 향상과 부하 감소라는 장점이 있으며, 섬세한 접촉이 필요한 실생활 작업 수행을 위해 필수적이다.
• Approach: Transformer 기반 정책인 ACT를 촉각 모달리티로 확장하여 다중 센서(관절 위치, 시각, 촉각) 입력을 처리하고, 모방 학습으로 인간 텔레오퍼레이션 데이터로부터 학습하며, 이를 모델 기반 재타겟팅 및 보행 제어와 통합하였다.

Achievement

Fig. 5. Experiment in which a humanoid holds up a paper box.

• 촉각 모달리티 통합: ACT를 확장하여 처음으로 분산된 촉각 센서 데이터를 직접 Transformer 기반 정책에 입력할 수 있도록 구현
• 다층 제어 아키텍처: 모델 기반 제어의 신뢰성과 학습 기반 제어의 유연성을 결합한 이층 구조 개발
• 전신 접촉 조작 실증: 생활 규모의 인간형 로봇 RHP7 Kaleido가 균형을 유지하면서 보행과 동시에 섬세한 전신 접촉 조작 달성
• 센서 융합의 효과 검증: 시각과 촉각 모달리티의 동시 입력이 광범위하고 섬세한 접촉 조작의 견고성을 향상시킴을 실험으로 증명

How

Fig. 4. Model structure of TACT (tactile-modality extended ACT).

• 인간 텔레오퍼레이션 데이터 수집: 포즈 추적기를 착용한 인간의 자세를 로봇으로 재타겟팅하며 수집
• TACT 정책 아키텍처: 촉각 센서 격자의 공간 구조를 Transformer를 통해 암시적으로 학습
• 다중 센서 입력 처리: 관절 위치, 카메라 이미지, 분산 촉각 측정값을 일정 시간 호라이즌에 대해 처리
• 상위층 제어: 학습 기반 TACT 정책이 미래 동작 명령 생성
• 하위층 제어: 모델 기반 재타겟팅과 쌍족 모델 기반 보행 제어로 균형 유지
• 기하학적 캘리브레이션 제거: 그래프 신경망과 달리 사전 공간 맵 구축 없이 Transformer의 자기 주의 메커니즘으로 센서 셀 간 상관관계 학습

Originality

• 촉각 센서 데이터의 직접 통합: 기존 ACT를 최초로 분산 촉각 센서 입력을 처리하도록 확장
• 생활 규모 로봇의 전신 접촉 조작: 학습 기반 정책으로 사전 정의되지 않은 접촉점에서의 전신 조작 달성
• 하이브리드 제어 구조: 신뢰성과 유연성을 모두 확보하는 모델 기반-학습 기반 통합 시스템
• 다중 모달리티 처리: 관절 위치, 시각, 촉각을 Transformer로 통합 처리하는 설계

Limitation & Further Study

• 데이터 수집 의존성: 텔레오퍼레이션 기반 수집이므로 데이터 품질과 다양성에 의존
• 촉각 센서 배치 제약: 현재 상반신만 센서 장착으로 전신 접촉 감지 제한
• 일반화 능력 미검증: 학습 데이터와 다른 객체 또는 환경에서의 성능 한계 논의 부족
• 계산 복잡도: 후속 연구에서 실시간 처리를 위한 모델 경량화 필요
• 정량적 비교 부족: 시각/촉각 단독 입력 대비 성능 향상도를 더 상세히 분석할 필요

Evaluation

총평: 본 연구는 촉각 센서를 Transformer 기반 모방 학습에 성공적으로 통합하여 생활 규모 인간형 로봇의 섬세한 전신 접촉 조작을 최초로 실증했으며, 모델 기반 제어와 학습 기반 제어의 창의적 결합으로 신뢰성과 유연성을 동시에 확보한 의미 있는 기여이다.