TeleOpBench: A Simulator-Centric Benchmark for Dual-Arm Dexterous Teleoperation

Motivation

• Known: 최근 쌍팔 민첩 텔레오퍼레이션 연구에서 다양한 하드웨어 파이프라인(관성 모션캡처, 외골격, 비전 인터페이스 등)이 제안되었으나, 이들 시스템 간의 공정하고 재현 가능한 비교를 위한 표준화된 벤치마크는 부재한 상황이다.
• Gap: 각 텔레오퍼레이션 시스템이 고유한 하드웨어, 로봇 플랫폼, 작업 환경의 조합으로 구성되어 있어 교차 방법 평가가 어렵고, 서로 다른 조건에서의 공정한 성능 비교가 불가능하다.
• Why: 표준화된 벤치마크는 텔레오퍼레이션 분야의 객관적인 성능 평가를 가능하게 하고, 다양한 인터페이스 간의 장단점을 체계적으로 비교할 수 있게 함으로써 연구 진전을 촉진한다.
• Approach: 시뮬레이터 중심의 통합 벤치마크 플랫폼을 구축하여 하드웨어 및 장면 변동성을 제거하고, 네 가지 텔레오퍼레이션 모달리티를 단일 모듈식 인터페이스 내에서 구현한 후, 시뮬레이션 성능과 실제 쌍팔 로봇 플랫폼의 성능을 비교 검증한다.

Achievement

Figure 1: We present TeleOpBench, a simulation-based benchmark for bimanual dexterous teleoper-

• TeleOpBench 벤치마크 설립: 30개의 점진적으로 난이도가 증가하는 작업 환경(픽앤플레이스, 도구 사용, 협력 조작 등)으로 구성된 시뮬레이터 기반 벤치마크 개발
• 통합 텔레오퍼레이션 파이프라인: inertial motion capture, VR 컨트롤러, 상체 외골격, 모노큘러 비전 추적 등 4가지 대표 모달리티를 단일 모듈식 프레임워크에 구현
• 시뮬-실제 간 검증: 10개의 숨겨진 작업에서 시뮬레이션과 하드웨어 성능 간의 강한 상관관계를 확인하여 벤치마크의 외부 타당성 입증
• 확장성과 재현성: 오픈소스 공개를 통해 연구자들이 새로운 텔레오퍼레이션 파이프라인을 동일한 조건에서 벤치마킹할 수 있는 플랫폼 제공

How

Figure 2: The overview of the proposed TeleOpBench, where we unify four operator interfaces in

• NVIDIA Isaac Sim의 PhysX 엔진과 포토리얼리스틱 렌더러를 활용한 고충실도 시뮬레이션 환경 구축
• 각 텔레오퍼레이션 모달리티에 대해 inverse kinematics, dex-retargeting, human pose estimation 등의 변환 파이프라인 구현
• 쌍팔 6-DoF 민첩한 손이 장착된 물리적 쌍팔 플랫폼에서 미러링된 실험 수행
• 작업별 성공률(success rate)과 완료 시간(completion time)을 메트릭으로 사용한 체계적 평가
• 선형 매핑, 좌표 변환, 스케일링 등의 표준화된 인터페이스를 통한 모달리티 간 통일

Originality

• 쌍팔 민첩한 텔레오퍼레이션에 특화된 최초의 포괄적 시뮬레이터 기반 벤치마크로, 기존 단일 로봇 플랫폼이나 특정 인터페이스 중심의 평가를 넘어선 확장성 있는 프레임워크 제시
• 네 가지 서로 다른 텔레오퍼레이션 모달리티를 동일한 환경에서 공정하게 평가할 수 있는 통합 모듈식 아키텍처 개발
• 시뮬레이션 성능과 실제 하드웨어 성능 간의 상관관계를 체계적으로 검증함으로써 시뮬레이터 기반 벤치마킹의 신뢰성 입증

Limitation & Further Study

• 현재 3가지 로봇 플랫폼(G1, GR1T2, H1-2)으로 제한되어 있으며, 더 다양한 로봇 형태(humanoid가 아닌 산업용 로봇 등)에 대한 확장성 미검증
• 시뮬레이션-실제 간의 상관관계가 높지만, 마찰, 센서 노이즈, 지연 시간 등의 현실적 물리 시뮬레이션 정확도에 대한 심층적 분석 부족
• 비전 기반 추적(monocular vision tracking)의 경우 MoCap 및 외골격 대비 성능 차이가 크며, 이를 개선하기 위한 구체적인 알고리즘 제안 부재
• 인지적 부하(cognitive load), 사용자 피로도, 학습 곡선 등 정성적 사용성 평가 지표 미포함
• 후속 연구에서는 더 많은 로봇 플랫폼 통합, 실시간 지연(latency) 효과 모델링, 강화학습 기반 정책 학습과의 연계 등이 필요

Evaluation

총평: TeleOpBench는 텔레오퍼레이션 연구의 장기적인 병목인 표준화된 평가 환경의 부재를 해결하는 중요한 기여로, 실제 하드웨어와의 상관관계 검증을 통해 실용성을 입증한 의미 있는 연구이다. 다만 더 많은 로봇 플랫폼 통합과 정성적 사용성 지표 추가로 영향력을 확대할 수 있을 것으로 예상된다.