Actuator Reality Shaping for Zero-Shot Sim-to-Real Robot Learning

Motivation

• Known: 기존 sim-to-real 연구는 domain randomization, system identification, learned actuator model 등을 통해 시뮬레이터의 fidelity를 높여 실제 하드웨어와의 격차를 줄이는 방식을 취해왔으며, RL 기반 locomotion/manipulation controller들이 GPU 가속 대규모 시뮬레이션에서 학습되어 실제 로봇에 적용되고 있다.
• Gap: 기존 접근법들은 시뮬레이터나 정책을 특정 하드웨어 분포에 맞추어 적응시키는 공통된 의존성을 가지므로, actuator가 교체되거나 열화되거나 다른 로봇 플랫폼으로 전이될 때마다 하드웨어별 데이터 수집이나 identification을 반복해야 하는 한계가 있으며, 특히 high-gear-ratio 관절에서는 friction, stiction, backlash가 지배적이어서 단순 파라미터 섭동으로 포착되지 않는다.
• Why: 정책이 인지하는 actuator 응답을 표준화하는 인터페이스를 제공함으로써, 하드웨어별 재학습이나 fine-tuning 없이도 다양한 로봇 플랫폼에 재사용 가능한 sim-to-real 전이가 가능해져, 로봇 학습의 실용성과 확장성을 크게 높일 수 있다.
• Approach: 시뮬레이터를 수정하는 대신 실제 actuator의 저수준 controller를 재설계하여, 관절이 시뮬레이션에서 가정한 idealized second-order reference dynamics를 따르도록 만드는 "actuator reality shaping" 개념을 도입하고, 이를 2-DoF feedforward-feedback 구조로 구현한다.

Achievement

Figure 3: Comparison with ASAP [10] on the reaching task

1. actuator reality shaping 패러다임 제안: 시뮬레이터를 실제에 맞추는 기존 방식과 반대로, 실제 actuator의 closed-loop 거동을 시뮬레이터의 reference model에 맞추는 새로운 sim-to-real 전략을 제시하고, 이를 구현하는 2-DoF control architecture를 유도했다.
2. 단일 관절 및 7-DOF 로봇팔 검증: 외란이 가해진 high-gear-ratio servo 단일 관절 실험과 7-DOF robotic arm reaching task에서, 표준 servo-control 및 ASAP과 같은 real-to-sim-to-real baseline 대비 sim-to-real tracking error를 크게 줄이고 zero-shot task 성능을 향상시켰다.
3. 다양한 플랫폼으로의 일반화 시연: wheeled-legged robot의 경사로 주행과 humanoid robot의 보행에서도 zero-shot transfer를 시연하여, task-specific fine-tuning 없이 여러 하드웨어에 재사용 가능한 인터페이스로서의 가능성을 보였다.

How

Figure 2: Proposed actuator reality shaping architecture (single joint): a cascaded 2-DoF controller

• 각 관절 driver에 2-degree-of-freedom (2-DoF) controller를 도입하여, feedforward path는 시뮬레이션에서 사용된 desired closed-loop dynamics를 지정하고, feedback path는 disturbance와 잔여 actuator-model mismatch를 보상하도록 분리 설계
• reference-response shaping과 robust stabilization을 독립적으로 설계할 수 있게 하여, 하드웨어별 adaptation이나 학습된 actuator model 없이도 표준화된 actuator interface 제공
• 500 Hz의 per-joint 2-DoF driver layer를 통해 RL policy가 학습한 idealized second-order PD dynamics(θref)를 실제 관절이 추종(θ ≈ θref)하도록 유도
• fixed-gain 구조로 disturbance observer와 integral feedback을 결합하여 convergence monitoring이나 gain scheduling 없이 잔여 오차를 실시간 보상
• 단일 관절 tracking 실험(controlled disturbance injection), 7-DOF arm reaching task에서 factory cascaded servo controller, tuned PID controller, learned Delta Action baseline(ASAP)과 비교 평가
• wheeled-legged robot(경사로 주행)과 humanoid robot(보행)에서 추가 zero-shot transfer 실험으로 일반성 검증

Originality

• 시뮬레이터를 실제에 맞추는 전통적 방향(real-to-sim)을 뒤집어, 실제 하드웨어를 시뮬레이터의 idealized model에 맞추는(sim-to-real reversed) "actuator reality shaping"이라는 개념적 전환을 제시
• 2-DoF control theory를 device driver의 비유로 재해석하여, 소프트웨어적 하드웨어 추상화가 아닌 dynamical한 표준 인터페이스로서 활용한 점이 독창적
• 기존 2-DoF 및 disturbance observer 연구가 개별 관절 제어 수준에 머물렀던 것과 달리, 이를 whole-body 로봇 학습을 위한 sim-to-real interface layer로 확장한 점

Limitation & Further Study

• 제안된 방법은 물리 actuator가 prescribed dynamics를 자신의 bandwidth와 saturation 한계 내에서 추종할 수 있어야 한다는 전제에 의존하므로, 이 한계를 벗어나는 매우 빠르거나 강한 외란 상황에서는 성능 보장이 불확실함
• fixed-gain 2-DoF controller는 compact actuator description(토크 상수, 회전자 관성, bandwidth)에 기반해 설계되므로, 이러한 파라미터가 부정확하거나 시간에 따라 크게 변화하는 경우(마모, 열화 등) 재설계가 필요할 수 있음
• 실험이 단일 관절, 7-DOF 팔, wheeled-legged robot, humanoid 보행 등 제한된 시나리오에 국한되어 있어, 더 복잡한 접촉이 많은 manipulation task나 고동적 locomotion에서의 일반화 여부는 추가 검증이 필요
• 후속 연구로 다양한 actuator 유형(예: 유압, 공압)이나 더 극단적인 외란 조건에서의 강건성 검증, 그리고 driver 설계 자동화 방안 모색이 필요

Evaluation

총평: 시뮬레이터가 아닌 실제 하드웨어를 이상화된 reference dynamics에 맞추는 역발상적 접근으로 sim-to-real 문제를 재구성한 참신한 연구이며, 다양한 로봇 플랫폼에서의 zero-shot 검증을 통해 실용적 가치를 보여준다. 다만 고동적, 고접촉 task로의 확장성과 actuator 파라미터 변화에 대한 강건성은 추가 검증이 필요하다.