ReActor: Reinforcement Learning for Physics-Aware Motion Retargeting

Motivation

• Known: Motion retargeting은 source morphology로부터 target robot으로 모션을 적응시키는 중요한 과제이며, 기존의 optimization-based 방법들은 foot sliding이나 self-collision 등의 물리적 부정합성을 야기하여 downstream imitation learning의 성능을 저해한다.
• Gap: 기존 retargeting 방법들은 contact pattern을 사전에 정의해야 하거나, 대규모 paired dataset을 요구하거나, 물리적으로 타당하지 않은 모션을 생성하는 한계가 있다. 또한 상이한 morphology를 가진 사족로봇으로의 리타게팅은 거의 미해결 상태이다.
• Why: 물리 기반의 artifact-free한 모션 생성은 downstream policy learning의 견고성을 크게 향상시키고, sparse semantic correspondence만으로 다양한 morphology에 적응할 수 있는 일반화된 방법론은 로보틱스와 애니메이션 분야에서 매우 중요하다.
• Approach: Bilevel optimization 프레임워크를 도입하여, 상단 수준에서 sparse semantic rigid-body correspondence를 기반으로 리타게팅 매개변수를 최적화하고, 하단 수준에서 physics simulation 환경 내에서 RL을 통해 tracking policy를 동시에 학습한다. 상단 수준의 gradient를 근사적으로 유도하여 계산 효율성을 확보한다.

Achievement

이중수준 최적화 프레임워크: 리타게팅 매개변수와 tracking policy를 동시에 최적화하는 bilevel formulation을 도입했으며, 상단 수준 loss에 대한 근사 gradient를 유도하여 tractable하게 해결함. 물리적 타당성 보장: Physics simulation 통합으로 foot sliding, self-collision, abrupt joint movement 등의 artifact를 근본적으로 제거. sparse correspondence 기반: 사용자가 nominal configuration에서만 semantic rigid-body correspondence를 정의하면 되므로 사용자 개입을 최소화. 광범위한 적용성: 두 종류의 휴머노이드 및 사족로봇까지 포함한 다양한 morphology에 적용 가능하며, SIGGRAPH 2026 채택.

How

• Physics simulation 환경에서의 bilevel 최적화: 상단에서는 리타게팅 매개변수 p를 최적화, 하단에서는 reward function R을 최대화하는 policy φ* 학습\n• 상단 수준 loss 함수는 reference motion과 실제 실행된 모션 간의 tracking error와 함께 물리 제약을 포함\n• 하단 수준에서는 residual force control을 허용하여 diverse motion dataset 전체에 걸쳐 단일 policy 학습 가능\n• Implicit function theorem을 기반으로 하되, retargeting 문제의 구조를 활용하여 simplified gradient estimate 도출\n• User-defined sparse semantic correspondences로부터 parameterized reference motion 생성

Originality

• Bilevel optimization을 motion retargeting에 처음 적용: 기존 연구에서는 주로 optimization-based 또는 learning-based 단일 수준 접근만 사용했으며, RL을 하단 수준으로 하는 stochastic bilevel optimization은 retargeting에서 미실행됨\n• Physics-aware retargeting을 RL 문제로 재정의: 단순 kinematic optimization을 넘어 동적 타당성을 직접 보장하는 새로운 관점\n• Sparse semantic correspondence 기반 parameterization: 복잡한 paired training data나 전체 skeleton matching 없이 최소한의 사용자 입력으로 작동\n• 사족로봇까지 포함한 광범위한 morphology 지원: 기존 대부분의 retargeting 방법은 humanoid 중심

Limitation & Further Study

• Bilevel optimization의 높은 계산 비용: 여러 번의 RL training iteration이 필요하므로 단순 kinematic optimization 대비 훨씬 느림. • Approximate gradient 사용: 상단 수준의 gradient를 근사하므로 global optimum 보장이 없으며, local minima에 빠질 가능성. • Sparse correspondence의 적절한 정의 요구: 사용자가 의미 있는 rigid-body pair를 선택해야 하므로, 매우 이질적인 morphology에서는 이 선택이 까다로울 수 있음. • Hardware 검증의 제한성: 논문에서는 하나의 휴머노이드에서만 hardware result를 보였으므로, 다른 플랫폼에서의 sim-to-real transfer 효과는 미검증. 후속 연구: (1) 더 효율적인 bilevel 알고리즘 개발로 계산 시간 단축, (2) correspondence 선택 자동화, (3) 더 많은 실제 로봇 플랫폼에서의 hardware validation.

Evaluation

총평: 본 논문은 motion retargeting을 bilevel optimization과 RL의 조합으로 재정의하여 물리적으로 타당하고 artifact-free한 모션을 생성하는 강력한 프레임워크를 제시한다. Sparse correspondence만으로 다양한 morphology를 지원하며, 시뮬레이션 기반 검증과 제한적 hardware 결과를 제공한다. 계산 효율성과 hardware 검증의 확장이 향후 과제이지만, 로보틱스와 애니메이션 분야의 motion retargeting 문제에 대한 중요한 기여로 평가된다.