SynAgent: Generalizable Cooperative Humanoid Manipulation via Solo-to-Cooperative Agent Synergy

Motivation

• Known: 기존 연구는 단일 로봇 동작이나 고립된 물체 조작에 집중했으며, 인간-물체-인간 상호작용(HOHI) 데이터는 매우 제한적이고 물리 기반 제어 정책 학습에 부적합하다.
• Gap: 협력 조작은 다중 에이전트 조정의 복잡성, 지수적으로 증가하는 행동 공간, 다양한 물체 기하학과 미지의 협력 시나리오로의 일반화 부족 문제를 해결하지 못했다.
• Why: 로봇 협력 조작은 대규모 배포에 필수적이며, 다양한 실세계 작업에서 정밀한 제어와 협력 역량이 필요하다.
• Approach: Interact Mesh 기반 상호작용 보존 retargeting으로 HOHI 데이터를 정제하고, 풍부한 단일-인간 HOI 데이터로부터 decentralized MAPPO를 통해 협력 행동을 부트스트랩한 후, 조건부 VAE와 Multi-Teacher Distillation으로 궤적 추종 정책을 학습한다.

Achievement

Fig. 4. Overview of 25 Objects. Our model can ultimately cover these 25

• Interact Mesh 기반 retargeting: Delaunay 사면체분할을 통해 에이전트 관절과 물체 꼭짓점 간 공간적 관계를 유지하며, Laplacian 변형 에너지를 최소화하여 의미론적 위상 무결성을 보존한다.
• Solo-to-Cooperative Agent Synergy 패러다임: 협력 조작을 외부 힘 방해가 있는 단일 에이전트 제어 문제로 재구성하여, 풍부한 HOI 데이터를 활용해 다중 에이전트 협력 행동을 확장 가능하게 부트스트랩한다.
• Multi-Teacher Distillation 프레임워크: 전문화된 모방 교사들의 지식을 통합 학생 모델로 증류하여 다양한 물체 기하학과 궤적에서 안정적이고 일반화 가능한 조작 동작을 생성한다.
• 광범위한 실험: 협력 모방과 궤적 조건부 제어에서 기존 방법을 초과하는 성능을 달성하며, 25개의 다양한 물체 기하학에 일반화한다.

How

Fig. 2. Interaction-Preserving Retargeting. (1) The upper part shows the

• SMPL-X 프록시를 사용하여 인간 공연자와 휴머노이드 에이전트 간의 형태 차이를 해결하고, Delaunay 사면체분할로 Interact Mesh 구성
• Motion retargeting 중 Interact Mesh의 Laplacian 변형 에너지를 최소화하여 에이전트-물체 접촉 관계 유지
• 단일-인간 HOI 데이터로부터 motion imitation prior를 학습한 후, decentralized 가중치 공유와 MAPPO를 통해 다중 에이전트 협력으로 진화
• 에이전트 상태, 물체 궤적, 기하학 인식 상호작용 그래프를 통합하는 조건부 VAE 기반 궤적 조건부 정책 개발
• DAgger 스타일의 progressive 스케줄로 여러 모방 교사로부터 다중 동작 prior를 통합 정책으로 증류

Originality

• 손 조정이 필요한 휴머노이드 에이전트의 HOHI 모방을 처음으로 해결하고, 모방을 넘어 궤적 제어까지 확장
• Interact Mesh 표현을 통한 새로운 상호작용 보존 retargeting 방식으로 다중 상호작용 캐릭터의 협력 retargeting 지원
• 협력 조작을 외부 힘 방해가 있는 단일 에이전트 문제로 개념화하여 단일-다중 에이전트 간 지식 이전의 새로운 관점 제시
• 물리 기반 HOI 생성 기반 위에서 구축되었으나, 보상 엔지니어링 없이 다양한 물체 기하학에 일반화하는 데이터 기반 접근

Limitation & Further Study

• Interact Mesh 구성 및 Delaunay 사면체분할의 계산 복잡도와 확장성 한계에 대한 분석 부족
• 실제 로봇 환경에서의 sim-to-real 전이 결과 또는 실험 부재
• 현재 2명의 휴머노이드 에이전트 협력에 초점; 3명 이상의 다중 에이전트 확장성 미검증
• 궤적 조건부 정책이 Dynamic 환경에서의 적응 능력 및 예상 외 방해 대처 능력 미평가
• 후속 연구로 실제 로봇 시스템에서의 검증, 더 많은 에이전트로의 확장, 온라인 학습 및 적응 능력 강화 필요

Evaluation

총평: SynAgent는 HOHI 데이터 부족 문제를 창의적으로 해결하고, Solo-to-Cooperative Agent Synergy 패러다임을 통해 다중 에이전트 협력 조작의 확장성과 일반화를 크게 향상시킨 중요한 기여를 한다. 다만 실제 로봇 환경 검증과 더 많은 에이전트로의 확장성 증명이 필요하다.