OmniContact: Chaining Meta-Skills via Contact Flow for Generalizable Humanoid Loco-Manipulation

Motivation

• Known: Humanoid loco-manipulation은 whole-body motion과 continuous object interaction을 동시에 조율해야 하는 어려운 문제이다. 기존 접근법들은 (1) explicit HOI representation은 정밀하지만 high-level planning에 어렵고, (2) implicit skill embedding은 컴팩트하지만 해석가능성이 부족하며 reliable composition이 어렵다는 한계를 갖는다. Behavior cloning 방식은 scalability가 떨어지고, RL 기반 방식들은 body motion learning, HOI tracking, task-specific HOI learning 등으로 나뉘는데 모두 skill chaining이나 autonomous recovery에 제한이 있다.
• Gap: 기존 연구들은 long-horizon loco-manipulation task에서 meta-skill의 seamless chaining과 closed-loop execution을 동시에 지원하지 못했다. 특히 (1) skill reuse를 위한 optimal representation이 부재하고, (2) precise하지만 복잡한 HOI state와 compact하지만 해석이 어려운 implicit embedding 사이의 trade-off가 해결되지 않았으며, (3) autonomous failure recovery와 high-level planning의 통합이 미흡했다.
• Why: Humanoid robots의 autonomous loco-manipulation은 현실의 복잡한 환경에서 장시간 작업을 수행해야 하므로 매우 중요한 문제이다. Contact flow라는 새로운 representation은 이 문제들을 해결하기 위한 optimal interface를 제공하여, skill composability와 interpretability 사이의 fundamental trade-off를 극복할 수 있다.
• Approach: Contact flow를 key body trajectory와 binary contact signal의 조합으로 정의하여 compact하면서도 interpretable한 representation을 구현한다. CF-Track은 imitation learning으로 다양한 loco-manipulation skill을 unified library로 학습하고, CF-Gen은 object-centric rule과 contact anchor를 이용한 heuristic synthesis로 future contact-flow sequence를 생성한다. OmniContact dataset(MoCap-based HOI corpus)을 수집하여 framework을 지원하고, VLM과의 integration으로 high-level task decomposition을 가능하게 한다.

Achievement

Figure 1: OmniContact for Generalizable Loco-Manipulation. By leveraging contact flow as the optimal planning-

• Meta-skill performance: Carry Box에서 98.7% success rate, Push-Stack Boxes에서 76.5% success rate 달성
• Baseline 대비 성능: Meta-skill에서 average 40.9%, skill chaining에서 66.5% margin으로 우수
• Long-horizon endurance: 약 40분 continuous box-carrying task 성공 (극한 stress test)
• Skill composability: Carrying과 pushing 행동의 seamless combination 실현
• Autonomous recovery: Real-time heuristic synthesis를 통한 failure detection과 rapid replanning
• VLM integration: Complex semantic task(e.g., heart shape arrangement) 실행 가능
• Generalization: 다양한 object dimension, initial height, grasp pose에 대한 robust generalization

How

Figure 3: Contact-flow examples across loco-manipulation skills. Contact flow represents each skill with sparse

• Contact flow 정의: Key body keypoint trajectory와 time-series binary contact signal로 loco-manipulation의 core dynamics를 capture하는 compact representation 설계
• CF-Track 구현: Behavior cloning 기반의 low-level policy로 unified framework 하에서 다양한 interaction skill 학습
• CF-Gen 개발: Object-centric rule과 contact anchor template를 이용한 mid-level heuristic planner로 future contact-flow sequence 실시간 합성
• OmniContact dataset 구성: MoCap-based HOI corpus 수집으로 diverse loco-manipulation primitive 지원
• VLM integration: LLM을 통한 high-level task decomposition과 start-to-goal object pose 추출로 semantic task grounding 실현
• Hierarchical architecture: 세 수준의 모듈(high-level VLM planning, mid-level CF-Gen synthesis, low-level CF-Track control)을 contact flow로 통합

Originality

• Contact flow representation의 novelty: Binary contact signal과 body trajectory의 조합은 HOI state의 precision과 skill embedding의 compactness 사이의 새로운 균형을 제시
• Unified skill library 구축: Contact flow를 공통 interface로 사용하여 diverse loco-manipulation skill을 single framework에서 관리하는 방식은 이전에 없던 접근
• Heuristic synthesis 기반 replanning: Rule-based CF-Gen으로 real-time failure detection과 autonomous recovery를 실현하는 방식의 창의성
• VLM-robot integration: 고수준의 semantic decomposition을 contact flow와 자연스럽게 연결하는 integration strategy의 신선함

Limitation & Further Study

• Contact flow의 한계: Binary contact signal은 complex multi-contact scenario에서 정보 손실 가능성
• CF-Gen의 휴리스틱 의존성: 규칙 기반 synthesis는 예상 밖의 task에 대해 scalability 제한 가능
• Dataset 규모: OmniContact dataset의 크기와 다양성이 매우 큰 task category에 대해 충분한지 불명확
• 실제 로봇 배포: 논문이 실제 hardware deployment 결과를 제시하지 않아 sim-to-real gap 불명확
• 후속 연구 방향: (1) Contact-rich manipulation(in-hand dexterity)으로 확장, (2) Dynamic object interaction 처리 강화, (3) Multi-robot coordination 지원, (4) Online learning을 통한 adaptive meta-skill 개발

Evaluation

총평: 본 논문은 contact flow라는 새로운 representation을 통해 humanoid loco-manipulation의 meta-skill chaining과 autonomous recovery 문제를 효과적으로 해결했다. 높은 성능과 다양한 real-world task 실행 능력을 보여주며, VLM과의 자연스러운 통합으로 semantic understanding까지 가능하게 한 점은 매우 인상적이다. 다만 sim-to-real transfer와 contact-rich manipulation 확장 등에서 추가 검증이 필요하다.