GENMO: A GENeralist Model for Human MOtion

Motivation

• Known: 전통적으로 모션 생성과 추정은 별개의 전문화된 모델로 처리되어 왔고, 최근 연구들은 생성 모델의 사전(generative priors)이 어려운 추정 시나리오에서 유용함을 보였다. 다양한 조건 신호(text, audio, video, keypoints)를 기반으로 한 모션 생성 연구가 활발히 진행되고 있다.
• Gap: 기존 방법들은 생성과 추정을 별도 모델로 관리하여 지식 전이 기회를 놓치고 있으며, 다중 모달 조건을 통합하면서도 가변 길이 모션을 정확하고 유연하게 처리하는 단일 통합 프레임워크가 부재하다.
• Why: 인간 모션 모델링에서 생성과 추정의 통합은 실제 애플리케이션(게임, 애니메이션, 3D 콘텐츠 생성)에서 필요로 하는 정밀성과 유연성을 동시에 달성하기 위해 중요하며, 이 두 태스크 간의 상호 이득(synergistic benefits)을 활용할 수 있기 때문이다.
• Approach: Diffusion 모델을 기반으로 dual-mode 학습 패러다임을 구성한다: (1) estimation mode에서 zero-initialized noise와 최대 diffusion timestep을 사용하여 MLE 추정, (2) generation mode에서 전통적인 diffusion 학습으로 생성 분포 학습. 추가적으로 estimation-guided training objective를 도입하여 in-the-wild 2D 비디오 데이터를 활용한다.

Achievement

Figure 1. GENMO unifies human motion estimation and generation in a single framework and supports diverse conditioning s

• 통합 프레임워크의 구현: 생성과 추정을 단일 모델에서 통합하여 여러 모션 태스크에서 SOTA 성능 달성 (global motion estimation, local motion estimation, music-to-dance generation)
• 유연한 아키텍처: 가변 길이 모션과 임의의 조합의 다중 모달 조건(text, audio, video, keypoints, keyframes)을 단일 feedforward diffusion pass에서 처리
• 상호 이득 입증: 생성 사전이 폐색(occlusion) 등 어려운 추정 조건에서 성능 향상, 다양한 비디오 데이터가 생성 표현성 개선
• 효율적인 데이터 활용: in-the-wild 2D 어노테이션 비디오를 직접 활용하여 3D 재구성 없이 다양성 향상

How

Figure 1. GENMO unifies human motion estimation and generation in a single framework and supports diverse conditioning s

• Diffusion 모델에 dual-mode 학습 패러다임 구현: estimation mode는 noisy motion을 zero-initialized noise에서 시작하여 조건 신호에 기반한 MLE 학습
• Estimation-guided training objective 도입으로 2D 비디오 어노테이션과 text 설명을 활용한 학습
• Multi-text attention과 condition mask를 통해 서로 다른 시간 구간의 임의의 조합 조건 처리
• 가변 길이 모션 시퀀스 처리 가능한 아키텍처 설계로 post-processing 단계 제거

Originality

• 모션 추정을 제약이 있는 모션 생성으로 재정의하는 새로운 관점 제시
• Dual-mode training paradigm을 통해 regression과 diffusion의 시너지 탐색
• Estimation-guided training objective로 in-the-wild 비디오 직접 활용, 기존의 noisy 3D 재구성 방식 개선
• 가변 길이 모션과 복수 모달 조건의 통합 처리 메커니즘

Limitation & Further Study

• 세부 정보 부족: 본문 발췌본이 제한적이어서 정량적 실험 결과, 비교 방법(baselines), 구체적 성능 수치에 대한 정보 부재
• 계산 효율성: Diffusion 기반 접근의 계산 비용에 대한 논의 부족, 다중 모달 조건 처리 시 inference 시간 분석 미흡
• 일반화 능력: 학습 데이터의 구성, 데이터셋 크기, 다양한 모션 카테고리에 대한 일반화 능력 평가 필요
• 후속 연구 방향: 더 복잡한 다중 인물 모션, 특수한 동작 카테고리, 실시간 애플리케이션으로의 확장 가능성 탐색 필요

Evaluation

총평: 본 논문은 인간 모션 생성과 추정을 통합하는 새로운 관점과 실용적인 솔루션을 제시하는 강력한 연구이다. Dual-mode training paradigm과 estimation-guided objective는 창의적이며, 다양한 조건 신호의 유연한 처리는 실제 애플리케이션에서 높은 가치를 가진다. 다만 상세한 정량적 평가와 계산 효율성 분석의 강화가 필요하다.