Flexible Motion In-betweening with Diffusion Models

Motivation

• Known: RNN과 Transformer 기반 방법들이 motion in-betweening을 위해 제안되었으나, 고정된 keyframe 패턴으로 제한되거나 diffusion model 기반 방법들도 전체 관절 궤적 지정 시 foot sliding 등의 부자연스러운 움직임을 보인다.
• Gap: 기존 diffusion 기반 방법들은 sparse temporal keyframe이나 부분적 pose 지정을 동시에 지원하거나, 다양한 keyframe 배치 패턴과 텍스트 조건을 유연하게 처리하는 통합 모델이 없다.
• Why: Motion in-betweening은 character animation에서 노동집약적인 핵심 작업이며, 유연한 제약 조건 처리와 다양성이 동시에 요구되는 실무 친화적 솔루션이 필요하다.
• Approach: 마스크된 조건부 diffusion model을 사용하여 무작위로 샘플링된 keyframe과 관절, 그리고 관찰된 keyframe과 특성을 나타내는 마스크로 학습함으로써 다양한 motion in-betweening 시나리오를 수용한다.

Achievement

Figure 2: Conditional Motion Diffusion In-betweening (CondMDI) overview. The model is fed a noisy motion sequence x𝑡,

• 유연한 제약 처리: 임의의 밀집 또는 희소 keyframe 배치, 부분적 keyframe 제약, 텍스트 조건을 통합 모델에서 지원
• 높은 품질 생성: HumanML3D 데이터셋에서 keyframe 제약을 만족하면서도 자연스럽고 다양한 모션 생성
• 빠른 추론 속도: 다른 diffusion 기반 방법 대비 향상된 추론 효율성
• 포괄적 비교: imputation과 reconstruction guidance 등 대체 방법론 대비 성능 평가

How

Figure 2: Conditional Motion Diffusion In-betweening (CondMDI) overview. The model is fed a noisy motion sequence x𝑡,

• 마스크 기반 조건부 diffusion model 아키텍처로 sparse temporal keyframe과 partial pose를 동시에 처리
• 학습 시 모든 가능한 motion in-betweening 시나리오의 공간에서 sampling하여 유연성 확보
• Text conditioning을 HumanML3D의 text annotation과 함께 통합
• Inference time에 guidance와 imputation 기반 접근법 비교 평가
• Root trajectory 지정 가능하도록 global 제약 조건 지원

Originality

• 기존 방법과 달리 고정된 keyframe 패턴이 아닌 임의의 dense-or-sparse 배치를 통합 모델에서 지원
• Partial keyframe (부분 관절만 지정)을 text conditioning과 함께 처리하는 유일한 방법
• Masked diffusion 프레임워크를 motion in-betweening에 적용하여 inference-time 유연성 극대화
• Global spatial constraint와 sparse temporal keyframe을 동시에 처리하는 새로운 솔루션

Limitation & Further Study

• 평가가 HumanML3D 데이터셋에만 국한되어 있으며, 다른 motion capture 데이터셋에서의 일반화 가능성 검증 부족
• Keyframe 정확도와 motion diversity 간의 trade-off 분석이 제한적
• 실제 animation studio 워크플로우에서의 사용성 평가 및 user study 결여
• 복잡한 multi-person interaction이나 물체 상호작용이 포함된 시나리오에 대한 확장성 미검증
• Guidance 방법의 computational cost와 성능 개선 정도에 대한 상세 분석 필요

Evaluation

총평: CondMDI는 masked conditional diffusion model을 통해 motion in-betweening의 오랜 한계를 효과적으로 해결하며, 유연한 제약 처리와 텍스트 조건의 통합으로 실무적 가치가 높고 기술적으로도 우수한 기여를 제시한다.