BFMTrack: Latent Sequence Optimization for Physics-Based Motion Tracking with Behavioral Foundation Models

Motivation

• Known: Physics-based motion tracking은 animation과 robotics 분야의 오랜 연구 주제로, DeepMimic과 같은 clip-specific 정책부터 다중 전문가(multiple experts), model-based 접근, 학습된 motion priors, diffusion-based policies에 이르기까지 다양한 방법들이 제안되었다. 또한 unsupervised reinforcement learning과 Forward-Backward framework를 기반으로 한 BFM 연구도 진행되고 있다.
• Gap: 기존 BFM 방법들은 moving-window-averaging을 통해 reference 동작을 단일 latent으로 압축하지만, 이는 큰 윈도우에서는 빠른 전환을 놓치고 작은 윈도우에서는 anticipatory movement를 위한 충분한 문맥을 제공하지 못하는 근본적인 coherence-precision 트레이드오프 문제를 갖고 있다. 또한 dense motion 추적을 넘어 sparse keyframe 추적에는 적용하기 어렵다.
• Why: Motion tracking은 시간에 따라 변하는 목표(time-varying objectives)를 다루어야 하는 비정상적(non-stationary) 문제이며, BFM의 latent space가 이를 직접 지원하지 못해 새로운 해결 방법이 필요하다. 동시에 현실의 로봇 배포까지 고려하면 reward engineering 없이 물리적으로 타당한 motion을 추적할 수 있는 일반적인 방법이 필요하다.
• Approach: 제안 방법은 두 단계로 구성된다: (1) Forward-Backward framework를 통해 BFM을 사전학습하고, (2) LSO 단계에서 주어진 reference motion에 대해 backward map을 사용해 keyframe을 latent space로 매핑한 후, 시뮬레이션 롤아웃과 policy gradient를 결합하여 시간적으로 상관된 noise를 모델링한 latent 시퀀스를 최적화한다.

Achievement

Fig. 1. Our method repurposes a trained Behavioral Foundation Model (BFM) for motion tracking by optimizing a temporal s

• Dense motion tracking: 기존 moving-window-averaging baseline보다 우수한 추적 성능 달성
• Sparse keyframe tracking: 과도하게 지정되지 않은 keyframe만으로도 물리 기반 inbetweening 수행
• 실제 로봇 배포: SMPL humanoid 시뮬레이션에서의 검증 후 실제 humanoid robot에 sim-to-real 배포 성공
• 보상 엔지니어링 불필요: reward tuning 없이 자체 포함된 최적화 루프로 동작

How

Fig. 3. Lookahead Horizon on ER Baseline. Tracking performance peaks

• Latent 시퀀스를 시간적으로 상관된 noise(temporally correlated noise)로 모델링하여 smooth하고 coherent한 trajectory 유도
• Simulator rollout을 통해 물리 시뮬레이션의 영향 반영
• Policy gradient 기반 최적화로 전체 latent trajectory 동시 최적화
• Forward-Backward framework의 backward map을 활용한 초기화
• Dense tracking과 sparse keyframing 모두에 적용 가능한 일반화된 접근

Originality

• Latent space에서 시퀀스 전체를 최적화하는 것은 기존 방법들(LoLA, OpTI-BFM, BFM-Zero)이 단일 latent만 최적화한 것과 구별됨
• Moving-window heuristic의 근본적인 coherence-precision 트레이드오프를 temporal correlation modeling으로 해결
• Sparse keyframe tracking을 BFM으로 처음 수행하여 새로운 적용 영역 개척

Limitation & Further Study

• 계산 비용: latent sequence 최적화의 수렴 속도와 최적화 반복 횟수에 대한 상세한 분석 부족
• 방법의 일반화: SMPL humanoid에서의 성공이 다양한 morphology의 로봇에 얼마나 잘 전이되는지 미명시
• Temporal correlation의 모델링 선택(noise 구조)에 대한 이론적 근거나 ablation study 상세 설명 부족
• Sparse keyframe tracking 성능의 quantitative 평가 결과 제시 부족
• 후속 연구: 더 복잡한 로봇 형태에 대한 일반화, 실시간 제약 하에서의 최적화 가속, 부분 관찰(partial observation) 시나리오에 대한 확장

Evaluation

총평: 본 논문은 BFM의 latent space를 motion tracking 문제로 확장하는 실질적이고 창의적인 솔루션을 제시하며, dense tracking과 sparse keyframe tracking을 통합적으로 다루고 실제 로봇 배포로 검증했다는 점에서 높은 가치를 지닌다. 다만 계산 효율성, 다양한 morphology에 대한 일반화, sparse keyframe 추적의 정량적 평가 등에서 추가 분석이 필요하다.