FlowPolicy: Enabling Fast and Robust 3D Flow-based Policy via Consistency Flow Matching for Robot Manipulation

Motivation

• Known: Diffusion Policy와 3D Diffusion Policy (DP3)는 시각 기반 모방 학습에서 효과적이지만, 다중 샘플링 단계로 인한 추론 비효율이 문제다. Flow Matching은 diffusion보다 수치적으로 안정적이며 Consistency Flow Matching은 일단계 생성을 가능하게 한다.
• Gap: 기존 Consistency Flow Matching은 복잡한 3D 시각 표현이 포함된 조건부 생성 능력이 미흡하며, 로봇 조작 작업에서 효율성과 정책 품질 간 균형을 달성하는 것이 미해결 과제다.
• Why: 로봇이 실시간으로 복잡한 조작 작업을 수행하려면 고속 정책 생성이 필수이고, 단일 단계 추론으로 고품질 행동을 생성할 수 있다면 실제 배포에서 실용성이 크게 향상된다.
• Approach: FlowPolicy는 velocity field의 자기 일관성을 정규화하여 flow dynamics를 개선하고, 3D point cloud 조건에서 noise에서 로봇 action으로의 직선 흐름을 정의하는 consistency flow matching을 적용한다.

Achievement

• 단일 단계 생성: 완전한 3D 조건 정보를 활용하여 한 번의 forward pass로 고품질 로봇 행동 생성 가능
• 추론 속도 향상: Adroit과 Metaworld에서 최대 7배의 추론 시간 단축 달성
• 경쟁력 있는 성능: 속도 개선에도 불구하고 DP3 등 최신 방법과 비교하여 평균 성공률에서 우수한 수준 유지
• 조건부 consistency flow matching의 첫 적용: 3D 로봇 조작 작업에서 처음으로 조건부 consistency flow matching 구현

How

Figure 2: Overall pipeline. The top section visualizes FlowPolicy, where a straight-line flow enables the fastest data t

• 3D point cloud를 compact 3D representation으로 인코딩하고 로봇 상태를 임베딩하여 조건부 정보 구성
• Velocity field의 자기 일관성을 정규화하여 서로 다른 시간 상태에서 같은 action space로의 직선 흐름 정의
• Consistency flow matching을 통해 noise distribution에서 policy distribution으로의 매핑을 직선 경로로 학습
• 다중 세그먼트 훈련으로 action 생성의 품질과 효율성 사이의 균형 달성
• 37개의 Adroit과 Metaworld 작업에서 광범위한 실험 검증

Originality

• 3D 시각 조건을 활용한 첫 번째 consistency flow matching 기반 로봇 정책 생성 프레임워크
• Velocity field의 자기 일관성 정규화를 통한 flow dynamics 개선이라는 새로운 기법 제안
• Diffusion model의 재귀적 특성을 피하고 direct ODE 정의를 통해 근본적인 효율성 향상
• Multi-segment training으로 accuracy-efficiency 트레이드오프를 체계적으로 해결

Limitation & Further Study

• 시뮬레이션 환경(Adroit, Metaworld)에서만 평가되었으며, 실제 로봇에서의 성능 검증 부재
• 단일 단계 생성으로 인한 정책 성능이 완벽하지 않을 수 있으며, 극도로 정밀한 조작에서의 한계 미언급
• Consistency flow matching의 조건부 생성이 복잡한 multi-modal 시나리오에서 어떻게 작동하는지 상세히 분석 필요
• 후속 연구로 실제 로봇 플랫폼에서의 검증, 다양한 시각 인코더의 영향 분석, 동적 환경에서의 적응성 개선 필요

Evaluation

총평: FlowPolicy는 consistency flow matching을 로봇 조작에 처음 적용하여 단일 추론 단계로 7배 빠른 정책 생성을 달성하는 독창적인 접근법이며, 실시간 로봇 제어의 실용성 향상에 중요한 기여를 한다.