Embedding Hybrid Systems into Continuous Latent Vector Fields

Motivation

• Known: hybrid system은 continuous-time vector field와 discrete state reset을 결합하여 legged locomotion, task-and-motion planning 등 다양한 cyber-physical system을 모델링할 수 있으며, Simic et al.(2005)의 hybrifold 이론과 Whitney Embedding Theorem을 활용한 CHyLL 알고리즘(Teng et al., 2025)을 통해 discontinuous한 state space를 continuous manifold로 재구성할 수 있음이 알려져 있다.
• Gap: 기존 CHyLL 및 hybrifold 이론은 latent space 자체의 연속성만 보장할 뿐, 그 위에 정의되는 vector field가 연속적이라는 것은 보장하지 못해 differentiable optimization에 여전히 well-posed하지 않은 문제가 있었다.
• Why: hybrid system 학습에서 state reset에 의한 불연속성은 gradient 기반 최적화(backpropagation)를 어렵게 만드는 근본 원인인데, 만약 intrinsically discontinuous한 시스템도 extrinsic하게는 연속적인 vector field로 표현 가능함을 이론적으로 보장할 수 있다면, Neural ODE 계열 방법으로 hybrid dynamics를 안정적으로 학습할 수 있는 근거를 마련할 수 있다.
• Approach: transversality condition과 parametric transversality theorem을 이용하여 m>2n일 때 hybrid system이 embedded image 위에서 연속적인 vector field를 갖도록 embedding될 수 있음을 증명하고, 이 존재성 정리에 기반해 latent 공간과 관측 공간 모두에서 consistency loss를 갖는 latent Neural ODE를 학습 알고리즘(CHyLL++)으로 제시한다.

Achievement

Figure 5: The continuous latent trajectories (m = 12) of the 3D Bouncing Ball.

1. 존재성 정리 증명: n차원 hybrid system이 m>2n인 m차원 Euclidean space에 embedding되어 embedded image 위에 연속적인 vector field를 가질 수 있음을 transversality 기반으로 증명하였다.
2. CHyLL++ 알고리즘 제안: latent Neural ODE에 latent space와 state(관측) space 양쪽에서의 consistency loss를 결합하여 hybrid system의 flow를 정확히 복원하는 학습 프레임워크를 개발하였다.
3. 다양한 geometry에서의 실험적 우위 입증: 3D Bouncing Ball 등 다양한 topology를 가진 hybrid system에 대한 실험 및 ablation을 통해 제안 방법이 기존 방법(Neural Event ODE, mode-selector 기반 방법 등) 대비 시계열 데이터만으로 더 정확하게 hybrid dynamics를 학습함을 보였다.

How

Figure 3: The 2-D embedding of a 1-D hybrid system. We find

• 이론적 구성: hybrid system을 M, S(guard), V(dynamics), r(reset)로 이루어진 4-tuple로 정의하고, Simic et al.(2005)의 hybrifold(MH = M/∼) 개념을 이용해 discontinuous state space를 하나의 topological manifold로 재구성
• Transversality 기반 증명: Whitney Embedding Theorem과 transversality condition(Definition 4), Preimage Theorem(Theorem 3), Parametric Transversality Theorem(Theorem 4)을 활용하여, 원치 않는 특이점 집합 Z에 대해 f⁻¹(Z)의 차원이 음수가 되도록 하여(m>2n일 때) 그러한 특이점이 generic하게 존재하지 않음을 증명
• CHyLL++ 알고리즘: latent Neural ODE로 embedded continuous vector field를 학습하되, latent space 상의 궤적 일관성과 원래 state space에서의 관측 일관성을 모두 반영하는 consistency loss를 결합해 학습
• 실험적 검증: 1D toy hybrid system의 2D embedding, 3D Bouncing Ball in a sink 등 다양한 geometry에 대해 latent trajectory(m=12) 학습 및 시각화를 통해 방법을 검증하고 ablation으로 consistency loss의 기여를 분석

Originality

• hybrid system의 discontinuous flow가 m>2n 조건 하에서 extrinsically continuous한 vector field로 embedding 가능하다는 것을 differential geometry의 transversality theorem을 이용해 최초로 엄밀히 증명한 점이 독창적이다.
• 기존 CHyLL 연구가 latent manifold의 연속성만 다루었던 것에서 나아가 vector field 자체의 연속성까지 이론적으로 확장한 점에서 후속 연구로서의 독창성을 지닌다.
• 이론적 존재성 증명을 실제 학습 가능한 알고리즘(latent space와 state space에서의 이중 consistency loss)으로 구체화하여 이론과 실무를 연결한 점이 돋보인다.

Limitation & Further Study

• m>2n 조건은 존재성을 보장하는 충분조건일 뿐, 실제 학습에 필요한 최소 latent dimension을 어떻게 선택해야 하는지에 대한 실용적 가이드라인이 부족해 보인다.
• 증명이 generic property(즉, "대부분의" 경우)에 기반하므로, 특정 병리적인 hybrid system 인스턴스에서는 여전히 문제가 발생할 가능성을 배제하지 못한다.
• 실험이 비교적 단순한 시스템(Bouncing Ball 등)에 국한되어 있어, 고차원 실제 로봇 시스템이나 복잡한 mode 수를 가진 시스템으로의 확장성 검증이 추가로 필요하다.
• Assumption 1-3(compactness, transversal intersection 등)과 같은 가정이 실제 물리 시스템에서 항상 성립하는지에 대한 논의가 제한적이다.

Evaluation

총평: hybrid system의 discontinuous dynamics를 continuous vector field로 embedding할 수 있다는 존재성을 미분기하학적으로 엄밀히 증명하고 이를 실용적 학습 알고리즘으로 구현한 견고한 이론-실무 결합 연구이며, hybrid system 학습 분야에 중요한 이론적 토대를 제공한다.