Physics from Video: Identifiability of Time-Invariant Second-Order ODEs under Minimal Trajectory Conditions

Motivation

• Known: 기존 연구들은 autoencoder-decoder 또는 differentiable rendering 기반 analysis-by-synthesis 방식으로 video로부터 물리 파라미터를 추정해왔으며, 최근 LPFV와 같은 decoder-free latent-space 접근이 pixel reconstruction 의존을 줄이는 방향으로 제안되었다.
• Gap: reconstruction 기반 방법은 observation model(조명, 텍스처, 배경 등)이 잘못된 dynamics를 보상할 수 있어 identifiability가 보장되지 않으며, decoder-free 방식조차 latent coordinate system이 임의의 reparameterization까지만 정의되어 학습된 latent가 실제 물리 상태와 일치한다는 이론적 보장이 부재하다.
• Why: video를 신뢰할 수 있는 물리 진단 도구로 활용하려면, 해석 가능한 물리 상수(damping, stiffness 등)가 raw video로부터 고유하게 복원됨을 보장하는 formal identifiability 조건을 규명하는 것이 필수적이며, 이는 인프라 모니터링, 디지털 헬스, 로보틱스 등 실용적 응용의 신뢰성을 뒷받침한다.
• Approach: encoder-only, decoder-free 설정에서 homogeneous second-order linear time-invariant ODE z''(t) + γ1z'(t) + γ0z(t) = 0을 대상으로, level-set slope-coverage 조건을 통해 학습된 latent space가 true physical state에 locally affine함을 증명하고 이를 통해 parameter recovery의 유일성을 확립한다.

Achievement

1. 최초의 structural identifiability 이론: encoder-only, decoder-free 프레임워크에서 raw video만으로 continuous-time 물리 파라미터를 학습할 때의 최초 structural identifiability guarantee를 제공한다.
2. damping regime별 최소 데이터 요건 규명: underdamped 시스템은 단일 video clip만으로 identifiable하나, 다른 damping regime(overdamped, critically damped 등)은 세 개의 diverse trajectory가 필요함을 이론적으로 규명한다.
3. 비점근적 유한샘플 오차 경계 도출: measurement noise, finite-difference bias, design conditioning의 기여를 분리한 non-asymptotic finite-sample error bound를 유도한다.
4. variance-floor regularizer 제안: decoder-free objective의 latent collapse를 방지하고 conditioning을 개선하는 간단한 정규화 기법을 제안하고 synthetic 및 real-world 데이터에서 검증한다.

How

• 문제를 encoder Eϕ가 video frame xk를 scalar latent ẑk로 매핑하는 구조로 설정하고, centered finite-difference stencil을 사용해 ẑ'k, ẑ''k를 계산한다 (Eq. (2))
• 잔차 손실 LODE로 second-order linear ODE (Eq. (1))를 latent space에서 직접 강제하며, 이는 LPFV의 one-sided Euler 방식 대비 discretization bias를 O(∆t)에서 O(∆t²)로 낮춘다
• level-set slope-coverage 조건을 정의하여 latent space가 true physical state에 locally affine함을 보장하는 충분조건으로 제시하고, 이를 통해 파라미터의 unique recovery를 증명
• damping regime(underdamped, overdamped, critically damped 등)별로 필요한 trajectory 수를 이론적으로 도출 (단일 clip vs. 세 개의 diverse trajectory)
• latent collapse를 방지하기 위한 variance-floor regularizer Lvar를 도입하여 conditioning을 개선
• UNIQUENESS CHECK라는 trajectory-level 진단 절차를 제안하여 관측된 clip/window가 coverage 조건을 만족하는지 검증(CERTIFIED 여부 판정)
• synthetic pendulum 데이터 및 real-world 데이터에서 검증

Originality

• decoder를 완전히 제거한 encoder-only 설정에서 latent space의 identifiability를 pixel-level 제약 없이 formal하게 규명한 최초의 이론적 시도
• level-set slope-coverage라는 새로운 조건을 도입해 latent-to-physical-state의 local affine 관계를 증명하는 수학적 프레임워크 구축
• damping regime에 따라 필요한 trajectory 수(1개 vs 3개)가 달라진다는 세밀한 데이터 요구사항 특성화는 기존 system identification 문헌에서 다루지 않은 새로운 결과
• LPFV 대비 centered finite-difference와 variance-floor regularizer라는 구체적 방법론 개선을 통해 이론과 실무를 연결

Limitation & Further Study

• homogeneous second-order linear time-invariant ODE라는 비교적 단순한 물리 모델에 국한되어 있어, 비선형 시스템이나 다자유도(multi-DOF) 시스템으로의 일반화 가능성이 불확실함
• 이론이 요구하는 slope-coverage 조건이 실제 video에서 항상 만족되는지, 혹은 이를 자동으로 검증/보장하는 실용적 알고리즘의 강건성은 추가 검증이 필요함
• real-world 데이터 실험이 제한적(발췌 내용상 pendulum 등 단순 시스템 위주)이어서 더 복잡한 실제 물리 시스템에 대한 확장 실험이 후속 연구로 필요함
• scalar latent 가정이 명시적으로 언급되는데, 다차원 latent state로의 확장 시 identifiability 결과가 어떻게 변하는지 추가 규명이 요구됨

Evaluation

총평: video 기반 물리 파라미터 추정에서 이론적 공백이었던 decoder-free identifiability 문제를 최초로 formal하게 다루었다는 점에서 학술적 기여가 크며, damping regime별 최소 데이터 요건이라는 실용적으로 유용한 결과를 도출한 점이 인상적이다. 다만 검증 범위가 비교적 단순한 시스템에 국한되어 있어 더 복잡한 실세계 시나리오로의 확장성 검증이 후속 과제로 남는다.