Adaptive Symmetry Discovery for Dynamical System Identification

Motivation

• Known: 기존 system identification 이론은 단일 노이즈 궤적으로부터 linear 및 nonlinear dynamical system을 식별하는 조건과 sample complexity를 규명해왔으며, 알려진 symmetry가 generalization과 estimation에 이론적·경험적 이점을 준다는 것도 잘 알려져 있다. 또한 여러 heuristic한 symmetry discovery 방법들(Lie algebra 기반 CNN, infinitesimal generator 기반, latent space에서의 nonlinear group action 탐지 등)이 제안되어 왔다.
• Gap: 그러나 symmetry가 사전에 알려지지 않은 경우 dynamical system identification에서 symmetry discovery에 대한 provable한 정량적 보장(theoretical guarantee)은 부재하며, 대부분의 기존 방법은 모델 특화적이거나 heuristic에 그친다.
• Why: 과학적 발견 과정에서 관측되는 dynamical system은 물리 법칙에 의해 부과된 symmetry(equivariance)를 가지는 경우가 많으나 이 symmetry가 사전에 알려져 있지 않은 경우가 흔하므로, unknown group에 대해 symmetry를 자동으로 발견하면서도 이론적으로 최적의 sample efficiency(짧은 궤적 길이)를 보장하는 방법은 과학적 데이터로부터 법칙을 발견하는 데 중요한 기여를 한다.
• Approach: group representation theory와 Cayley graph의 expander 성질을 활용하여, 먼저 known symmetry 하에서 identification에 필요한 최적 궤적 길이를 정밀하게 특성화한 뒤, unknown finite group symmetry를 단일 궤적으로부터 학습하여 identification 절차에 통합하는 adaptive 방법을 제안한다.

Achievement

Figure 1. Dimension of the feasible solution set as a function of trajectory length.

1. Known symmetry 하 식별 개선의 정밀한 특성화: symmetry group이 알려진 경우 generic한 세팅보다 훨씬 짧은 단일 궤적으로 시스템을 식별할 수 있음을 보이고 이 개선폭을 정량적으로 규명했다.
2. Adaptive symmetry discovery 방법 제안: 단일 궤적으로부터 unknown finite symmetry group을 직접 학습하여 identification 절차에 통합하는 방법을 제안했다.
3. 최적 궤적 길이 달성: 제안된 automatic discovery 방법이 known-symmetry 세팅과 동일한 optimal trajectory length를 달성함을 보여, mild condition 하에서 symmetry discovery의 overhead가 무시할 만함을 증명했다.
4. 새로운 이론적 도구 도입: group representation theory와 Cayley graph의 expander property를 dynamical system symmetry 연구에 새롭게 적용하여 독립적인 이론적 가치를 갖는 프레임워크를 제시했다.

How

Figure 1. Dimension of the feasible solution set as a function of trajectory length.

• 이산시간 dynamical system xt+1 = f(xt)을 형식화하고, f가 unknown finite group에 대해 equivariant하다고 가정
• 먼저 known symmetry group에 대한 identification에서 feasible solution set의 dimension을 궤적 길이의 함수로 분석 (Figure 1 참고)
• group representation theory를 활용해 symmetry가 부과하는 제약(equivariance constraint)이 feasible solution space를 얼마나 축소시키는지 규명
• unknown symmetry group을 학습하기 위해 Cayley graph의 generating set과 expansion(expander graph) 성질을 활용한 새로운 알고리즘적 정식화를 제안
• 학습된 symmetry group을 identification 절차에 통합하여, known-symmetry 세팅과 동일한 optimal trajectory length를 달성함을 이론적으로 증명

Originality

• Dynamical system identification과 automatic symmetry discovery를 동시에 다루는 최초의 이론적 프레임워크 중 하나로, 기존 heuristic 방법들과 달리 provable quantitative guarantee를 제공
• Group representation theory와 Cayley graph의 expander property를 dynamical system symmetry 연구에 새롭게 적용한 점이 독창적이며 이 결합 자체가 독립적인 이론적 기여로 제시됨
• Single trajectory(단일 궤적) 및 noiseless 세팅에 집중함으로써 symmetry의 근본적 역할을 통계적 노이즈 문제와 분리하여 규명하는 접근 방식이 신선함
• 기존 canonicalization, frame averaging, data augmentation 등의 symmetry 활용 패러다임과 달리, generating set과 expansion property에 기반한 새로운 접근을 제시

Limitation & Further Study

• Noiseless 단일 궤적 세팅에 국한되어 있어, 실제 관측 데이터에 존재하는 noise를 고려한 확장이 필요함
• Finite group에 초점을 맞추고 있어 continuous Lie group symmetry로의 확장 가능성 및 이론적 난이도에 대한 논의가 제한적일 수 있음
• 제안된 방법의 실증적(empirical) 검증이나 실제 물리 시스템 데이터에 대한 실험적 결과가 충분히 제시되었는지 본문 발췌만으로는 확인이 어려움
• 후속 연구로는 noisy trajectory 세팅으로의 확장, continuous group으로의 일반화, 그리고 multiple trajectory 세팅에서의 symmetry discovery 연구가 기대됨

Evaluation

총평: 이 논문은 dynamical system identification과 symmetry discovery를 이론적으로 결합한 참신하고 견고한 연구로, group representation theory와 Cayley graph expander 이론을 활용한 정량적 보장은 학계에 중요한 기여를 한다고 평가된다. 다만 noiseless 단일 궤적이라는 이상화된 세팅에서의 결과이므로 실제 응용으로의 확장 가능성에 대한 추가 검증이 필요하다.