Once-for-All: Scalable Simultaneous Forecasting via Equilibrium State Estimation

Motivation

• Known: 기존 시계열 예측 방법들은 각 시스템(또는 변수)을 개별적으로 순차 예측하거나 multi-variate/multi-target 방식으로 단일 시스템 내 변수를 함께 다루며, Nash equilibrium이나 deep equilibrium model 등 equilibrium 개념은 게임이론, 경제학, 딥러닝의 메모리 효율적 학습 등에 활용되어 왔다.
• Gap: 시스템 수가 증가할수록 개별 예측은 반복적이고 비용이 크며 시스템 간 상호작용을 놓치기 쉬운데, 다중 상호작용 시스템을 통합적으로 한 번에 예측하는 방법론은 부재했고, equilibrium 개념이 예측(prediction) 자체에 활용된 사례도 거의 없었다.
• Why: 경제(환율), 보건(전염병 확산) 등 여러 상호 연관된 시스템을 동시에 정확하고 빠르게 예측해야 하는 실세계 문제에서, 시스템 수 증가에도 선형 시간복잡도로 확장 가능하면서 기존 SOTA 예측기와 결합 가능한 범용적 가속 메커니즘을 제공한다는 점에서 실용적 중요성이 크다.
• Approach: 여러 시스템의 attribute를 분석해 시스템 전체가 도달하려는 equilibrium state를 추정하는 Equilibrium State Estimator와, 현재 상태와 추정된 equilibrium 간의 차이(방향과 크기)를 바탕으로 각 시스템의 미래 상태를 산출하는 Predictor의 2단계 구조로 ESE를 설계하였다.

Achievement

Figure 3. Complexity analysis of ESE. (Left): ESE’s cost relative to the number of regions and the number of days for CO

1. ESE 패러다임 제안: 여러 상호작용 시스템을 한 번의 pass로 동시에 예측하는 새로운 multi-prediction 메커니즘을 제시하고, 이를 Definition 1-3 및 Constraint 1-2로 수학적으로 정식화했다.
2. 정확도와 속도의 동시 확보: 합성 데이터 및 실세계 데이터(exchange rate, COVID-19)에서 ESE가 SOTA 방법과 동등하거나 그 이상의 정확도를 보이면서도 훨씬 빠른 속도를 달성했다.
3. 기존 예측기와의 결합을 통한 가속: ESE를 conventional predictor와 결합하여 기존 모델의 정확도를 유지하면서 10-70배의 속도 향상(speedup)을 달성했다.
4. 선형 시간복잡도에 따른 확장성: 시스템 수가 증가함에 따라 ESE가 SOTA 대비 훨씬 우수한 확장성을 보였으며, 다양한 perturbation 하에서도 강건함(robustness)을 유지했다.

How

Figure 1. Illustration of three systems (A, B, and C) reaching

• 다중 시스템 앙상블 M S = {s1,...,sn}을 정의하고, 각 시스템의 목표값 비중 γi = si/M S과 그 변화량 Δγi 간의 상호보완적 관계(Eq. 1)를 이용해 시스템 간 상호작용을 비율 변화로 단순화·통일한다.
• 모든 γi의 합이 1이고 모든 Δγi의 합이 0이라는 두 가지 제약(Constraints 1, 2)을 부여하여 앙상블 구성원의 일관성을 보장한다.
• 각 시스템이 동일한 attribute 집합 A를 가진다고 가정하고, Nash equilibrium에서 착안하여 attribute 상호작용 분석을 통해 equilibrium compatibility U(·)가 최대화되는 attribute 값들 A*i를 추정, 이를 Equilibrium State로 정의한다.
• 추정된 equilibrium state와 현재 상태의 차이(방향과 크기)를 이용해 Predictor가 모든 시스템의 미래 상태를 한 번의 pass로 산출하며, 시간이 지나며 균형이 재조정되는 과정을 반영해 예측을 수행한다(Fig. 2 참고).
• Synthetic dataset과 currency exchange rate, COVID-19 확산 데이터 등 실세계 데이터셋을 이용해 입력 길이, 예측 horizon, granularity를 다양화하여 실험을 수행하고, 기존 predictor와 결합했을 때의 성능 및 속도 향상을 측정한다.

Originality

• 기존 multi-variate, multi-target, multi-compartment 예측과 명확히 구분되는 "여러 개의 개별 시스템을 동시에 예측"하는 새로운 문제 설정(multi-system simultaneous forecasting)을 제안한다.
• Nash equilibrium 등 게임이론적 equilibrium 개념을 시계열 예측(forecasting)이라는 새로운 응용 영역에 도입하여, equilibrium을 "예측적 도구"로 재해석한 점이 독창적이다.
• 시스템 간 상호작용을 비율 변화(proportional change) 형태로 단순화하고 제약조건(합이 1, 변화량 합이 0)을 부여함으로써 목표 변수의 종류나 스케일에 무관한 통일된 수학적 프레임워크를 구축했다.
• 독립 모델로도, 기존 SOTA predictor와 결합하는 plug-in 모듈로도 사용 가능한 유연한 설계를 제시했다.

Limitation & Further Study

• 모든 시스템이 동일한 attribute 집합 A를 공유해야 한다는 가정(Definition 3)은 이질적인 attribute를 가진 실제 시스템들에는 적용이 제한적일 수 있다.
• 앙상블 구성원이 고정되어야 한다는 제약(시스템 추가/제거 불가)은 동적으로 시스템 수가 변화하는 실세계 시나리오(예: 신규 지역 편입, 국가 추가)에 대한 적용성을 떨어뜨릴 수 있다.
• equilibrium compatibility U(·)의 구체적 정의와 추정 방법이 발췌된 부분만으로는 충분히 검증되지 않아, 이론적 보장(수렴성, 유일성 등)에 대한 추가 분석이 필요하다.
• 후속 연구로는 이질적 attribute를 가진 시스템 간 예측, 동적으로 변화하는 앙상블 크기에 대한 확장, 그리고 더 다양한 도메인(예: 금융 포트폴리오, 교통망)으로의 적용이 기대된다.

Evaluation

총평: 다중 상호작용 시스템을 equilibrium 개념으로 통합 예측하는 참신한 패러다임을 제시하고 속도와 정확도 양면에서 실질적 이득을 실험적으로 입증한 점이 인상적이나, attribute 동질성 가정과 고정된 앙상블 구성이라는 제약의 실제 적용 범위에 대한 추가 논의가 필요하다.