DSENet: A Novel Dual-Stream Enhancement Network for Multi-Scale Non-Stationary Time Series Forecasting

Motivation

• Known: 기존 dual-stream 시계열 예측 모델들은 global branch와 local branch를 분리하여 장기 트렌드와 국소 변동을 각각 모델링하려 시도해왔으며, Mamba 기반 state-space model과 Transformer 기반 attention 모델 각각이 장기 의존성 및 국소 패턴 모델링에서 상호보완적 강점을 갖는다는 사실이 알려져 있다.
• Gap: 기존 dual-stream 아키텍처는 global/local branch를 구조적으로 분리했음에도 불구하고 두 branch가 실제로는 유사한 표현을 학습하여 강한 feature coupling이 발생하고, 이로 인해 시퀀스 길이가 길어질수록 국소 급변에 대한 민감도가 저하되는 문제가 여전히 존재한다는 점이 그동안 간과되어 왔다.
• Why: 혈당 등 의료 신호에서 국소적 급변(예: 식후 고혈당, 운동유발 저혈당)은 임상적으로 위험한 이벤트와 직결되므로, 장기 시계열에서 전역 트렌드에 국소 이상 신호가 묻히지 않고 정확히 검출되는 것은 실제 의료 응용에서 매우 중요한 문제이다.
• Approach: 전역 스트림과 국소 스트림을 명시적으로 강화하여 두 표현 간 구조적 차이를 인위적으로 확대함으로써 상호 간섭을 최소화하는 Dual-Stream Enhancement Mechanism을 제안하고, 이를 구현한 DSENet(글로벌 스트림에 DFB-Mamba, 로컬 스트림에 LoRE 모듈, DSSAF를 통한 동적 융합)을 설계한다.

Achievement

Figure 1. (a) Comparision MAE results of DCLP5 dataset with

1. CKA 분석을 통한 병목 규명: Centered Kernel Alignment 시각화를 통해 기존 Vanilla Transformer-Vanilla Mamba dual-stream 구조에서 global-local feature가 강하게 결합되어 있음을 실증적으로 보였다.
2. Dual-Stream Enhancement Mechanism 제안: global/local 패턴 간 표현 차이를 아키텍처 수준에서 구조적으로 확대하여 상호 간섭(약한 상호작용)을 유도하는 새로운 메커니즘을 최초로 제안하였다.
3. DSENet 아키텍처 구축: DFB-Mamba(저역통과 필터 역할), LoRE 모듈(고역통과 필터 역할), DSSAF 동적 융합 알고리즘으로 구성된 새로운 혈당 예측 baseline 모델을 제시하였다.
4. SOTA 성능 및 낮은 연산 비용 달성: 다수의 공개 혈당 데이터셋에서 SOTA에 근접하거나 이를 상회하는 성능을 보였고, linear computational complexity와 낮은 메모리 사용량으로 실용적 적용 가능성을 입증하였다.

How

Figure 3. The overall structure of the DSENet. It has two enhancement streams: global stream and local stream. DSSAF Alg

• 문제 정의: look-back window L로부터 미래 F 스텝을 예측하는 표준 시계열 예측 문제 설정.
• 동기 분석: DLinear, Transformer 계열 등 single-branch 모델의 한계를 지적하고, Mamba와 Transformer가 각각 global/local 패턴에 강점을 가짐을 CKA로 검증(Figure 2a, 2b).
• 문제 진단: Vanilla Transformer+Vanilla Mamba로 구성한 단순 dual-stream 구조에서도 여전히 feature coupling이 심함을 CKA로 확인(Figure 2c).
• 모델 설계: global stream은 Dynamic Fusion Bidirectional Mamba(DFB-Mamba)로 강화하여 저역통과 필터처럼 전역 트렌드에 집중하고 국소 교란을 억제하도록 함(Figure 4).
• local stream은 Low-Rank Enhancement(LoRE) 모듈로 강화하여 저랭크 국소 특징을 효과적으로 추출, 고역통과 필터처럼 급변 민감도를 향상.
• 두 스트림의 출력을 DSSAF(Dual-Stream Selective Adaptive Fusion으로 추정) 알고리즘으로 동적 융합.
• 다수의 공개 혈당 데이터셋(DCLP5, OhioT1DM 등)에서 zero-shot 및 multi-scale 실험으로 검증(Figure 1, Figure 5).

Originality

• 기존 연구들이 dual-stream 구조 자체(분리)에 초점을 맞춘 것과 달리, 분리된 두 stream이 실제로는 유사한 표현을 학습한다는 feature coupling 문제를 CKA를 통해 최초로 명시적으로 규명함.
• global-local 패턴 간 차이를 오히려 구조적으로 확대(enhance)하여 약한 상호작용을 유도한다는 반직관적이면서도 새로운 설계 철학(Dual-Stream Enhancement Mechanism)을 제시.
• Mamba를 저역통과 필터, Transformer 계열 국소 모듈(LoRE)을 고역통과 필터로 비유하는 신호처리적 해석을 도입해 각 스트림의 역할을 명확히 함.
• 혈당 예측이라는 특정 의료 도메인에 특화된 새로운 baseline을 제시하면서도 범용적 시계열 예측에 적용 가능성을 주장.

Limitation & Further Study

• 발췌된 본문에서 DSSAF, LoRE, DFB-Mamba의 구체적 수식 및 이론적 근거가 충분히 제시되지 않아 메커니즘의 엄밀성 검증이 어려움.
• "구조적으로 차이를 확대한다"는 개념이 정성적 CKA 시각화에 주로 의존하고 있어, 이 확대가 실제로 최적의 정도인지, 과도한 분리로 인한 정보 손실 위험은 없는지에 대한 정량적 분석이 부족함.
• 혈당 예측이라는 특정 도메인 중심으로 검증되었으며, 다른 도메인(기후, 금융 등)에 대한 일반화 가능성은 abstract에서만 주장될 뿐 실험적 근거가 제한적임.
• 후속 연구로는 Dual-Stream Enhancement Mechanism의 이론적 정당화(예: 정보이론적 관점에서의 disentanglement 보장), 다양한 도메인에서의 일반화 검증, 그리고 enhancement 정도를 자동으로 조절하는 방법 등이 필요해 보임.

Evaluation

총평: 기존 dual-stream 시계열 모델의 숨겨진 병목(feature coupling)을 CKA로 명확히 규명하고 이를 해소하는 참신한 enhancement 메커니즘을 제안한 점이 인상적이나, 발췌된 본문만으로는 핵심 모듈들의 이론적·수식적 엄밀성과 다른 도메인으로의 일반화 근거가 다소 부족해 보인다.