WaveFormer: Wavelet Embedding Transformer for Biomedical Signals

Motivation

• Known: Transformer 아키텍처는 시계열 분류에 강력하지만 자가주의 메커니즘의 순열 불변성으로 인해 위치 정보가 필수적이며, 표준 입력 임베딩은 원본 시간 영역 값에 선형 투영을 적용하여 주파수 대역 정보를 명시적으로 표현하지 못한다.
• Gap: 기존 웨이블릿 기반 아키텍처는 특징 추출, 주의 다운샘플링, 전처리 등에서 웨이블릿을 개별적으로 사용하며, 표현 파이프라인의 모든 단계에 걸쳐 다중 스케일 분석을 체계적으로 통합하지 못한다.
• Why: EEG, ECG 등 생체신호는 서로 다른 생리적 의미를 갖는 여러 주파수 대역에 판별 정보가 분포되어 있으므로, 명시적 주파수 분해를 통해 모델이 암묵적으로 학습해야 하는 계산 비용을 줄이고 수렴을 개선할 수 있다.
• Approach: DWT를 통해 시간 영역과 주파수 영역 정보를 모두 포함하는 토큰을 구성하고, Dynamic Wavelet Positional Encoding으로 신호별 시간 구조에 적응하는 위치 임베딩을 생성하여 일관된 다중 스케일 표현을 보장한다.

Achievement

Figure 4 presents a comprehensive analysis of WaveFormer’s performance char-

• 8개 데이터셋에서 경쟁력 있는 성능 달성: 인간 활동 인식 및 뇌신호 분석에 걸쳐 50~3000 타임스텝, 1~144 채널 범위의 다양한 데이터셋에서 검증
• 주파수 인식 처리의 원칙적 프레임워크: 트랜스포머 기반 시계열 분류에 주파수 영역 지식을 통합하기 위한 체계적 접근법 제시
• 시퀀스 길이에 따른 성능 향상: 긴 시퀀스일수록 성능 이득이 확대되어 명시적 다중 스케일 분해의 이론적 동기 부여 지지

How

Fig. 2: Overall architecture of the WaveFormer model.

• multichannel DWT를 사용하여 근사 계수(저주파, 느린 추세) 및 세부 계수(고주파, 세밀한 변화)를 추출
• 추출된 웨이블릿 계수를 원본 시간 영역 패치와 융합하여 이중 경로 특징 표현 생성
• mono-channel DWT 분석을 기반으로 Dynamic Wavelet Positional Encoding (DyWPE)을 통해 신호별 시간 구조에 적응하는 위치 임베딩 생성
• 적응형 위치 편향을 self-attention 메커니즘에 통합하여 로컬 주파수 콘텐츠를 반영

Originality

• 임베딩 단계와 위치 인코딩 단계 양쪽에서 웨이블릿 변환을 이중으로 통합하여 표현 파이프라인 전체에서 일관된 다중 스케일 처리 달성
• Dynamic Wavelet Positional Encoding (DyWPE)을 위치 임베딩에 직접 적용하여 신호 콘텐츠 기반의 적응형 위치 정보 생성
• wavelet decomposition을 특징 추출 및 위치 인코딩 최적화에 동시에 활용하는 통합 프레임워크 개발

Limitation & Further Study

• 논문에서 계산 비용 분석이 부족하며, DWT의 추가 계산량이 성능 향상과 실제 속도 측면에서 어떻게 트레이드오프되는지 명확하지 않음
• 웨이블릿 함수 선택(Haar, Daubechies 등)에 대한 민감도 분석이 제시되지 않았으며, 데이터셋별 최적 웨이블릿 선택 기준이 불명확함
• 8개 데이터셋의 구체적인 특성과 domain-specific 유효성에 대한 심층 분석 필요
• 후속 연구: (1) 학습 가능한 웨이블릿 파라미터를 도입한 end-to-end 최적화, (2) 다양한 신호 타입(음성, 진동 등)에 대한 일반화 검증, (3) 초장시퀀스(>10000 타임스텝)에서의 확장성 평가

Evaluation

총평: WaveFormer는 웨이블릿 변환을 트랜스포머의 핵심 단계에 원칙적으로 통합하여 생체신호의 다중 스케일 구조를 명시적으로 활용하는 우수한 접근법을 제시하며, 8개 데이터셋에서 경쟁력 있는 성능을 입증하였으나 계산 비용 분석과 웨이블릿 선택 민감도 분석이 보완되면 더욱 완성도 있을 것으로 판단된다.