KinEMbed: Decoding Kinematics from Electromyography via Cross-Modal Contrastive Learning

Motivation

• Known: EMG 기반 디코딩 연구는 대부분 이산적인 gesture classification에 집중되어 있으며, contrastive representation learning(SimCLR, CEBRA 등)은 신경 신호나 discrete gesture 분류에는 적용되었지만 continuous kinematics regression에는 적용된 바가 거의 없다. CPEP, EMBridge 같은 cross-modal contrastive 접근도 discrete gesture classification에 초점을 맞추고 있다.
• Gap: EMG로부터 continuous하고 simultaneous하며 proportional한 손 kinematics를 회귀하는 것은 보철 제어의 핵심 병목임에도, cross-modal contrastive alignment를 continuous kinematic regression에 적용한 선행 연구가 없었다.
• Why: 보철 제어 및 재활에서 discrete gesture 기반 제어의 한계(높은 보철 포기율)를 극복하려면 자연스러운 손 사용에 필요한 연속적이고 세밀한 관절 각도 제어가 필수적이며, 이를 label 없이도 kinematic 구조를 반영하는 EMG embedding으로 구현할 수 있다면 실용적 가치가 크다.
• Approach: EMG feature와 kinematic joint angle을 각각 인코딩하는 dual encoder를 symmetric NT-Xent contrastive loss로 공동 학습해 공유 unit hypersphere에 정렬시킨 뒤, 고정된 EMG encoder 위에 TCN decoder를 학습시켜 연속 DoA를 회귀하는 2단계(Phase I: contrastive pre-training, Phase II: TCN decoding) 프레임워크를 제안한다.

Achievement

Figure 2. Per-DoA R2 for able-bodied subjects. KinEMbed shows the most pronounced gains on thumb rotation and thumb flex

1. 최초의 cross-modal contrastive continuous kinematics regression 프레임워크 제안: EMG와 joint angle 벡터를 paired modality로 shared embedding space에 정렬한 KinEMbed을 최초로 제시함.
2. 다양한 baseline 대비 성능 우위 입증: NinaPro DB8의 able-bodied 및 limb-difference 피험자(N=11)에 대해 PCA, PLS, AE-Recon, AE-Super, CEBRA, ARIMA 등 6개 baseline과 비교하여 held-out session에서 가장 높은 mean R2(0.732)를 달성했으며, 특히 가장 어려운 thumb DoA에서 가장 큰 개선을 보임.
3. 엄격한 cross-session 평가 프로토콜 확립: 독립적으로 기록된 테스트 세션을 모델 선택에 전혀 사용하지 않는 엄격한 프로토콜을 통해 임상적으로 현실적인 일반화 성능을 검증함.

How

Figure 1. KinEMbed architecture and training phases. In Phase I, two MLP encoders (femg, fkin) project EMG features x an

• EMG 신호를 128ms window(52ms stride)로 분할, 채널별 time-domain(RMS, Waveform Length, Log Variance, Zero Crossings, Slope Sign Changes, MAV, Willison Amplitude, Hjorth Mobility/Complexity), spectral(Mean/Median Power Frequency), STFT magnitude feature를 추출해 256차원 벡터 구성
• EMG encoder femg([256,128] MLP, BatchNorm, ReLU, dropout)와 kinematic encoder fkin([64,32] MLP)를 각각 16차원 공간으로 투영 후 ℓ2-normalisation하여 unit hypersphere에 매핑
• SimCLR 방식의 nonlinear projection head를 EMG branch에만 부착하여 contrastive loss가 보는 geometry(zemg)와 downstream decoder가 사용하는 geometry(hemg)를 분리
• 온도 τ=0.2의 symmetric cross-modal NT-Xent loss로 시간적으로 정렬된 (EMG, kinematic) positive pair를 대조 학습 (Soft-NT-Xent, VICReg 변형도 실험했으나 성능 차이는 제한적)
• 사전학습 후 EMG encoder를 freeze하고, dilated causal convolution 기반 TCN(64채널, kernel size 3, dilation [1,2,4], weight normalisation, residual connection) decoder를 Adam optimizer로 100epoch MSE 회귀 학습
• NinaPro DB8 데이터셋(N=11, able-bodied 9명 + limb-difference 2명)에서 세션 간(cross-session) held-out 평가로 mean R2 비교

Originality

• EMG-kinematics 쌍을 cross-modal contrastive alignment의 대상으로 삼아 continuous regression에 처음 적용한 문제 설정 자체의 참신성
• Contrastive loss가 보는 embedding geometry(projection head 출력)와 downstream decoder가 사용하는 geometry(encoder trunk 출력)를 명시적으로 분리하는 설계
• Limb-difference 피험자를 포함한 임상적으로 도전적인 코호트에서 엄격한 cross-session 프로토콜로 평가한 실험 설계

Limitation & Further Study

• Baseline 대비 성능 향상 폭(0.717→0.732 등)이 크지 않고 표준편차도 상당히 커서 통계적 유의성 및 실질적 임상 효용에 대한 추가 검증이 필요함
• Limb-difference 피험자가 단 2명으로 표본 크기가 매우 작아 일반화 가능성이 제한적임
• NT-Xent, Soft-NT-Xent, VICReg 간 성능 차이가 제한적이라고 언급되어 contrastive objective 선택의 실질적 이점이 명확히 입증되지 않음
• 본문 발췌만으로는 최종 실험 결과(표 1 외 세부 ablation, 실시간 inference 지연 등)에 대한 완전한 평가가 어려움
• 후속 연구로 더 큰 규모의 다중 데이터셋 검증, 실시간 online decoding 평가, 다양한 절단 부위 및 병리 조건으로 확장이 필요함

Evaluation

총평: EMG 기반 continuous kinematics regression에 cross-modal contrastive learning을 최초로 적용한 참신하고 임상적으로 의미 있는 시도이나, 성능 개선 폭이 제한적이고 표본 크기가 작아 workshop 수준의 초기 연구(first step)로서의 가치가 크다.