Emergent Visual Representations through Unsupervised Spiking Networks with Synaptic Pruning

Motivation

• Known: 무작위로 초기화된 고차원 신경망도 적절한 architecture inductive bias만으로 상당한 brain alignment를 보일 수 있으며, unsupervised 및 contrastive learning으로 학습된 ANN이 supervised 모델과 비슷하거나 더 나은 neural predictivity를 보이고, deep SNN이 architecture-matched CNN보다 mouse 및 macaque visual cortex와 더 강하게 정렬된다는 것이 알려져 있다.
• Gap: 기존 연구들은 brain-aligned representation이 random 혹은 overcomplete network 내에 잠재적으로 존재함을 보였지만, 이러한 표상이 생물학적 발달 과정에서 어떻게 안정화되고 정제(refine)되는지, 그리고 activity-dependent synaptic pruning이 이 과정에서 어떤 역할을 하는지는 규명되지 않았다.
• Why: 이 연구는 random network에서의 emergent brain alignment라는 최근 발견과 발달 신경과학의 synaptic pruning 메커니즘을 통합함으로써, 시각 피질 표상이 학습(learning)뿐 아니라 발견(discovery)과 선택적 정제(refinement)를 통해 형성될 수 있다는 계산적 설명을 제공하며, 이는 unsupervised biologically-plausible 모델링과 신경과학적 발달 이론을 연결하는 중요한 개념적 다리 역할을 한다.
• Approach: Overcomplete한 deep unsupervised SNN 구조에서 시작하여, sensory-driven activity를 통한 self-organization과 약하거나 중복된 synapse를 선택적으로 제거하는 activity-dependent pruning을 결합한 developmental 계산 모델을 제안한다.

Achievement

Figure 2. Layer-wise neural predictivity for the macaque AM face patch across different model architectures.

1. Unsupervised SNN with pruning 통합 모델 제안: unsupervised representation learning과 activity-dependent developmental pruning dynamics를 결합한 생물학적으로 타당한 deep SNN을 제시했다.
2. Overcomplete에서 compact 표상으로의 정제 입증: 과잉연결된 고차원 spiking architecture가 pruning을 통해 compact하고 계층적인 표상으로 정제되며, 이 표상이 mouse 및 macaque visual cortex 여러 영역(V1, V4, IT, AM face patch 등)과 강하게 정렬됨을 보였다.
3. Baseline 대비 우수한 neural predictivity: 라벨 없이도 supervised 및 unsupervised ANN·SNN baseline들을 neural predictivity 측면에서 능가함을 입증했다.
4. Pruning의 alignment 및 robustness 향상 효과 확인: synaptic pruning이 neural alignment뿐 아니라 noisy 및 few-shot recognition 환경에서의 downstream robustness도 개선함을 보여, neural alignment와 functional generalization 간의 연결을 제시했다.

How

Figure 3. Layer-wise neural predictivity across V1, V4, and IT regions of the macaque ventral visual stream for differen

• Overcomplete spiking architecture를 초기 구조로 사용하여 고차원 표상 공간을 확보
• Sensory-driven activity에 기반한 unsupervised learning(라벨 미사용)으로 self-organization 수행
• Activity-dependent synaptic pruning을 적용하여 약하거나 redundant한 synapse를 점진적으로 제거
• 결과 네트워크의 layer-wise representation을 mouse 및 macaque visual cortex(V1, V4, IT, AM face patch 등)의 신경 반응 데이터와 neural predictivity 지표로 비교
• Supervised/unsupervised ANN 및 SNN baseline들과 정렬 성능을 비교 평가
• Noisy 및 few-shot recognition 세팅에서 downstream 성능과 robustness를 추가로 평가

Originality

• 최근 제기된 "random/overcomplete network에서의 emergent brain alignment" 관점과 신경발달학적 synaptic pruning 메커니즘을 최초로 통합하여 계산 모델로 구현
• Pruning을 단순한 네트워크 압축 기법이 아닌 발달적(developmental) 정제 메커니즘으로 재해석하여 unsupervised SNN에 적용
• 기존 SNN 연구가 주로 supervised training에 의존했던 것과 달리, 라벨 없이 학습되는 spiking 시스템에서 구조적 가소성(structural plasticity)을 원칙적인 발달 과정으로 설계
• Neural alignment와 few-shot/noise robustness라는 서로 다른 평가축을 pruning이라는 단일 메커니즘으로 함께 설명하려는 시도

Limitation & Further Study

• Pruning 기준(무엇을 "약하거나 redundant한" synapse로 판단하는지)의 구체적 알고리즘과 생물학적 타당성에 대한 상세한 검증이 초록 및 발췌 부분만으로는 충분히 드러나지 않아, 실제 생물학적 pruning 메커니즘과의 정합성 검증이 추가로 필요함
• SNN 학습과 시뮬레이션의 계산 비용, 그리고 대규모 데이터셋으로의 확장 가능성에 대한 논의가 부족해 보임
• Mouse와 macaque 두 종의 특정 시각 피질 영역에 국한된 평가이므로, 인간 시각 피질이나 다른 감각 양식(modality)으로의 일반화 가능성은 추가 연구가 필요함
• Pruning 정도(강도)와 alignment/robustness 간의 정량적 trade-off 곡선, 그리고 pruning 비율에 따른 최적점 분석이 후속 연구로 요구됨

Evaluation

총평: Unsupervised SNN과 activity-dependent synaptic pruning을 결합해 시각피질 발달의 계산적 설명을 제공하는 참신하고 개념적으로 잘 짜인 연구로, neural alignment와 behavioral robustness를 동시에 개선한 결과가 인상적이나 pruning 메커니즘의 구체적 검증과 확장성에 대한 추가 논의가 뒷받침되면 더욱 완성도가 높아질 것이다.