Adaptive Coding Emerges in Stabilized Supralinear Networks Trained with Local Plasticity

Motivation

• Known: SSN은 대뇌피질의 contrast-dependent normalization, surround suppression 등 다양한 반응 특성을 설명하는 데 성공적이었으나, 강한 recurrent excitation으로 인해 학습이 어려워 주로 수작업으로 구성되었다. 한편 sparse coding과 ICA는 efficient coding 이론에 기반해 자연 이미지의 Gabor-like receptive field 출현을 설명하는 대표적 패러다임이다.
• Gap: 명시적 E-I lateral connection이 DL 모델과 시각 신경과학 인코딩 모델 모두에서 충분히 탐구되지 않았고, 그 기능적 필요성이 정당화되지 못했으며, SSN을 local plasticity로 대규모 자연 이미지에 대해 학습시킨 사례가 부재했다.
• Why: 뇌는 다양한 입력 조건에서 DL 모델보다 뛰어난 적응성과 강건성을 보이는데, 이는 명시적 E-I intralayer recurrency와 관련이 있을 수 있으므로, 이를 규명하면 더 적응적이고 대사적으로 효율적인 시각 인코딩 시스템 설계에 기여할 수 있다.
• Approach: 이론적으로 two-population SSN을 분석해 약한 입력에 대한 supralinear 통합과 강한 입력에서의 sparse coding 유사 메커니즘을 규명한 후, local learning rule만으로 자연 이미지 상에서 대규모 SSN을 학습시켜 그 코딩 전략의 전환을 분석하였다.

Achievement

1. 이론적 분석: two-population SSN이 약한 입력에서는 supralinear integration을 통해 신호를 증폭하고, 강한 입력에서는 소수 뉴런이 나머지를 강하게 억제하는 sparse coding 유사 레짐으로 전환됨을 증명함.
2. local plasticity 기반 대규모 학습: 자연 이미지에 대해 local learning rule만으로 대규모 SSN을 성공적으로 학습시켜, V1의 Gabor-shaped receptive field 등 다양한 특성을 재현함.
3. 자동 코딩 전략 전환 발견: 외부 감독이나 명시적 sparsity 정규화 없이도 대비(contrast) 조건에 따라 population coding과 sparse coding 사이를 자발적으로 전환하는 현상을 관찰함.
4. 강건성 및 적응성 우위 입증: 저하된 입력 조건에서 SSN이 sparse coding, ICA, SimCLR, predictive coding 모델, Poisson autoencoder 등 기존 비지도 모델보다 우수한 성능을 보였으나, LC를 제거하면 이러한 우위가 사라짐을 확인함.

How

• 이론 분석: two-population SSN 모델에서 파라미터 범위에 걸친 supralinear integration 특성과 협력적 다중 population 상호작용 시 나타나는 강한 억제 레짐을 수식적으로 분석함.
• 모델 구축: 강한 excitatory-inhibitory lateral connection을 갖는 SSN을 설계하고, biologically plausible local plasticity rule로 whitened natural image에 대해 훈련하는 파이프라인 구축(Fig.4).
• 평가 프로토콜: 다양한 대비(contrast) 및 노이즈 조건에서 tuning curve와 활성 뉴런 수를 측정해 population coding vs sparse coding 전환을 정량화(Fig.5).
• 비교 실험: ICA, sparse coding(Olshausen & Field), SimCLR, 두 가지 predictive coding 모델, Poisson autoencoder 등과 저하된 입력 조건에서의 인코딩 성능을 비교하고, lateral connection ablation 실험으로 그 역할을 검증함.

Originality

• 명시적 E-I lateral connection을 가진 SSN을 local plasticity만으로 대규모 자연 이미지에 대해 학습시킨 최초의 시도로, 기존 수작업 구성이나 제한된 파라미터화의 한계를 극복함.
• Sparse coding, ICA 등 기존 efficient coding 패러다임과 달리, 외부 목적함수나 sparsity 정규화 없이 입력 조건에 따라 자발적으로 코딩 전략이 전환되는 현상을 발견함.
• 대사 효율성(metabolic efficiency) 관점에서 population coding과 sparse coding 간 전환을 뇌의 적응적 계산 전략으로 재해석하고, 이를 명시적 recurrency의 기능적 필요성과 연결함.

Limitation & Further Study

• 실험이 정지 영상(static natural images) 기반이며, 시간적 동역학이나 동영상 입력에 대한 검증이 부족해 보임.
• 비교 대상 모델(SimCLR, predictive coding 등)과의 공정한 비교를 위한 하이퍼파라미터 튜닝 및 학습 조건의 동등성에 대한 세부 검증이 충분히 제시되지 않을 가능성이 있음.
• 실제 생물학적 뉴런 반응 데이터와의 정량적 비교(예: 실제 V1 기록과의 직접 대조)가 제한적이어서 모델의 생물학적 타당성 검증이 더 필요함.
• 후속 연구로 동적 입력(비디오)이나 다중 영역(multi-area) 상호작용으로 확장하는 것이 필요해 보임.

Evaluation

총평: 생물학적으로 타당한 local plasticity로 강한 E-I lateral connection을 가진 SSN을 학습시켜 입력 조건에 따른 자발적 코딩 전략 전환을 규명한 참신하고 의미 있는 연구로, 신경과학과 딥러닝 양쪽에 시사점을 제공한다.