Stochastic Neural Networks for Quantum Devices

Motivation

• Known: Neural networks는 분류, 회귀, 데이터 압축, 이상 탐지 등 다양한 응용에서 뛰어난 성능을 보여왔으며, 현대에는 GPU/NPU 기반 digital systems에서 실행되고 있다. 양자 컴퓨터 기반의 neural network 구현에 대한 선행 연구들이 존재하지만 ancilla qubits이나 repeat-until-success 절차를 요구하는 경향이 있다.
• Gap: 기존 quantum perceptron 모델들은 ancilla qubits을 필요로 하거나 repeat-until-success 절차로 deterministic activation을 모방하며 high gate count를 요구한다. 또한 quantum 처리가 classical neural network의 layered parallel processing과 다르게 non-commutative 구조를 가지고 있어, classical architecture (Hopfield networks, Restricted Boltzmann Machines, convolutions 등)를 효율적으로 매핑하기 어렵다.
• Why: Energy efficiency 측면에서 alternative computing devices (FPGA, optical, quantum)에 대한 관심이 증가하고 있으며, probabilistic activation은 quantum device의 핵심 특성과 자연스럽게 부합한다. 또한 양자 기반 생성 모델은 diffusion models의 반복 평가 필요 문제를 회피하고 mode collapse 현상을 피할 수 있다는 잠재력을 가진다.
• Approach: Probabilistic activation을 지닌 quantum perceptron 모델을 CRX-gates를 사용하여 구현하며, ancilla qubits를 제거하고 layer 내에서 commutative operations를 유지한다. RX-gate (bias)와 controlled RX-gates (weights)의 조합으로 asin-function을 통한 선형 각도 누적을 달성한다. Simulated annealing과 Kiefer-Wolfowitz algorithm을 최적화 알고리즘으로 사용하며, weight sharing과 connection cutting 등의 제약을 적용 가능하게 한다.

Achievement

FIG. 3. Concept of a quantum perceptron with

• Ancilla-free quantum perceptron 모델: Probabilistic activation을 제공하며 ancilla qubits을 필요로 하지 않고 repeat-until-success 절차를 제거한 간단한 모델 제시
• Multiple architecture 지원: Shallow fully connected networks, Hopfield Networks, Restricted Boltzmann Machines, Autoencoders, Convolutional neural networks 등 다양한 토폴로지에 적용 가능함을 입증
• Quantum-classical hybrid optimization: Simulated annealing과 Kiefer-Wolfowitz algorithm 기반 최적화로 classical architecture의 제약을 효과적으로 구현
• Quantum generative AI: 훈련된 neural network를 Grover algorithm의 oracle로 활용하여 단일 circuit 평가로 생성 수행 가능하며 mode collapse 회피

How

FIG. 3. Concept of a quantum perceptron with

• Quantum perceptron을 RX-gate (bias 표현)와 CRX-gates (가중치와 입력의 interaction)로 구현하여 Bloch sphere 상에서의 회전 각도 누적
• Asin-function을 이용하여 이진 입력값들의 가중합에 기반한 확률 계산 메커니즘 구성
• Layer-wise 구조로 각 layer 내 operations의 commutativity 보장하여 classical neural network와의 유사성 유지
• Kiefer-Wolfowitz algorithm으로 gradient-free 최적화 수행하고 simulated annealing으로 local optima 회피
• Grover algorithm과의 결합을 통해 확률적 neural network output을 양자 검색 oracle로 변환

Originality

• Classical perceptron의 probabilistic variant를 quantum device에 직접 매핑하는 새로운 관점 제시
• Ancilla-free 설계와 layer-wise commutative structure로 classical neural network architecture와의 자연스러운 correspondence 달성
• Grover algorithm과 neural network의 통합을 통한 quantum generative model 구현으로 새로운 양자 머신러닝 응용 개척

Limitation & Further Study

• 실험 제한: 구체적인 실험 결과와 성능 비교가 발췌 부분에서 명시되지 않아 실제 quantum device에서의 성능 입증 필요
• Scalability 우려: Quantum device의 제한된 qubit 수와 coherence time으로 인해 대규모 neural network 구현의 실현 가능성 미명확
• 최적화 효율성: Simulated annealing 기반의 gradient-free 최적화는 classical backpropagation 대비 수렴 속도가 느릴 수 있음
• 후속 연구 방향: NISQ (Noisy Intermediate-Scale Quantum) device에서의 noise robustness, 에러 정정 메커니즘, 실제 quantum hardware 벤치마킹 필요

Evaluation

총평: 본 논문은 quantum computing 환경에서 neural networks를 구현하기 위한 elegant하고 실질적인 새로운 접근법을 제시한다. Ancilla-free design, layer-wise commutativity, 다양한 architecture 지원이라는 측면에서 기존 quantum neural network 모델들에 비해 실질적 개선을 이루었으나, 구체적 실험 결과와 scalability 분석이 추가로 필요하다.