Quantum latent distributions in deep generative models

Motivation

• Known: GAN, latent diffusion model, flow matching model 등 다양한 generative model에서 latent distribution의 구조가 모델 성능에 큰 영향을 미친다는 것은 이미 알려져 있으며, 최근 실험들에서 quantum processor가 생성한 분포를 latent space에 사용했을 때 일부 데이터셋에서 성능 향상이 관찰된 바 있다.
• Gap: 기존 연구들은 quantum latent distribution의 성능 향상이 언제, 왜 발생하는지에 대한 이론적 근거가 부족했고, trained quantum distribution을 untrained classical baseline과 비교하는 등 공정하지 않은 실험 설정으로 인해 일반화 가능한 결론을 이끌어내기 어려웠다.
• Why: quantum processor가 실제로 deep generative model의 표현력과 성능을 확장할 수 있는지, 그리고 그 근거가 quantum한 성질에서 비롯되는지를 이론과 apples-to-apples 벤치마킹을 통해 규명함으로써 quantum machine learning의 실용적 가치를 검증하는 데 중요하다.
• Approach: 신경망 구조에 대한 특정 가정 하에서 quantum latent distribution이 classical latent distribution으로는 효율적으로 생성 불가능한 data distribution을 생성할 수 있음을 이론적으로 증명하고, 이를 바탕으로 실제 photonic quantum processor로 생성한 분포를 다양한 classical baseline과 공정하게 비교하는 벤치마킹 실험을 수행한다.

Achievement

Figure 4. FCD scores during training for different latents of dz=16. The mean and standard error of the mean are calcula

1. 이론적 결과: 특정 조건 하에서 quantum latent distribution이 classical latent distribution으로는 효율적으로 도달할 수 없는 data distribution을 생성 가능하다는 것을 complexity class 관점에서 증명함.
2. 직관 제공: quantum distribution이 실제 데이터셋에서 성능 향상을 가져올 수 있는 메커니즘(quantum interference로 인한 통계적 특성)에 대한 직관을 제시함.
3. 공정한 벤치마킹: synthetic quantum dataset과 QM9 분자 데이터셋에서 simulated 및 real photonic quantum processor를 이용해, quantum interference를 끈 photonic distribution을 포함한 다양한 classical baseline과 apples-to-apples 비교를 수행함.
4. 실증적 성능 향상 확인: quantum interference에서 발생하는 통계량이 classical baseline 대비 향상된 생성 성능(FCD score 등)을 이끈다는 것을 확인함.

How

Figure 3. Illustration of a loop-based boson sampling system. Here, four sequential single photons, separated by time τ,

• Hu et al. (2023)의 latent-data space 간 distance 개념을 확장하여, latent distribution의 computational complexity가 생성 가능한 distribution의 범위에 미치는 영향을 이론적으로 분석함.
• photonic boson sampling 시스템(loop-based boson sampling)을 이용해 identical single photon을 random interference circuit에 통과시켜 classically intractable한 quantum distribution을 생성함.
• 2D mixture of Gaussians와 같은 단순 synthetic dataset을 이용해 Gaussian distribution부터 quantum distribution까지 네 가지 latent distribution을 GAN에 적용하여 mode interpolation 등의 실패 양상을 비교함.
• QM9 화학 데이터셋에 대해 GAN을 학습시키고, quantum interference를 켠 경우와 끈 경우(photonic distribution with interference off)를 포함한 여러 classical latent distribution과 FCD(Frechet ChemNet Distance) 등의 지표로 성능을 비교함.
• simulated quantum processor와 real photonic quantum processor 양쪽에서 실험을 반복하여 결과의 일관성을 검증함.

Originality

• quantum latent distribution이 classical latent distribution 대비 갖는 이점을 complexity class 관점에서 이론적으로 정식화한 최초의 시도 중 하나임.
• 기존 연구들이 trained quantum vs untrained classical의 불공정한 비교를 했던 것과 달리, quantum interference를 껐다 켰다 할 수 있는 동일 하드웨어(photonic processor)를 이용해 interference 효과 자체를 격리하여 비교하는 apples-to-apples 실험 설계를 제안함.
• 실제 photonic quantum processor(real hardware)를 사용한 벤치마킹을 QM9과 같은 실질적 화학 데이터셋에 적용함.

Limitation & Further Study

• 논문 스스로 인정하듯 성능 향상은 dataset과 model에 의존적이며, 모든 상황에서 quantum latent distribution이 우월함을 보장하지 않음.
• 저자들이 quantum processor를 상용화하는 회사(ORCA Computing)에 소속되어 있어 이해상충 가능성이 존재하며, 결과 해석에 유의가 필요함.
• 이론적 결과는 신경망 구조에 대한 특정 가정 하에서만 성립하므로, 실제 광범위한 아키텍처로의 일반화 가능성은 추가 검증이 필요함.
• 향후 연구로 더 다양한 데이터셋, 더 큰 규모의 quantum processor, 그리고 diffusion model이나 flow matching model 등 GAN 이외의 아키텍처로의 확장이 필요함.

Evaluation

총평: quantum latent distribution의 이점을 이론과 공정한 실험 설계로 함께 뒷받침한 흥미로운 연구로, quantum machine learning 분야에서 실질적 가치 평가에 기여하는 의미 있는 시도이나, 저자들의 상업적 이해관계와 결과의 일반화 가능성에 대해서는 신중한 해석이 필요하다.