Transformed Latent Variable Multi-Output Gaussian Processes

Motivation

• Known: MOGP는 LMC와 같이 출력을 공유 latent GP의 선형 결합으로 표현하거나, Kronecker/tensor 구조를 활용해 계산을 효율화하는 방식, 또는 LV-MOGP처럼 출력별 latent variable에 kernel을 적용해 coregionalisation 행렬을 구성하는 방식으로 확장성을 확보해 왔다.
• Gap: 기존 저랭크(low-rank) 또는 sum-of-separable kernel 기반 방법들은 계산 효율성을 위해 커널 구조에 엄격한 제약(선형성, Kronecker 분해 등)을 가하기 때문에, 출력 수가 수천~수만에 달하는 고차원 설정에서 복잡한 inter-output dependency를 표현하는 능력이 제한된다.
• Why: 기후 모델링, 공간 전사체학(spatial transcriptomics) 등 출력 차원이 수천~수만에 이르는 실제 응용에서 MOGP의 O(P^3) 계산 비용은 근본적 병목이며, 표현력을 희생하지 않으면서 확장 가능한 방법론은 실질적 활용도를 크게 높일 수 있다.
• Approach: 입력과 출력별 latent variable을 concatenate한 뒤 residual connection과 spectral normalisation으로 Lipschitz 연속성을 갖도록 정규화된 신경망을 통해 embedding space로 매핑하여 multi-output deep kernel을 구성하고, SVGP 프레임워크 기반 stochastic variational inference로 대규모 입력·출력에 대해 mini-batch 학습이 가능하도록 한다.

Achievement

Figure 4. Predictions of different models on the ERA5 dataset with random splitting. The temperature is measured in Kelv

1. T-LVMOGP 프레임워크 제안: 입력과 출력별 latent variable을 신경망으로 embedding space에 매핑하여 rigid한 구조적 가정 없이 유연한 multi-output deep kernel을 구성하고, 이를 SVGP 기반 inducing point 방식과 결합해 P가 10,000을 초과하는 초고차원 출력 공간까지 확장 가능함을 보였다.
2. Lipschitz 정규화를 통한 일반화 개선: residual connection과 spectral normalisation을 적용한 신경망(RCNN)으로 deep kernel의 feature collapse 및 overfitting 문제를 완화하고, distance-aware한 embedding을 확보했다.
3. 확장 가능한 variational inference 절차 개발: 입력과 출력 양쪽에 대해 mini-batch 학습이 가능한 stochastic variational inference를 SVGP 프레임워크 내에서 구현했으며, 비-Gaussian likelihood와 최근 제안된 tighter variational bound(Titsias, 2025; Bui et al., 2025)를 자연스럽게 수용할 수 있는 구조를 마련했다.
4. 다양한 벤치마크에서의 실증적 우수성 입증: 10,000개 이상의 출력을 가진 ERA5 기후 모델링 데이터셋과 zero-inflated 공간 전사체학 데이터 등 여러 실험에서 T-LVMOGP가 예측 정확도와 계산 효율성 모두에서 기존 MOGP 베이스라인(Ind-GP, SV-LMC 등)을 능가함을 보였다.

How

Figure 2. Illustration of the proposed multi-output deep ker-

• 각 출력 p에 대해 latent variable h_p를 도입하고, 입력 x와 latent variable을 concatenate한 표현을 신경망에 통과시켜 embedding space로 매핑한다.
• 신경망은 residual connection(He et al., 2016)과 spectral normalisation(Miyato et al., 2018)을 적용하여 Lipschitz 연속성을 갖도록 정규화한다(RCNN).
• embedding space 상에서 커널을 정의하고, inducing point Z를 embedding space에 배치하여 SVGP(Titsias, 2009) 프레임워크를 구성한다.
• Hensman et al. (2013) 방식의 stochastic variational inference를 적용해 입력과 출력 양쪽에 대한 mini-batch 학습을 지원하며, ELBO 최적화를 통해 학습한다.
• latent variable에 대해서는 point estimation이 아닌 variational distribution q(H)를 도입하여 Bayesian 처리를 통해 overfitting 위험을 완화한다(Titsias & Lawrence, 2010 방식 계승).
• 비-Gaussian likelihood(zero-inflated 데이터 등) 및 최근 제안된 tighter variational bound(∆ correction term 포함)를 통합 가능한 구조로 설계한다.

Originality

• 기존 LV-MOGP(Dai et al., 2017; Jiang et al., 2025)의 고정된 separable/sum-of-separable kernel 구조에서 벗어나, 신경망 기반 embedding을 통해 훨씬 유연한 multi-output deep kernel을 구성한 점.
• deep kernel learning의 고질적 문제인 overfitting과 feature collapse를 Lipschitz 정규화(residual connection + spectral normalisation)로 해결하여 uncertainty quantification의 신뢰성을 확보한 독창적 결합.
• 입력-latent variable 결합 표현을 embedding space로 매핑하고 그 공간에 inducing point를 배치하는 아이디어를 통해 SVGP의 확장성과 deep kernel의 표현력을 동시에 달성한 구조적 참신성.

Limitation & Further Study

• 신경망 기반 deep kernel 도입으로 인해 모델의 해석가능성이 기존 선형 LMC 계열 모델에 비해 저하될 수 있으며, latent space의 의미론적 해석이 명확히 논의되지 않았을 가능성이 있다.
• Lipschitz 상수 및 신경망 구조(레이어 수, spectral normalisation 강도 등)에 대한 하이퍼파라미터 민감도 분석이 충분히 다뤄졌는지 불확실하다.
• 초고차원 출력(P>10,000) 환경에서도 latent variable 차원 DH의 선택이 성능에 미치는 영향에 대한 추가적인 ablation이 필요해 보인다.
• 후속 연구로는 tighter variational bound(Titsias, 2025; Bui et al., 2025)의 실제 통합 성능 검증, 다양한 non-Gaussian likelihood에 대한 확장 실험, 그리고 더 큰 규모의 실세계 응용(예: 유전체 데이터 전체) 검증이 필요하다.

Evaluation

총평: MOGP의 확장성과 표현력이라는 오랜 트레이드오프를 Lipschitz 정규화된 deep kernel과 latent variable 프레임워크의 결합으로 효과적으로 완화한 견고한 연구이며, 대규모 실세계 벤치마크에서의 실증 결과가 설득력을 더한다.