Two-Sample Testing for Monte Carlo Evaluation in Particle Physics: Challenges and Opportunities

Motivation

• Known: 물리학 분야에서는 MC event generator(PYTHIA, HERWIG 등)로 생성된 시뮬레이션 샘플의 fidelity를 1차원 marginal histogram의 시각적 비교나 domain-specific metric으로 평가해왔으며, 통계/머신러닝 커뮤니티에서는 kernel-based two-sample test, learned kernel, aggregated testing procedure 등 강력한 방법론이 발전해왔다.
• Gap: 물리학의 MC 샘플링 품질 평가와 최신 hypothesis testing 방법론(learned/adaptive kernel 등) 사이에 체계적인 연결이 부재하며, 특히 고차원·구조화된 물리 분포에서 tail 영역의 미세한 편차를 탐지할 수 있는 표준화된 벤치마킹 인프라가 없었다.
• Why: 새로운 물리 현상(Standard Model로부터의 deviation)은 주로 분포의 tail에서 나타나므로, 잘 보정된 Type-I error 통제와 tail 영역에서의 민감도를 갖춘 two-sample test가 실험물리학에서 실제 발견(discovery)과 mismodeling을 구분하는 데 결정적으로 중요하다.
• Approach: test function, sampling algorithm, distance metric을 완전히 분리한 modular 구조의 open-source Julia package인 MCBench를 설계하고, 이를 JetNet gluon jet 데이터에 물리적으로 동기화된 변형(µ-, Σii-, N-deformation)을 적용한 controlled power study에 적용하여 SWD와 MMD의 민감도를 실증적으로 비교한다.

Achievement

1. MCBench 벤치마크 제시: test function, sampler, metric이 완전히 decoupled된 modular 구조의 open-source Julia package를 개발하여 표준화된 정량적 MC 샘플링 평가 파이프라인을 제공했다.
2. 물리 데이터 특유 도전과제 규명: 고차원성, 복잡한 상관구조, multimodality, non-IID 샘플 생성 등 고에너지물리 데이터가 표준 two-sample test 방법에 제기하는 구체적 난제들을 체계적으로 정리했다.
3. JetNet 기반 실증적 power study: gluon jet의 pT, η, mj 세 kinematic feature에 대해 mean shift, variance scaling, additive Gaussian smearing의 세 가지 물리적 변형을 적용하여, bulk에서는 거의 보이지 않는 편차가 tail 영역에서만 드러남을 시각적·정량적으로 보였다.

How

• test function 선택(표준 Gaussian, 상관관계 있는 multivariate normal, Cauchy, multimodal mixture, eight-schools 계층모형 등)과 사용자 정의 sampler 간 완전 분리 구조 채택
• 기본 marginal statistics(mean, variance, chi-square), sliced Wasserstein distance(permutation 기반, minimax-optimal rate n^{-1/2}), MMD(exact Gaussian kernel 및 Random Fourier Features 근사, median heuristic으로 bandwidth 선택) 등 다양한 metric 구현
• 외부 learned kernel test 등 임의의 two-sample test statistic을 등록할 수 있는 개방형 인터페이스(CSV, HDF5, in-memory array) 제공
• JetNet 데이터의 gluon jet에 µ-deformation(평균 이동), Σii-deformation(분산 스케일링), N-deformation(가산적 Gaussian smearing)을 ϵ=0.5로 적용하여 SWD와 MMD의 empirical power를 비교하는 controlled 실험 수행

Originality

• 물리학 커뮤니티의 MC 샘플 검증 관행(1차원 히스토그램 시각 비교)과 통계/ML 커뮤니티의 최신 two-sample testing 이론(kernel test, learned kernel, aggregated test)을 명시적으로 연결하는 교차 학제적 시도
• test function, sampler, metric을 완전히 decoupled한 modular 아키텍처 설계로 임의의 외부 방법론을 쉽게 통합·평가할 수 있는 개방형 플랫폼 제공
• 실제 물리적으로 동기화된 deformation(µ-, Σii-, N-deformation)을 이용해 tail 민감도라는 물리학 고유의 실질적 문제를 구체적 실험으로 조명

Limitation & Further Study

• SWD의 이론적 보장(유한 1차 moment 요구)은 Cauchy 분포와 같은 heavy-tailed target에는 적용되지 않아, moment-robust한 대안 metric 도입이 필요함(저자들도 향후 과제로 명시)
• 논문 자체가 workshop 초록 수준의 짧은 발췌로, learned/adaptive kernel 방법론에 대한 실제 구현·비교 실험은 아직 부재하며 향후 연구로 제안되는 수준에 머무름
• power study가 단일 데이터셋(JetNet)의 3개 kinematic feature, 고정된 ϵ=0.5 deformation에 국한되어 일반화 가능성 검증이 제한적임
• non-IID 샘플 생성이라는 물리 데이터 고유의 특성에 대한 구체적 해결책은 아직 제시되지 않음

Evaluation

총평: MC 시뮬레이션 검증이라는 물리학의 오래된 실용적 문제를 최신 two-sample testing 이론과 연결하려는 시의적절하고 의미 있는 시도이며, 개방형 modular 벤치마크로서 향후 학제간 협업의 기반이 될 잠재력이 크지만, workshop 논문 특성상 아직 초기 단계의 개념 제시와 소규모 실증 연구에 머무른다.