Periodic Bayesian Flow Networks with Additive Accuracy

Motivation

• Known: Bayesian Flow Networks(BFN)는 Euclidean space에서 반복적 Bayesian conditioning을 통해 strictly additive accuracy를 갖는 강력한 generative framework이며, crystal structure prediction(CSP)이나 compressive light-field(CLF) display의 phase synthesis처럼 periodic 데이터를 다루기 위해 diffusion, flow matching, circular BFN(예: von Mises 기반 CrysBFN) 등의 적응이 시도되어 왔다.
• Gap: 기존 periodic BFN 적응(예: von Mises 기반 CrysBFN)은 concentration parameter update가 일반적으로 additive하지 않아 BFN의 핵심 설계 원칙인 strictly additive accuracy를 상실하고, 이로 인해 schedule heuristic에 민감해지며 학습이 불안정해진다. 또한 periodic translation invariance를 추론 시에만 강제하고 학습 목표는 invariant하지 않아 objective mismatch와 gradient variance 증가 문제가 발생한다.
• Why: crystal structure prediction과 glasses-free 3D display용 CLF phase synthesis 등 실제 과학·공학 응용에서 periodic 데이터의 안정적이고 정확한 generative modeling은 필수적이며, additive accuracy를 복원하고 invariance를 학습 목표에 내재화하면 더 안정적이고 성능이 뛰어난 generative model을 얻을 수 있어 재료과학과 컴퓨테이셔널 디스플레이 분야 모두에 파급력이 크다.
• Approach: 각 주기적 스칼라를 R^2 상의 unit circle로 임베딩하여 Gaussian Bayesian update를 Cartesian space에서 수행함으로써 additive accuracy를 복원하고, global periodic translation 등 nuisance symmetry를 analytically marginalize하는 Rao-Blackwellized objective를 유도하여 translation-invariant하고 gradient variance가 낮은 학습 목표를 구성한다.

Achievement

Figure 3. Qualitative CLF phase-synthesis comparison. EyeReal exhibits left–right view crosstalk (leakage between views)

1. Additive-accuracy periodic BFN: 2D unit-circle embedding을 통해 periodic 변수에 대해 Gaussian Bayesian update를 적용, Euclidean BFN이 가진 strictly additive accuracy 속성을 periodic 도메인으로 복원함.
2. Rao-Blackwellization을 통한 invariant training: nuisance periodic symmetry(전역 periodic translation, sign equivalence 등)를 analytically marginalize하는 closed-form Rao-Blackwellized objective를 유도하여 invariant target과 낮은 gradient variance를 달성함.
3. Cross-domain 검증: E(3)-equivariant crystal structure prediction과 CLF phase synthesis라는 서로 다른 두 도메인에 프레임워크를 적용해 안정적인 generation과 강력한 실증 성능을 보임.
4. 최초의 CLF phase synthesis에 대한 periodic generative modeling 확장: glasses-free 3D display 시스템(EyeReal 등)의 phase synthesis 문제에 periodic generative model을 최초로 적용함.

How

Figure 2. Overall framework of PeriodicBFN. (Left) Accuracy accumulation. Our 2D embedding decouples the spatial mean fr

• 각 periodic scalar를 (cosθ, sinθ) 형태의 2D unit-circle 표현으로 임베딩하여 wrap-around boundary 문제를 Cartesian space에서 자연스럽게 다룸.
• 임베딩된 Cartesian space에서 isotropic Gaussian belief를 사용해 기존 Euclidean BFN과 동일한 형태의 accuracy 누적(ρ_{i+1} = ρ_i + α_i) 및 belief update 규칙을 유지, strictly additive accuracy 구조를 보존.
• 네트워크가 예측한 clean datum(관측치)을 바탕으로 Bayesian observation을 생성하고 belief state (µ_i, ρ_i)를 반복 업데이트하는 continuous-time loss를 설계.
• Crystal 구조의 global periodic translation invariance 및 CLF phase의 π-periodic sign equivalence 같은 nuisance symmetry를 명시적으로 모델링하고, 이를 analytically marginalize하는 Rao-Blackwellized objective를 유도해 학습 목표를 invariant하게 재구성.
• E(3)-equivariant backbone과 결합하여 CSP task에 적용하고, EyeReal 등 CLF display의 multi-layer phase pattern 합성 task에도 동일 프레임워크를 적용해 cross-domain 실험 수행.

Originality

• periodic 데이터를 2D unit-circle로 임베딩하여 Cartesian space에서 Gaussian Bayesian update를 수행함으로써, 기존 von Mises 등 circular distribution 기반 BFN 적응이 상실했던 strictly additive accuracy를 복원한 최초의 시도.
• global periodic translation, π-periodic sign equivalence 같은 nuisance symmetry를 Rao-Blackwellization을 통해 analytically marginalize하여 invariant training target을 유도한 점이 novel함.
• crystal structure prediction뿐 아니라 glasses-free 3D display(CLF)의 phase synthesis라는 새로운 도메인에 periodic generative modeling을 최초로 확장함.

Limitation & Further Study

• Rao-Blackwellized objective의 marginalization이 closed-form으로 가능한 symmetry 종류에 한정될 수 있어, 더 복잡하거나 비선형적인 nuisance symmetry에는 확장이 어려울 수 있음.
• 2D unit-circle embedding이 다중 주기(multi-periodicity)나 고차원 torus 구조에서 확장될 때 계산 비용이나 안정성 문제가 발생할 가능성에 대한 논의가 부족함.
• CLF phase synthesis라는 새로운 응용 도메인에서의 실험이 제한적 벤치마크(EyeReal 비교 등)에 국한되어 일반화 가능성에 대한 추가 검증이 필요함.
• 후속 연구로는 다양한 periodic manifold(예: SO(3), 고차원 torus)로의 일반화, 실시간 하드웨어 환경에서의 CLF 적용 검증, 그리고 다른 대규모 재료 데이터셋에 대한 확장성 검증이 필요함.

Evaluation

총평: periodic 데이터에 대한 BFN의 핵심 속성인 additive accuracy를 수학적으로 복원하고 invariance를 학습 목표에 통합한 이론적으로 탄탄한 연구로, crystal structure prediction과 CLF phase synthesis라는 이질적인 두 응용 도메인에서의 실증을 통해 실용성도 입증한 우수한 논문이다.