3D Gaussian Splatting for Real-Time Radiance Field Rendering

Motivation

• Known: NeRF 이후 radiance field 방법들이 novel-view synthesis를 혁신했으나, 고품질 달성을 위해 신경망 학습과 렌더링이 비용이 크고, 빠른 방법들은 품질을 포기하는 트레이드오프가 존재한다.
• Gap: 기존 방법들은 고품질과 실시간 렌더링을 동시에 달성하지 못했으며, unbounded scenes의 1080p 해상도 실시간 렌더링(>=30fps)은 불가능했다.
• Why: 실시간 novel-view synthesis는 VR/AR, 3D 콘텐츠 제작 등 많은 응용에서 필수적이며, 품질과 속도를 동시에 달성하는 방법의 개발은 실용적 가치가 매우 높다.
• Approach: 3D Gaussian을 사용한 scene 표현으로 연속적 volumetric 성질을 유지하면서 빈 공간 계산을 피하고, 최적화 중 density control을 수행하며, visibility-aware anisotropic splatting 렌더링 알고리즘을 개발했다.

Achievement

Fig. 1. Our method achieves real-time rendering of radiance fields with quality that equals the previous method with the

• 실시간 렌더링: 1080p 해상도에서 >= 30fps의 실시간 렌더링 달성 (93-135fps)
• 최고 품질: Mip-NeRF360과 동등하거나 우수한 PSNR (25.2 vs 24.3)
• 빠른 학습: 경쟁력 있는 학습 시간 (6-51분) 유지
• 효율적 표현: 1-5백만 개의 컴팩트한 3D Gaussian으로 scene 표현

How

• SfM sparse point cloud로부터 3D Gaussian 초기화
• 3D position, opacity α, anisotropic covariance, spherical harmonic 계수 최적화
• 최적화 중 적응적 density control로 Gaussian 추가/제거
• GPU 기반 tile-rasterization과 fast sorting을 활용한 visibility-aware rendering
• Anisotropic splatting과 α-blending으로 정확한 image formation model 구현
• 빠른 backward pass를 위해 sorted splats 순회 추적

Originality

• Anisotropic 3D Gaussian을 radiance field 표현으로 도입 - 기존 point-based 방법과 달리 volumetric 성질 유지
• Interleaved optimization과 adaptive density control의 조합으로 효율적 scene 표현
• Visibility-aware anisotropic splatting - 기존 tile-based rasterization을 3D Gaussian에 적용
• SfM sparse points만으로 고품질 결과 달성 - 기존 MVS 의존성 제거

Limitation & Further Study

• 매우 복잡한 scene이나 extreme viewing angle에서의 성능 평가 부재
• 동적 scene이나 temporal consistency 처리 미지원
• Gaussian 개수(1-5M)가 많아 메모리 요구사항 상당할 수 있음
• 후속 연구: dynamic scene extension, memory-efficient representation, 더 큰 unbounded scene 처리

Evaluation

총평: 3D Gaussian Splatting은 radiance field 렌더링에서 품질과 속도의 근본적 트레이드오프를 해결하는 획기적 방법으로, 실시간 고품질 novel-view synthesis를 처음으로 실현한 매우 중요한 기여이다.