易冉-动态场景下的高效3D高斯表达-从高速渲染到轻量存储.pdf

1、动态场景下的高效3D高斯表达:从高速渲染到轻量存储2025年4月11日易冉上海交通大学 副教授3DGS概述3DGS全称3D Gaussian Splatting，即三维高斯泼溅渲染，通过使用三维高斯椭球建模三维场景，通过高斯椭球的可微性和显示表达实现复杂三维场景的高质量高效建模。缩放旋转不透明度单位高斯球高斯椭球半透明高斯椭球3D Gaussian Splatting for Real-Time Radiance Field Rendering.SIGGRAPH 2023.3DGS概述3DGS建模流程：p SFM初始化：根据SFM从多视角图像计算稀疏点云，初始化三维高斯。p 高斯渲染与优化：将

2、三维高斯投影到屏幕空间进行光栅化，计算损失并反向传播优化高斯属性p 自适应调节：根据梯度与缩放对高斯进行复制/分裂，使其更好地拟合场景物体3D Gaussian Splatting for Real-Time Radiance Field Rendering.SIGGRAPH 2023.3DGS发展现状GassiansImagePreprocessInclusiveSumDuplicateWithKeysSortPairsIdentifyTileRangesRenderRasterizerProgrammableCUDA KernelControllableCUDA STL3D高斯光栅化管线光

3、栅化管线性能分布（Truck数据集）Render阶段占据最大比例，通常超过 50%，存在计算冗余（串行化剔除、负载不均等问题），渲染速度有待进一步提升3DGS渲染的光栅化管线3DGS发展现状3DGS模型存储p 现有压缩方法：p 直接裁剪不重要高斯 显式表征的高斯椭球高度契合传统光栅化管线，LightGaussian、C3DGSp 抑制高斯致密化 借助可微的光栅化管线可以实现高度并行的反向传播，GES、EAGLESp 问题：模型压缩的同时相应造成了质量损失；动态场景建模需要更大存储，动态场景下轻量表达存在挑战高斯重要度评估、裁剪与恢复高斯建模往往需要百万量级高斯，因此模型较大1.高速渲染：基于自

4、适应半径提前剔除的3DGS渲染加速AdR-Gaussian:Accelerating Gaussian Splatting with Adaptive Radius.SIGGRAPH Asia 20241 AdR-Gaussian:基于自适应半径提前剔除的3DGS渲染加速针对 3D高斯泼溅（3DGS）场景物体建模的任务中（问题）3D高斯的光栅化管线存在串行化剔除、负载不均问题，渲染速度有待进一步提升 串行化剔除问题：高斯光栅在执行Point-based-rendering过程中进行过小不透明度剔除(串行)负载不均问题：细节丰富处3D高斯数目多、对应像素线程负载重，反之负载轻AdR-Gaussi

5、an:Accelerating Gaussian Splatting with Adaptive Radius.SIGGRAPH Asia 2024缩放旋转不透明度单位3D高斯球3D高斯椭球半透明3D高斯椭球问题分析：1 AdR-Gaussian:基于自适应半径提前剔除的3DGS渲染加速3DGS中基于瓦片的渲染：将图像区域划分为若干个像素矩阵，称为瓦片(Tile)同一瓦片内的像素渲染同一个高斯不同瓦片间的像素渲染不同的高斯集合问题2:负载不均衡:不同瓦片间的像素线程需要渲染不同数量的高斯椭球Projected Gaussians99%Confidence Interval(3)3DGS中基于点

6、的渲染：每个像素根据深度顺序串行渲染所有与之相关的高斯因为高斯建模的高斯量级往往达百万，因此每个像素需要串行渲染大量高斯，导致光栅渲染阶段成为性能瓶颈问题 1:性能浪费:每个像素的串行渲染导致串行剔除AdR-Gaussian:Accelerating Gaussian Splatting with Adaptive Radius.SIGGRAPH Asia 2024提出 基于自适应半径提前剔除的3DGS渲染加速方法：AdR-Gaussian:Accelerating Gaussian Splatting with Adaptive Radius.SIGGRAPH Asia 20241 AdR-