段岳圻-ppt-final v2.pdf

1、i-VisionGroup生成式稀疏视角三维场景重建段岳圻清华大学电子工程系Homepage:duanyueqi.github.ioi-VisionGroup2多视角三维场景重建多视角三维场景重建多视图立体视觉Multi-View Stereo物体重建Objaverse物体数据神经辐射场NeRF静态场景重建ScanNet静态场景数据三维高斯泼溅3D Gaussian Splatting动态场景重建WideRange4D动态场景数据 三维场景重建三维场景重建是计算机视觉与图形学的是计算机视觉与图形学的基础基础问题，旨在从问题，旨在从多视角观测精准恢复三维结构及实现新视角渲染多视角观测精准恢复三维

2、结构及实现新视角渲染i-VisionGroup3 现有基于现有基于NeRFNeRF和和3DGS3DGS的三维场景重建范式的三维场景重建范式 优化模型：SparseNeRF,DNGaussian,优化时间较长，先验单一，极少输入视角(3 views)下效果差 判别式模型：InstantSplat,MVSplat,PixelSplat,当输入视图有很大重叠（近帧距离）时渲染较好，无法解决遮挡问题和输入视图较远（远帧距离）稀疏视角三维场景重建稀疏视角三维场景重建在复杂场景中稀疏视角信息观测不完备，在复杂场景中稀疏视角信息观测不完备，“所见所见即所得即所得”的重建范式难以取得理想效果的重建范式难以取得

3、理想效果i-VisionGroup4ReconX:Reconstruct Any Scene from Sparse Views with Video Diffusion ModelFangfu Liu,Wenqiang Sun,Hanyang Wang,Yikai Wang,Haowen Sun,Junliang Ye,Jun Zhang,Yueqi Duan*Website:Website:https:/liuff19.github.io/ReconXhttps:/liuff19.github.io/ReconXGithub:Github:https:/ 将将稀疏视角重建稀疏视角重建任务建

4、模为任务建模为三维一致的图生视频三维一致的图生视频任务任务“看得准的地方重建，看不准的地方生成”充分释放视频生成模型的先验创造更多可见视角信息生成式三维场景重建生成式三维场景重建i-VisionGroup6 实现统一生成和重建的新范式实现统一生成和重建的新范式 三维一致视频生成：三维几何结构嵌入隐空间引导 帧间高频信息保持：置信度引导的优化方式生成式三维场景重建生成式三维场景重建i-VisionGroup7 仅输入稀疏视角仅输入稀疏视角(少至两张少至两张)，释放视频扩散模型的，释放视频扩散模型的生成能生成能力解决稀疏重建力解决稀疏重建问题问题生成式三维场景重建生成式三维场景重建输出：三维一致场

5、景渲染输入：两张稀疏视角i-VisionGroup8 仅输入稀疏视角仅输入稀疏视角(少至两张少至两张)，释放视频扩散模型的，释放视频扩散模型的生成能生成能力解决稀疏重建力解决稀疏重建问题问题生成式三维场景重建生成式三维场景重建输入：三张稀疏视角输出：三维一致场景渲染i-VisionGroup9VideoScene:Distilling Video Diffusion Model to Generate 3D Scenes in One Step（Highlight）Hanyang Wang,Fangfu Liu,Jiawei Chi,Yueqi Duan*i-VisionGroup10 利用三

6、维结构先验蒸馏视频生成的三维一致性利用三维结构先验蒸馏视频生成的三维一致性 不需要视频动态性，仅需要三维一致性，充分蒸馏 输入稀疏视角，一步去噪 生成视频时间从5min降至5s以内高效率生成式三维场景重建高效率生成式三维场景重建i-VisionGroup11 利用三维结构先验蒸馏视频生成的三维一致性利用三维结构先验蒸馏视频生成的三维一致性 实验证明我们一步去噪的三维一致性充分优于现有视频模型50step去噪的结果高效率生成式三维场景重建高效率生成式三维场景重建i-VisionGroup12Unique3D:High-Quality and Efficie