China3DV学生论坛-邵睿智.pdf

1、三维动态人体生成汇报人：邵睿智4/21/20251背景意义 生成式人工智能2背景意义 生成式人工智能3图像生成视频生成 OpenAI SORA4二维视频三维重建三维生成背景意义 生成式人工智能5三维动态人体生成66三维动态人体生成三维人体表征扩散蒸馏学习3D感知视频生成三维网格神经辐射场符号距离场三维高斯泼溅高效动态三维表征三维引导视频生成视频生成扩散蒸馏高效动态三维表征7p拓展静态空间表征到时域动态表征研究三维动态人体在时空场上的高效四维表达，实现高质量高效的动态重建与渲染三维人体表征 时空分解表征8p提出了时空分解表征，实现高效高质量的人体动态重建与渲染一级按时间维度分解3 ,=,二级按空

2、间维度分解3 =,3 =,3 =,.时空分解表征通过分层次的分解策略，将表征复杂度从O(n4)压缩到O(n2)，大大提升了表征效率三维人体表征 时空分解表征9时空分解表征可用于高效的全息渲染三维人体表征 时空分解表征10基于高效的高斯时空分解表征，结合对抗生成网络，从文生图大模型中扩散蒸馏生成三维动态人体三维动态人体生成 文生图扩散蒸馏11高斯时空分解表征：从时空四维上结构化离散的高斯泼溅点云三维动态人体生成 文生图扩散蒸馏Gaussian Tri-planes:Gaussian Flow12对抗生成器结合扩撒蒸馏：从平滑的生成空间中蒸馏得到四维动态人体表征三维动态人体生成 文生图扩散蒸馏13

3、基于文生图大模型扩散蒸馏实现高效的三维动态人体生成三维动态人体生成 文生图扩散蒸馏14基于文生图大模型扩散蒸馏实现高效的三维动态人体生成三维动态人体生成 文生图扩散蒸馏15基于文生图大模型扩散蒸馏实现高效的三维动态人体生成三维动态人体生成 文生图扩散蒸馏16基于文生图大模型扩散蒸馏实现高效的三维动态人体生成三维动态人体生成 文生图扩散蒸馏17三维动态人体生成 时空分解扩散蒸馏扩散蒸馏方案需要耗时的优化，生成结果缺乏动态细节183D感知视频生成 4D DiT架构19将3D人体形态模版作为控制条件，以DiT框架为基础，设计了4D时空扩散变换器，学习角度可控视频生成3D感知视频生成 4D DiT架构

4、20整理并构建了当前最大的三维动态人体数据集用于4D扩散变换器视频生成训练3D感知视频生成 4D DiT架构213D感知视频生成 4D DiT架构p定量和定性结果都优于现有人体视频生成方法223D感知视频生成 4D DiT架构p可实现三维动态人体的自由视点视频生成多图输入单图输入233D感知视频生成 4D DiT架构p缺陷：背景无法实现自由视点，依赖2D SMPL的渲染结果，仅支持单人视频生成，视频生成质量不高243D感知视频生成 多模态数据p从开源数据集中构建起一套关于人体运动的数据处理管线，筛选并标注了近两百万的人体视频数据，包括多人场景、多视角、camera运动等253D感知视频生成 3

5、D VAEp针对人体的快速动作视频专门训练了Video VAE，性能领先于当前所有开源的VAE模型VAE编码效果编码效果263D感知视频生成 Interspatial Attentionp提出Interspatial Attention，借助NeRF当中的隐式编码思想，无需渲染直接建立起3D SMPL与2D Video的关联273D感知视频生成 Interspatial Attention无需2D渲染，直接高效建立起3D与2D video的关联实现2D、3D统一的扩散变换器大模型283D感知视频生成 Interspatial Attentionp大规模256卡训练验证Interspatial Attention满足尺度缩放定律293D感知视频生成 Interspatial Attention303D感知视频生成 Interspatial Attention313D感知视频生成 Interspatial Attention323D感知视频生成 Interspatial Attention333D感知视频生成 Interspatial Attention未来规划p构建三维人体、机器人、视频生成融合的多模态大模型，实现具身智能的真正落地Q&A谢谢聆听！