4-1 数字人技术革命：动捕、重建、生成与智能.pdf

1、刘烨斌清华大学自动化系2022年8月13日3D数字人：动捕、重建、生成与智能-2-研究背景全息交互/AR/VR/元宇宙以人为目标的三维感知、重建与生成是新一代信息科技不可或缺的核心技术-3-数字人制作技术迈向智能时代真人驱动型智能算法生成型手工设计型借助AI，算法生成型数字人制作方案极大降低人工和时间成本需要专业设备和经验，耗时几周甚至几个月无需经验，耗时不到一天智能技术研究背景数字人技术变革-4-生成重建动捕人的行为人的思想人的外观 人的外观重建实现沉浸性（Immersion）人的行为感知实现交互性（Interaction）赋予人的思想实现创作性（Imagination）研究背景动捕、重建、

2、生成与智能-5-数字人革命 解构现实世界 将现实映射到虚拟 创造虚拟内容动捕人的行为交互性重建人的外观沉浸性生成人的思想创作性研究背景动捕、重建、生成与智能对人的动捕、重建、生成是迈向智能数字人的三部曲-6-主要工作一、无标记运动捕捉多视点无标记动捕：交互方式的变革，赋能虚拟现实等行业影视动画人机交互单视角姿态估计密集视点光场重建稠密视点系统运算繁重，场景受限单视点方法无法分辨深度歧义性实时性能轻量部署高精重建紧密交互视点数量矛盾核心问题：如何充分挖掘各视点信息，优化匹配策略，减少视角冗余-7-主要工作一、无标记运动捕捉难点：时间(1D)-空间(2D)-角度(1D)4维时空对象特征解耦难题单视

3、角分配多视角匹配时域跟踪序贯式的策略导致误差累积，误分配在优化过程中持续传递，使得问题逐步病态单视角划分错误导致重建质量差-8-主要工作一、无标记运动捕捉提出了4D多视时空聚类解耦模型单视角分配多视角匹配时域跟踪协同优化提升性能多维度关联图序贯式：孤立逐维进行匹配搜索协同式：闭环联合优化各维信息 =+,+单视角划分错误导致重建质量差Zhang et al.4D Association Graph for Realtime Multi-person Motion Capture Using Multiple Video Cameras,CVPR Oral 2020提出4D多视时空聚类解耦模型，克

4、服了2D图像人体特征解耦的模糊不确定性-9-主要工作一、无标记运动捕捉提出了4D多视时空聚类解耦模型（稀疏RGB相机）Zhang et al.4D Association Graph for Realtime Multi-person Motion Capture Using Multiple Video Cameras,CVPR Oral 2020,首个实时的多人体骨架捕捉系统-10-主要工作一、无标记运动捕捉提出了4D多视时空聚类解耦模型（稀疏RGB相机）Light-weight Multi-person Total Capture Using Sparse Multi-view Came

5、ras,IEEE ICCV 2021.首个实时的多人体全身动捕系统（包括人手、人脸）-11-Li et al.Interacting Attention Graph for Single Image Two-Hand Reconstruction,CVPR Oral 2022,首个单RGB相机的紧密交互人手实时运动捕捉主要工作一、无标记运动捕捉提出了4D多视时空聚类解耦模型（单RGB相机）-12-主要工作二、便捷实时高精动态三维重建电报语音电话视频会议全息通讯邮件公元前15001830年1860年2000年当前到未来实时动态三维重建用于未来全息交互，是媒体通信技术的革新 研究背景-13-研究背

6、景：基于深度相机的动态融合重建核心问题：不完整融合表面之间的实时、精准非线性映射问题映射精度帧间映射融合更新帧间映射融合更新第帧第(+1)帧33毫秒矛盾输入序列重建管线非线性帧间映射为主要瓶颈和难点表面形变复杂非线性映射策略复杂度映射效率已有方法(DynamicFusion)CVPR2015最佳论文融合更新崩溃帧间映射融合更新主要工作二、便捷实时高精动态三维重建-14-提出了双表面三维重建方法，引入虽低精度但完整的内层模板表面，支撑实时精准帧间非线性映射(+)时刻观测KinectFusion(2011,引用量3873)Fusion4D(2016，微软)3DPortraint(CVPR 2020