7-4 在高保真孪生数字人技术中的自动化流程探索.pdf

1、在高保真孪生数字人技术中的自动化流程探索张启煊 DEEMOS.com影眸科技 CTO|Investors|我们致力于探索前沿人工智能与元宇宙的结合与应用。我们致力于探索前沿人工智能与元宇宙的结合与应用。打造元宇宙时代的打造元宇宙时代的数字身份系统数字身份系统。|传统手工流程3-5周穹顶光场流程3-5天有点“不务正业”的数字人公司“老婆”生成器|全网千万流量数百万用户有点“不务正业”的数字人公司 元宇宙毕业典礼|有点“不务正业”的数字人公司？|有点“不务正业”的数字人公司？|Chen,Anpei,et al.Sofgan:A portrait image generator with dynam

2、ic styling.ACM Transactions on Graphics(TOG)41.1(2022):1-26.|首个产品级人脸资产数据库（PFA）PRODUCTION-READYFACIAL ASSETDATASET个性化肌肉毛孔级细节完备PBR材质动态贴图独立资产在高保真孪生数字人技术中的自动化流程探索张启煊 DEEMOS.com影眸科技 CTO|扫描PART1|PART1|扫描|A.我们的工作2016Lets do somethingPART1|扫描|A.我们的工作PART1|扫描|A.我们的工作动态DOME（体积摄影）2017Cao,Xuan,et al.Sparse phot

3、ometric 3D face reconstruction guided by morphable models.Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2018.PART1|扫描|A.我们的工作Chen,Anpei,et al.Photo-realistic facial details synthesis from single image.Proceedings of the IEEE/CVF International Conference on Computer Vi

4、sion.2019.PART1|扫描|A.我们的工作动态DOME（体积摄影）2017Chen,Zhang,et al.3d face reconstruction using color photometric stereo with uncalibrated near point lights.2020 IEEE International Conference on Computational Photography(ICCP).IEEE,2020.PART1|扫描|A.我们的工作Zhang,Longwen,et al.Neural video portrait relighting in

5、 real-time via consistency modeling.Proceedings of the IEEE/CVF International Conference on Computer Vision.2021.PART1|扫描|A.我们的工作2022毛孔精度PBR材质规整拓扑编辑性强Plenoptic Stage技术亚洲唯一，世界唯二亚微米级皮肤材质扫描，超高精度表情扫描PART1|扫描A.我们的工作|2 0 2 2PART1|扫描A.我们的工作|2 0 2 2代价数千万三角面片吃性能难以渲染对艺术家不友好重拓扑PART1|扫描静态资产B.重拓扑Registration自动?|

6、问题1仍然需要先完成高模重建问题2会产生边角、UV不规整问题3表情不到位 问题4表情贴图抖动PART1|扫描静态资产B.重拓扑|大量新增人工环节仍然需要高模PART1|扫描静态资产B.重拓扑联合研发XZhang,Jiakai,et al.Editable free-viewpoint video using a layered neural representation.ACM Transactions on Graphics(TOG)40.4(2021):1-18.Wang,Liao,et al.Fourier PlenOctrees for Dyna