7-甘启-datafun0420_改动版1_副本.pdf

1、DataFunConDataFunCon#20242024SoulSoul基于基于AIGCAIGC的实践与的实践与探索探索甘启Soul App 视觉算法负责人目录目录 AIGCAIGC新浪潮发展新浪潮发展 SoulSoul的的AIGCAIGC实践与探索实践与探索 AIGCAIGC技术结合产品技术结合产品 AIGCAIGC通用通用VSVS自研自研AIGCAIGC新浪潮发展新浪潮发展Reference:Harnessing the Power of LLMs in Practice:A Survey on ChatGPT and BeyondNovember 30,2022 OpenAI intr

2、oduced ChatGPTMarch 14,2023 OpenAI releases GPT-4November 6,2023 OpenAI introducing GPTsSeptember 25,2023 Voice capabilities in ChatGPTOctober 16,2023 DALLE 3 is rollingDecember 06,2023 Google introducing GeminiMarch 4,2024 Anthropic releases Claude-3July 18,2023 Meta open source LLama2March 17,2024

3、 X open release of Grok-1March 25,2022 OpenAI releases DALLE 2October 16,2023 DALLE 3 is rollingAugust 22,2022 stability.ai releases StableDiffusionJuly 26,2023 stability.ai releases SDXLJuly 12,2022 Midjourney open betaDecember 13,2023 Google releases Imagen 2November 29,2023 Pika 1.0March,2023 Run

4、way release Gen-2February 15,2024 OpenAI releases SoraNovember 21,2023 stability.ai releases SVDSoulSoul的的AIGCAIGC实践与探索实践与探索社交社交年轻人年轻人连接连接元宇宙元宇宙私聊消息瞬间广场视频匹配语音匹配Soul拍相机群聊广场多元活动星球实验室SoulSoul是以虚拟人设提供即时交流互动体验是以虚拟人设提供即时交流互动体验的应用的应用 和和 AI NativeAI Native的社交网络的社交网络生命数据库人格化认知图谱AI能力场景结合驱动能力形象构建Soul/灵魂情绪表现模型性

5、格表现模型对象区分模型大规模多模态预训练模型知识图谱知识推理风格迁移AI作画AI协作AI配乐智能对话语音识别语音合成手势识别动作识别情感识别位姿计算情景感知口唇驱动表情驱动动作驱动直接建模扫描建模参数化建模端/云渲染换装捏脸Level 0动画人Level 1可驱动人Level 2数字人Level 3智能人Level 4元宇宙人真 人 与 虚 拟 人 共 存 的 社 交 平 台 技 术 图 谱SoulSoul的的AIGCAIGC技术能力图谱技术能力图谱Soul-Soul-虚拟人虚拟人基础能力构建2020.122021.12头部渲染全身&场景渲染2022.092023.03多模驱动智能体赋能Now

6、搭建自研渲染底座搭建端侧AI引擎基础视觉识别算法NAWA引擎1.0发布捏脸系统升级AR驱动玩法多人并发支持NAWA引擎2.0发布虚拟人全身形象上线虚拟空间上线换装功能支持AI纹理素材上线视觉驱动支持全身化语音驱动表情文本驱动动作音乐驱动舞蹈AR互动渲染兼容商业引擎端云结合真实渲染语言大模型结合多模互动能力整合智能体虚拟人Soul-Soul-视觉视觉基础识别能力构建2020.122021.06GAN-based 图像生成能力国内首批AI绘画落地活动2022.122023.06搭建自有画风模型矩阵&扩充图像生成新玩法2