尹顺顺--Soul的AI社交实践探索人和AI共存的新社交网络.pdf

1、尹顺顺Soul AI技术负责人Soul的AI社交实践2024/11/15CONTENT目录认识Soul01Soul大模型核心技术原理02Soul AI产品展示03Soul AI社交思考04认识Soul正式发布20162021201820202017获得晨兴资本、DST等投资开始自好物服务获得收入推出3D虚拟形象获得 米哈游 投资发布基于兴趣图谱的个性化社交分发系统2022正式推出3D NAWA引擎和chatGPT同时期推出大模型陪伴机器人-AI苟蛋NOW发布SoulX2落地端到端的全双工语音通话，年底发布视频通话2023发布SoulX大模型，推出异世界回响、AI狼人杀、聊天助手、数字分身等AI

2、产品突破100万DAU通过广告服务获得收入推出语音派对房间功能获得 腾讯 投资注册用户超过1亿突破1000万DAU注册用户超过1亿Soul发展历程发布SoulX大模型Soul核心玩法灵魂匹配群聊派对广场瞬间用户私聊平台游戏Soul AI大模型整体布局自研2.7B大模型架构对话模型2022.082023.05Pretrain+sft+3000亿token多模态|时间感知|知识性升级7.1B对话大模型SoulX开展人设对话技术自研长记忆|RAG2023.082024.06SoulX2推出GPT4o架构的语音通话系统超拟人性，全链路延迟1.6s2022.12Soul首个大模型结构的对话产品AI苟蛋上

3、线人设对话效果打平行业主流异世界回响上线2023.102023.12狼人魅影Agent上线聊天助手上线数字分身代理上线2024.03NOW全双工视频通话探索预计12月推出自研技术产品创新Soul大模型核心技术原理Soul大模型技术架构AI应用聊天助手数字分身代理虚拟伴侣AI内容生产狼人杀AIAI苟蛋异世界回响内容推荐数据帖子群聊用户画像评论狼人杀用户行为核心技术超长上文压缩多模态理解MOERAG图音tokenizer时间感知阿里云通义大模型Qwen2Qwen-VLQwen-audioQwen-MOESoulX-base自研基座模型阿里云人工智能平台PAIDSWDLCBladeLLM计算网络存储

4、安全SoulX-InstructSoulX-characterSoulX-voiceSoulX-videoSoulX-omni数字分身定义表征层身份层认知层决策、观点、偏好一致社交关系、记忆、基础信息一致形象、声音、文字风格一致阿里云PAISoulX-Anyone 数字分身PAI-Megatron-Patch模型训练加速框架PAI-BladeLLM高效推理服务引擎基于形象id、音色克隆、对话数据建模表征层基于用户画像、社交关系建模身份层基于用户画像、内容互动、对话观点建模认知层构建对话、互动预测、身份识别、多模态等多种预训练任务，融入LLM基于PAI平台，实现高效训练 和 高性能吞吐Clip

5、hs对话session存储hbaseadaptorwhisperadaptorClip hsadaptor用户信息对话内容发帖信息记忆内容图片emb音频emb表情包embprompt压缩网格adaptor8*358432*358416*35841*3584336*336*3336*336*330s两阶段学习一阶段做文本自编码器任务，冻结LLM，仅微调压缩网络二阶段做对齐任务+自编码器任务，压缩网络&LLM参数全部放开压缩率超20CE-LossLLM-DecoderCompress-CrossAttnCompress-LLM我是孙悟空我在花果山CE-LossLLM-Decoder你 是 谁 s

6、e p 孙 悟 空Compress-CrossAttnCompress-LLM我是孙悟空我在花果山Stage-1Stage-2SoulX-base 超长上文压缩6月底推出的SoulX-VoiceGPT4o的端到端架构基于通义funcodec+SoulX-base全链路延迟1.6s可完全脱离ASR（可选）具备基于LLM的语义判停chat+funcodecLLM+VAD判停流式LLMchat+funcodec+asrfuncodec解码1s200ms片段上文聊天USERaudio