1余明-面向手机Agent的记忆系统工程OPPO的Agentic-RAG实战与演进final.pdf

1、面向手机Agent的记忆系统工程：OPPO Agentic-RAG实战与演进OPPO AI中心 余明content目录01应用场景与战略定位02记忆搜索：核心挑战与工程瓶颈03Agentic-RAG技术架构设计04效果提升关键：分层提示工程与动态上下文构建0506隐私安全与评测体系建设未来展望与技术演进方向应用场景与战略定位01手机：人的第二大脑，手机存储即人的记忆个性化个性化(Personalization)千人千面AI学习用户习惯，偏好智能推荐手机成为用户神经系统的延伸，形成感知-思考-执行闭环。情感交互情感交互AI感知用户情绪，提供个性化的陪伴与支持。搜索与记忆搜索与记忆(Search&

2、Memory)全量记忆自动记录数字足迹，构建完整个人数字档案精准搜索一键获取专业服务，打破知识与技能壁垒。知识图谱整合碎片信息，构建结构化知识网络数字孪生数字孪生(Digital Twin)数字分身服务获取效率提升90%，无需打开App即可完成交易。行为模拟自动完成重复性任务，如回复邮件、管理日程。决策辅助模拟决策结果，提供支持，帮助用户做出明智选择。支撑OPPO PersonaX战略：构建用户个性化数字记忆体，实现跨应用、跨设备的情境感知与主动服务手机如果利用记忆，更好服务用户，AI搜索作为重要一环，负责记忆的检索和问答应用场景与战略定位 AI搜索：设置、文档、多模态、小布记忆、健康、个性化

3、等FindN5-意图搜索FindX8-左记右问(一键闪记)应用场景：日程、设置应用场景与战略定位：文档、多模态应用场景与战略定位：健康、个性化记忆搜索：核心挑战与工程瓶颈02核心挑战和工程瓶颈数据源杂，数据种类多，多样性大端云时延，端侧功耗要求高LLM输出存在抖动，输出格式不可控LLM数学计算能力差，端侧VLM能力差隐私合规，内容安全评测效率低，评测维度不好把控Agentic-RAG技术架构设计03端侧技术架构挑战挑战召回率召回率响应时延响应时延功耗功耗索引时效性索引时效性结构化信息结构化信息多模态多模态01采用轻量级向量模型与倒排索引融合架构，在保障高召回率的同时，降低端侧推理能耗。02支持

4、用户数据变更的细粒度捕获与局部索引更新，实现分钟级延迟同步，确保记忆体实时可用。03多策略并行召回，减小端侧召回时延。云侧技术架构挑战挑战召准率召准率时延时延格式格式意图准确意图准确灵活性灵活性扩展性扩展性A2AA2A协议协议工具调用工具调用多通道意图分流：意图预判，定向召回，精准Prompt注入，冗余处理意图识别预判部署多通道轻量级分类器实时解析用户意图，提升响应准确性与系统效率。定向召回基于关键词与业务规则触发定向检索路径，精准锁定日程、设置项、图片、小布记忆等特定数据源，减少噪声干扰。精准Prompt注入动态融合时间、地点、关键词，上下文标签生成条件化提示词，增强模型对关键信息的理解与利

5、用能力。冗余处理当少量意图分流不准确时，也能对意图处理进行兜底，保证召回及回复的准确性。多维过滤体系：融合语义相关性、时间戳、地理标签与规则引擎，动态加权过滤噪声语义相关性向量相似度与关键词匹配，rerank精排，查询意图定向匹配，规则逻辑，提升召回内容的相关性时间精准控制引入时间戳优先策略，确保政策、动态等时效敏感信息始终新鲜准确空间情境感知结合地理标签实现位置感知检索，支持本地化服务推荐与区域化内容过滤规则嵌入在待定意图下，用特定规则进行过滤或选择云侧增强型服务：个性化、搜索引擎、A2A协议、工具调用接口搜索引擎有联网意图条件下，通过互联网搜索A2A协议跨应用跨端数据，实现服务间低延迟、标

6、准化的信息交换与任务协同工具调用支持提供可扩展的工具注册与调度接口，支撑计算、第三方API等外部能力按需调用个性化引擎注入用户个性化的特性，满足个性化需求实时性要求严苛：端到端首字响应时延，端到端交互时延01交互体验优化UI交互，提升用户等待体感02端云协同优化结合云、端优势，优化计算时序03高效通信机制精简协议，提高压缩比，保障布署环境04端侧轻量推理模型量化，剪枝，算子优化，NPU布署05云侧精准的时延控制意图模型；精排模型，高时延任务06LLM输入输出限制0708多agent协同低时延控制外接agent的响应时延输入token的数量减少不必要的输出