从唤醒到陪伴：多模态 Agent 如何重构手机交互范式-刘鹏.pdf

1、从唤醒到陪伴从唤醒到陪伴多模态多模态 Agent Agent 如何重构手机交互范式如何重构手机交互范式刘鹏OPPO AI中心 高级算法工程师目录目录01020304手机 AI 助手的范式演进持续感知型 Agent小布伴随执行型移动 AgentX-OmniClaw落地经验与未来展望手机手机 AI 助手的范式演进助手的范式演进从从“听懂一句话听懂一句话、看懂一张图看懂一张图”，到到“理解一段旅程理解一段旅程、完成一个目标完成一个目标”用户对手机助手的期待，正在变得更多元用户对手机助手的期待，正在变得更多元今天的手机助手，不只要答得上，还要看得懂、记得住、做得到今天的手机助手，不只要答得上，还要看得

2、懂、记得住、做得到今天天气怎么样？这道题怎么做？总结一下我刚刚刷到的几个攻略打开这个 App 的订票页面手机手机AI助手的演进助手的演进应用形态变化的背后，是模型、记忆与应用形态变化的背后，是模型、记忆与 Agent Agent 能力的共同演进能力的共同演进持续感知型持续感知型 Agent小布伴随小布伴随从单帧理解到提问瞬间重建从单帧理解到提问瞬间重建，从屏幕流到语义时间轴从屏幕流到语义时间轴什么是小布伴随？什么是小布伴随？小布伴随不是一次性识屏问答，而是持续在线的手机使用陪伴小布伴随不是一次性识屏问答，而是持续在线的手机使用陪伴多轮思考多次工具调用循环试错适合后台任务常规Agent首包优先单

3、次编排模块轻量可降级兜底手机伴随Agent首包低延迟链路高稳定决策可约束失败可恢复设计目标伴随伴随 Agent 的设计原则的设计原则：快而可控快而可控减少Agent Loop前置路由、并行执行轻量模型+规则约束候选链路、兜底实现策略小布伴随的基本架构小布伴随的基本架构四个核心设计四个核心设计用户开口那一刻，如何回溯重建完整上下文输入层-提问瞬间重建多候选路由、重分流、安全兜底编排层-候选式链路编排如何根据场景，把上下文、记忆、工具结果融合成高质量的伴随式回答生成层-场景应答策略流式 Caption、噪音过滤、可检索的时序记忆记忆层-屏幕语义时间轴P P感知 记忆 编排 生成四层协同，驱动伴随智

4、能提问瞬间重建提问瞬间重建屏幕语义时间轴屏幕语义时间轴更适合伴随助手的流式记忆（更适合伴随助手的流式记忆（1/2）时序问答数据集构造：时序问答数据集构造：实时问答：依赖短时视频信息面 记忆问答：依赖历史局部记忆 回溯问答：需要对过去的总结回溯信息 图文无关问答：问题与画面弱相关 完全无关问答：不依赖屏幕内容实验二：持续Memory总结实验一：Video Caption 去噪实验Caption 生成时显式区分：重点信息：页面主体、用户关注对象、任务状态 非重点信息：导航栏、底部按钮、重复控件、无关 UI根据场景来选择是否使用非重点信息，在全场景上有1.7个点的提升。更适合伴随助手的流式记忆（更适

5、合伴随助手的流式记忆（2/2）Liang et al.,“OASIS:On-Demand Hierarchical Event Memory for Streaming Video Reasoning,”CVPR 2026.无需训练，低成本，可插拔的层级记忆检索框架 OASIS：将不断增长的视频历史 fold 成层级化事件记忆，而不是把所有帧或片段平铺保存。它先把短时间内的连续观察聚合为局部事件，再将相关事件进一步压缩成更高层的语义摘要，形成从细粒度片段到粗粒度事件的层级结构。在推理时，模型先根据问题判断需要哪类证据，再沿着这棵层级记忆从粗到细定位相关时间区域。这样既保留了长视频中的关键信息，

6、又避免了把大量无关历史都塞进上下文。OASIS 因此把“记住更多”转化为“按需展开正确的记忆”。候选链路式编排候选链路式编排规则驱动规则驱动 vs 模型驱动模型驱动：从分类问题到受约束决策问题从分类问题到受约束决策问题用户问题屏幕视觉帧历史上下文设备状态.输入约束编排器链路成功率交互时延安全隐私成本可控限制候选式链路编排结果+场景条件混合决策混合决策 =语义估计语义估计 +约束投影约束投影 +候选搜索候选搜索模型给“语义假设”，规则做不了用户想做什么？当前场景是什么？是否依赖屏幕/历史上下文？规则做“可行性裁剪”，模型有风险屏幕是否可用？安全/隐私是否通