徐海洋-通义多模态多端GUI智能体Mobile-Agent技术实践与应用.pdf

1、通义多模态、多端GUI智能体Mobile-Agent徐海洋|阿里巴巴-通义实验室徐海洋阿里巴巴 通义实验室高级算法专家阿里通义实验室高级算法专家，负责通义Mobile-Agent、mPLUG等系列工作，包括多模态智能体Mobile-Agent、多模态大模型mPLUG/mPLUG-Owl/QwenVL，多模态文档大模型mPLUG-DocOwl等，其中 mPLUG 工作在 VQA 榜单首超人类的成绩，Mobile-Agent工作CCL2024、2025两年 Best Demo，获得多个多模态榜单第一和BestPaper。在国际顶级期刊和会议ICML/NeurIPS/ICLR/CVPR/ICCV/A

2、CL/EMNLP等发表论文60多篇，并担任多个顶级和会议AC/PC/Reviewer，主导参与开源项目Mobile-Agent，mPLUG，AliceMind，DELTA等。目 录CONTENTSI.大模型智能体背景II.多模态多端智能体Mobile-AgentIII.Foundation Agent for GUI大模型智能体背景PART 01大模型智能体系统在人工智能领域，AI智能体指可以观察周遭 环境 并作出 行动 以达致 目标 的 自主 实体大模型智能体的优势OpenAI FiveLLM Agent with ChatGPT传统基于RL的智能体的局限性 大模型智能体的优势数据采样专有环

3、境和低效面向特定任务稀疏奖励和长时段问题大模型智能体的优势丰富的世界知识推理/规划能力工具使用（检索、code等）In-context Learning近期两类AI Agent应用Action Agent（GUI Agent）Information Agent(DeepResearch)作用硬“眼睛”&“手”环境感知和行动执行软“大脑”思考、规划和综合分析适用场景自动化操作密集型办公、生活操作任务智能化知识密集型办公Search创作场景示例Operator、Apple Intelligence、Claude、Mobile-AgentDeep Research（OpenAI、谷歌、Qwen）Ch

4、atGPT-Agent、ManusGUI智能体发展迅速围绕Mobile、PC、Web的GUI-Agent是未来的重要技术趋势之一，替代人类操作、提升生产效率。Claude3.5 Sonnet(Computer)Apple IntelligenceOpenAI OperatorGUI大模型智能体现实世界是需要 多模态环境交互 的，多模态智能体可能衍生出更多Super、Fancy应用Claude computer useClaude 3.7 sonnet(computer use)参照人类思考系统的快速反应与慢反思结合的工作模式,将LLM快速响应和思维链深度思考Operator基于Computer

5、-Using Agent 模型，结合GPT-4o的视觉理解能力和强化学习习得的推理能力，自动执行鼠标和键盘的组合操作，无需API，具备推理思维链和自动纠错能力大模型通用型智能体系统从基于检索提供信息，到Agent执行任务的本质进阶Claude computer use（1）规划-执行Tool-反思；（2）操作上云；（3）快操作+慢思考Manus/Open ManusManus强调“需求规划执行交付”全流程自动化，无需用户持续指导便可能直接生成可交付成果，动态调整执行路径，在解决现实世界问题方面表现卓越多模态多端智能体Mobile-AgentPART 02多模态多端智能体Mobile-Agent

6、分析天气搜索视频并评论刷短视频并点赞导航多模态多端智能体Mobile-Agent在微博中搜索GTC2025的时间，然后在微信的GTC2025参会群中提醒大家在小红书搜西湖附近的特色餐厅，用高德地图导航过去多模态多端智能体Mobile-AgentGUI场景核心挑战UI界面理解多步操作规划反思定位操作操作时延核心挑战多模态多端智能体Mobile-AgentCCL2024,CCL 2025 Highlight System时间方案平均端到端完成率单步RTV12024.1ICLR2024基于GPT4o单Agent75%30