农松沁-多端多模态GUI智能体构建及在蚂蚁智能测试中的创新应用.pdf

1、多端多模态GUI智能体构建及在蚂蚁智能测试中的创新应用农松沁|蚂蚁集团农松沁大模型算法专家在支付宝效能团队主要负责多模态GUI Agent的研究和应用探索，有丰富的Mobile/Computer Use Agent训练和落地经验。目 录CONTENTSI.背景介绍II.多模态GUI智能体Visco的构建III.Visco在蚂蚁智能测试的创新应用IV.总结与展望背景介绍PART 01Computer/Mobile Use Agent移动端智能体(Mobile Use Agent)计算机智能体(Computer Use Agent)应用环境智能手机应用（Android、iOS）网页浏览器、操作系统

2、（Windows/Mac）桌面应用主要目标模仿人类交互（点击、滑动）来执行跨应用任务，绕过系统后端API限制自动化复杂的数字任务，例如跨多个网站或桌面软件的工作流交互粒度针对移动端 UI 元素（如按钮、输入框、通知）通用交互界面（屏幕、鼠标、键盘），实现对整个计算机的控制代表项目AppAgent系列,Mobile Agent系列,OdysseyAgentOpenAI Operator(CUA),Claude Computer Use,Google Computer Use(Project Mariner)GUI智能体（GUI Agents）核心在于利用视觉语言模型（VLM）的推理能力，自主地感

3、知、规划并执行人类在图形用户界面（GUI）上的复杂任务。它们代表着人机交互的未来，使得软件系统能够像人类一样，通过点击、输入、滚动等通用操作与桌面应用、网页和移动应用程序进行交互。Computer/Mobile Use AgentGUI智能体（GUI Agents）通常具备推理、规划、记忆和一定程度的自主决策、学习与适应能力。感知（Observing）：通过计算机视觉、自然语言处理或系统api接口，获取对环境（即屏幕、应用或系统状态）的理解。推理（Reasoning）：利用思维链对下一步进行推理，同时考虑当前和过去的屏幕截图和操作。规划（Planning）：将用户的高级目标分解为一系列有条理、

4、可执行的行动步骤。行动（Acting）：采取行动/环境交互，如发送消息、更新数据、调用工具或直接操作用户界面。记忆（Memory）：管理智能体的过去行为和上下文，以维持任务的连续性。Computer/Mobile Use AgentOSWorld,2024Computer/Mobile Use AgentarXiv:2501.16150训练范式从监督微调（SFT）到强化学习（RL）的演进Computer/Mobile Use AgentSFT 的定位：SFT 阶段利用预先收集的专家演示轨迹（即带有正确行动标签的数据），通过模仿学习（Imitation Learning）来训练GUI Agent

5、。这赋予了智能体基本的感知能力和输入控制，使其能够“阅读”屏幕并理解基础的交互模式。SFT 的局限：SFT 严重依赖演示数据的质量。由于 GUI 环境的复杂性和开放性，仅靠 SFT 难以应对以下挑战：1.泛化能力受限：SFT 在遇到复杂或未曾见过的界面状态（分布外状态，OOD）时，表现出有限的泛化能力。2.缺乏自我纠正：SFT 训练的模型缺乏在测试时进行自我纠正的机制。在长序列任务中，一个早期的错误可能会导致后续步骤的级联失败。RL 的引入：为了克服 SFT 的局限并使智能体能够自主学习和改进，业界转向了强化学习（RL）。RL 通过奖励信号指导模型策略优化，使其能够从环境反馈中学习，从而解决长

6、程决策和稀疏奖励等复杂挑战。RL 训练使模型能够处理错误并适应意料之外的界面变化。从监督微调（SFT）到强化学习（RL）的演进Computer/Mobile Use Agent从监督微调（SFT）到强化学习（RL）的演进OpenAI OperatorComputer/Mobile Use Agent从监督微调（SFT）到强化学习（RL）的演进GUI Agent的强化学习训练面临一个核心矛盾：如何平衡训练效率（使用预收集数据）和在动态环境中的泛化能力（需要实时交互）。业界主要围绕离线 RL(Offline RL)和 在线 RL(Online RL)及其混合范式寻求突破。核心挑战：离线 RL 的核