大模型赋能下一代AI防火墙安全能力再升级目录一、生成式人工智能时代来临,企业安全态势喜忧参半1.1 全球大模型市场快速发展1.2 大模型与网络安全结合带来新挑战和新机遇1.3 安全合规监管要求持续提升.
2025-09-01
35页




5星级
AI原生开启金融智能新未来 金 融 行 业 大 模 型 应 用 落 地 白 皮 书目录前言第一章:大模型开启金融行业全新智能时代1.1 大模型驱动金融机构全面加速智能化转型1.2 强推理和多模态、多个.
2025-08-29
58页




5星级
AI 安全系列研究报告 安全优先的大模型 *安全优先的大模型 目 录 本报告调研的入选标准.1 本报告调研的安全能力供应商.1 报告背景.2 关键发现.3 一、概念定义.4 1.1 定义.4 1.2 定义解读.4 二、发展潜力.6 2.1 市场发展驱动力.6 2.1.1 大模型内生“缺陷”转化为安全原生需求.6 2.1.2 大模型强监管态势夯实安全合规基础.7 2.2 安全能力核心逻辑.8 2.2.1 以“模”制“模”.8 2.2.2 以权限和身份管理重塑业务.9 2.2.3 以安全工程保障系统工程.9 2.3 未来趋势.11 2.3.1 大模型重塑数字生活,人工智能治理道阻且长.11 2.3.2 端侧大模型需求激增,安全能力需要新突破.11 2.3.3 后训练是应用关键,数据价值再次攀升.11 2.3.4 公众模型成为基础设施,智能体百家争鸣.12 三、推荐供应商.13 四、安全能力.17 4.1 大模型业务系统安全风险.18 4.2 安全优先的大模型能力图谱.20 五、解决方案/典型案例推荐.22 5.1 大模型安全解决方案.22 方案背景.22 方案概述.22 解决方案核心价值.23 AI 安全产品详解.24 5.2 数字政府智算服务一体化安全保护案例.28 安全优先的大模型 项目背景简介.28 大模型业务系统安全保护需求.28 整体解决方案.28 5.3 科技制造业大模型安全防护案例.33 项目背景简介.33 大模型业务系统安全保护需求.33 整体解决方案.34 核心安全能力.35 5.4 联想携手火山引擎推出可信个人云案例.37 项目背景简介.37 大模型业务系统安全保护需求.38 整体解决方案.38 核心安全能力.39 5.5 央企大模型综合治理案例.41 项目背景简介.41 整体解决方案.41 核心安全能力.42 5.6 杭州市数据资源局大模型安全防护案例.45 项目背景简介.45 大模型业务系统安全保护需求.45 整体解决方案.46 核心安全能力.46 1/47 本报告调研的入选标准本报告调研的入选标准 具有 AI 研究能力、大模型安全保护产品具备自主知识产权,通过 SaaS 或私有化部署方式,为企业用户提供保护大模型业务应用的产品、服务、解决方案的安全厂商。本报告调研的安全能力,不包括通用安全,只针对明确的大模型合规要求或大模型业务系统特有安全需求。产品或服务可被完整交付,解决方案有实际场景或落地案例为支撑。接受数世咨询的调研与访谈,并承诺提供数据的真实性。本报告调研的安全能力供应商本报告调研的安全能力供应商 (按调研顺序排序)2/47 报告背景报告背景 人工智能技术已经在全球范围内得到了普及,而大模型作为人工智能的复杂应用,在以中美为核心引领的环境下,已经为人类带来了极大的震撼。随着人工智能技术的不断发展,在可预见的未来,通用大模型将成为数字智能的基础设施。当前,通用大模型竞争格局逐渐明朗,人们也越来越清晰的认识到,人工智能的价值并不在于模型本身,而在于其深度融合并改造业务场景的过程。以专业领域大模型为核心的大模型业务系统(包括智能工作流和智能体)和具身智能接棒开启了新一轮的白热化竞争。为了推动大模型业务系统和具身智能等人工智能应用的持续发展,更为了用户可以合规、安全的使用大模型赋能业务,数世咨询特开展了本次调研工作。希望本报告可以帮助使用大模型的用户,了解大模型业务系统中的安全风险和相应的安全能力供应商,在大模型业务系统建设和运营时提供有益的参考。3/47 关键发现关键发现 大模型安全保护市场,自 2025 年开始加速进入需求爆发期,现阶段以合规为核心驱动。随着大模型稳定性以及数据要素价值的升高,未来以“合规 业务”为双轮驱动。大模型本身不等于大模型业务系统(包括使用大模型的工作流和基于大模型的智能体),前者是后者的子集,后者需要通过系统化的安全保障能力满足业务系统安全需求。大模型业务系统安全与数据安全的保护理念是一致的,都需要深度融入业务流程和数据流向之中,对数字安全产业来说既是挑战也是机会。现阶段面向公众提供服务的大模型,其核心需求是备案全流程服务,上线后则侧重内容风控。为企业经营赋能的大模型,其核心挑战是引入大模型后对原有业务流程和访问控制的重塑,关键点是数据泄露防护。现阶段,用户需求较为集中且安全供应商可完整交付的、较为成熟的安全产品和服务主要有大模型安全围栏、内容风控、风险评测与备案服务。4/47 一、一、概念定义概念定义 1.11.1 定义定义 数世咨询将安全优先的大模型定义为:由于大模型原生安全缺陷和业务系统内生安全风险无法避免,为了有效控制安全风险为企业带来的经营风险、更为了实现较高水平的社会治理,在建设、运营、监管大模型业务系统过程中的一种思想,即安全优先。1.21.2 定义解读定义解读 这里的安全并不特指网络安全,而是由于科学技术的应用可能给社会带来的潜在影响,由于必须保障这种影响是积极、可控的,所以安全性是必须优先考虑的。国家层面,大模型的应用在军事(如认知域作战)、生物(如蛋白质结构)、医疗(如影像诊断学)等方面已经展现出强大推动力,但生成内容的准确性、系统的鲁棒性都是必须优先解决的关键问题,如处理不当将会造成不可预估的颠覆性灾难。社会层面,大模型正在对人们的生活产生潜移默化的影响,如搜索方式的转变(搜索引擎到大模型应用)、内容创作的转变(人的独创到人与大模型的交互)等,但大模型应用对个人信息的滥用、对流程化工作岗位的取代等社会现实问题已经成为热点讨论话题,如处理不当将引发生群体性事件导致社会动荡。企业层面,大模型可以赋能数字化应用从而促进核心业务发展,如商业数据分析(突发性、创意性数据分析需求)、产品智能化升级(自动驾驶路径规划)、自动化安全运营(7*24 小时告警降噪)等,但敏感信息和业务数据泄露以及知识产权保护等问题都与企业经营息息相关,如处理不当将使企业遭受巨大经济损失。综合来看,大模型应用安全风险所造成的负面影响通常是无法被接受的,这也就直接导致了大模型应用畏首畏尾的局面,究其根本原因是对大模型的不信任。5/47 而安全能力通过针对性和体系化的保障手段可以间接提高信任度和满足合规要求,所以安全优先的大模型可以有效推动大模型应用发展。6/47 二、二、发展潜力发展潜力 大模型的特异性来源于人工智能算法、模型权重和训练数据,大模型的业务系统依托于基础设施和供应链,大模型的应用价值靠高质量数据集和业务的互动来实现。所以实现安全优先的大模型是一项系统性工程,它包含了国家安全、社会治理以及企业的网络与数据安全。2.12.1 市场发展驱动力市场发展驱动力 “安全优先的大模型”真正实现了业务驱动的逻辑闭环,数字安全产业自此正式开启“以合规为基、以业务为柱”的新价值时代。网络安全领域的发展主要以监管合规的要求为核心(产值贡献 80%以上)驱动,虽然安全保障也涉及业务连续性方面,但更多的原因是关键信息基础设施发生安全风险会对国家安全、社会治理带来重大威胁。数据安全领域的发展虽然本质上是合规和业务双轮驱动的,但在现阶段我国数据流通基础设施尚未完善、数据交易体系尚未健全的情况下,数据要素价值还没有找到充分释放的场景,数据安全仍然以合规监管为核心驱动。然而人工智能安全却在诞生之初就具备业务驱动的逻辑闭环,真正实现了“以合规为基、以业务为柱”的驱动形态。2.1.12.1.1 大模型内生“缺陷”转化为安全原生需求大模型内生“缺陷”转化为安全原生需求 大模型的突破性进展催动人类加速步入 AGI 时代,在人工智能逐渐成为数字化基础设施的这一背景下,对于国家、社会、企业来说已经无需再探讨是否使用人工智能的话题,关键是解决如何利用好人工智能的问题。对于企业来说,人工智能所带来的高效性是数字时代商业竞争的核心支撑,不使用人工智能的企业终将丧失竞争力,彻底出局。7/47 但大模型自身安全问题无法彻底解决,如幻觉、数据漂移、非预期行为等,更为关键的是大模型应用安全风险全部来源于具体业务系统的风控需求,这不仅仅是基础设施层面的安全可靠性保障,而是业务应用层面的价值保障。由于大模型的性能和创造力与安全对齐的强度是成反比的,不能本末倒置的为了追求安全性而降低大模型的应用价值,只能通过后期工程化的方式用系统性的安全能力满足各类应用场景的安全需求。所以这种大模型的内生“缺陷”就决定了大模型业务系统与安全能力的孪生属性,安全能力就成为了大模型应用的原生需求。大模型业务系统支撑企业的数字化业务,数字化业务的发展决定了安全优先的大模型市场规模的高度,业务驱动则成为了大模型安全的支柱。2.1.22.1.2 大模型强监管态势夯实安全合规基础大模型强监管态势夯实安全合规基础 自人工智能技术诞生之初,人工智能治理的概念在全球范围内就得到了共识。我国作为人工智能强国,在 2023 年“一带一路”峰会上,由习近平主席发布了全球人工智能治理倡议,倡议人工智能的发展要以人为本,建立健全法律和规章制度。在 2025 年世界人工智能大会上,由李强总理发布了人工智能全球治理行动计划,强调把握机遇共同发展,并开展人工智能安全治理。全球范围内对人工智能,尤其是生成式大模型应用都处于高位监管态势,我国陆续发布了互联网信息服务算法推荐管理规定、互联网信息服务深度合成管理规定、生成式人工智能服务管理暂行办法、人工智能成合成内容标识办法以及国家标准生成式人工智能服务安全基本要求,从算法安全、语料安全、模型安全、应用安全以及模型上线等过程均有高强度监管要求。除此之外,中央网信办还开展了“清朗整治 AI 技术滥用”专项行动,统筹协调全国各地对 AI 技术滥用、AI 管理缺失等现象进行整治,成果颇丰。在人工智能强监管态势的确定性环境中,深入实施“人工智能 ”行动将继续促 8/47 动人工智能的发展,从而进一步夯实人工智能安全合规基础。2.22.2 安全能力核心逻辑安全能力核心逻辑 由于实现安全优先的大模型需要依靠技术和管理手段,所以相应的大模型安全保护产品、解决方案和服务也就应运而生。实现这些安全能力的核心逻辑有三点,分别为以“模”制“模”、以权限和身份重塑业务、以安全工程保障系统工程。2.2.12.2.1 以“模”制“模”以“模”制“模”以“模”制“模”的本质是基于大模型性能与安全性无法平衡的根本属性(安全对齐强度与创造力成反比),用安全专业“小”模型消减大模型输入风险、审核大模型输出内容,实现最高的投入产出比。但用户在选择产品时需要注意分辨,其中最重要的语义分析不是关键字匹配,而是意图推测和多轮对话的上下文关联分析,有些厂商会混淆概念以夸大自身能力。如果内容安全控制方面存在多模态需求,更需要进一步甄别,多模态识别能力与人工智能研究能力强相关,不同供应商之间差别较大。对抗性攻击防护对抗性攻击防护 提示词注入、模型规避(Model Evasion Attacks)等对抗性攻击,有效的解决方法是对模型进行代码调整,但其花费的时间和金钱成本较高,而这些攻击又相当于软件的零日漏洞,是不可计量、无法预测的。前置语义检测安全大模型是简单、有效、低成本的最佳方法,对于已经发现的对抗性攻击类型可以直接进行防护。对于未发现的对抗性攻击类型,只需要对安全大模型进行少量调整即可,而安全大模型的代码调整、更新部署是极其快速和简便的。因为其本质是由大模型蒸馏而来的“小”模型,并且其更新与业务系统和流程不产生直接影响。9/47 输出审核输出审核 大模型幻觉问题至今无法有效解决,价值观偏见、不安全的输出也会随着数据漂移、数据投毒等问题逐渐失效。还有,不同用户对敏感数据的定义也不尽相同,在输出内容的控制上无法通过模型自身满足不同需求。解决这些问题同样需要从模型训练和数据入手,其花费的时间和金钱成本较高。而通过安全大模型对输出的内容进行审核或代理回答,既灵活又简单,通过自定义的输出内容审核规则,可以满足不同用户的个性化需求。2.2.22.2.2 以权限和身份管理重塑业务以权限和身份管理重塑业务 权限和身份重塑的本质是为了解决业务系统引入大模型后,由于业务系统流程逻辑变更从而导致的原有身份和权限控制失效,致使发生商业数据泄露、信息泄密、敏感信息泄露、知识产权受损等事件。如引入大模型的人力资源系统、文档管理系统,原有控制是通过身份来设置的数据访问权限,用户通过应用系统访问数据库。由于大模型的引入改变了用户与系统的交互方式,用户通过大模型访问数据库,任意员工均有可能通过与大模型的交互绕过原有身份权限获取更大范围的数据、信息。有效应对的方法是通过业务具体控制需求和流程,以模型权限、用户身份管理为核心,辅助 UEBA、API、数据分类分级以及模型交互审查等技术,重塑业务系统安全控制体系。2.2.32.2.3 以安全工程保障系统工程以安全工程保障系统工程 系统保障的本质是为了解决大模型应用风险的传递性,通过安全系统对信息系统的全生命周期、数据处理的全流程进行整体性、体系化的安全保障,利用技术和管理手段构建全方位、多层次的安全能力。由于大模型的本质是软件,在应用过程中扩展为信息系统,涉及网络与数据基础 10/47 设施、软件与模型供应链、数据管理、应用管理等,此时的大模型安全风险已经从大模型自身扩展到了大模型应用系统,每一个环节的安全风险都可能会引起大模型应用的安全事件,如非授权访问、敏感数据泄露,而这些安全风险也会通过系统的传递性间接影响大模型自身,最终产生各类安全问题。数据安全数据安全 大模型应用涉及预训练数据、后训练数据、RAG 数据、用户输入数据、模型输出数据等,在数据处理的各环节都有相应的安全风险,如数据投毒、数据窃取、个人信息保护、敏感信息泄露等。对于这些数据处理的全流程都需要进行安全保障,在通用数据安全和个人信息保护能力之上,还需要数据标注、数据清洗、数据聚合泄密、信息推断泄露等大模型专有数据安全保障需求。供应链安全供应链安全 大模型应用的供应链涉及算法、模型、框架、部署与推理工具、集成组件,在供应链上的每一个安全风险都可能影响整个大模型应用系统的安全。如利用部署与推理工具Ollma的安全漏洞进行模型窃取,在GitHub上传恶意组件包预留后门。对于供应链安全风险,与通用软件供应链安全保障思路一致,目前并未发现大模型专有安全保障需求。基础设施安全基础设施安全 大模型系统的基础设施安全需求总体上与通用信息系统一致,安全保障技术和思路延用通用网络安全来构建体系化的保障能力。唯一需要注意的是,在可预见的未来,智能手机、智能设备以及具身智能会成为新的大模型主要运行环境,而且都有其各自的特性,比如操作系统、存储类型、交互方式等,需要考虑安全防护能力在算力、存储等方面的限制,进行轻量化、针对性设计。11/47 2.32.3 未来趋势未来趋势 2.3.12.3.1 大模型重塑数字生活,人工智能治理道阻且长大模型重塑数字生活,人工智能治理道阻且长 大模型的应用已经悄然改变了互联网搜索的交互方式,随着应用的深入,会有更多的传统数字化应用交互方式被改变,未来还会出现全新的数字化交互方式重新塑造数字生活。在面对一个全新的数字化社会形态时,尤其是在大国竞争转为贸易战和科技战的背景下,人工智能作为可以赋能第一二三产业的全面型应用,势必会受到额外的重视。价值越高,风险越大,未来的人工智能治理道阻且长,需要国家、社会、企业共同参与,贡献自己的力量。2.3.22.3.2 端侧大模型需求激增,安全能力需要新突破端侧大模型需求激增,安全能力需要新突破 模型蒸馏使得大模型轻量化成为可能,目前已经出现了内置大模型的 PC 和智能手机,而且这种趋势必将快速演进。随着端侧大模型需求激增,对大模型的安全保护又有了新的要求。现在的大模型都部署在云环境或者一体机中,用户应用大模型都需要通过网络来完成,而端侧则由用户直接与大模型进行交互,通过网络边界提供的安全能力立即失效。端侧大模型的保护需要安全能力进行针对性设计,不仅要适配端侧算力和存储的要求,最重要的是提供离线使用控制能力,在不损失大模型应用价值的同时确保大模型和输出内容的安全与合规。2.3.32.3.3 后训练是应用关键,数据价值再次攀升后训练是应用关键,数据价值再次攀升 全球范围内,当前通用大模型参数规模已经突破 3000 亿,且发展趋势由预训练转为强化学习主导的后训练。由于距离实现通用人工智能还有很长的路要走,大 12/47 模型基础研究依然十分重要。但后训练涉及的微调、强化学习和规模扩展等技术,其核心之一就是高质量数据。高质量数据通常是由实际工作环境中获得或通过其他高质量数据合成,但由于受生成合成数据的模型自身稳定性的影响,合成数据会具有更高的风险。基于此,获取高质量数据的关键还在行业真实环境,数据的价值因为人工智能再一次得到升级,由数据资产上升成为知识产权。相应的,对于数据的安全保护难度也再一次升级。2.3.42.3.4 公众模型成为基础设施,智能体百家争鸣公众模型成为基础设施,智能体百家争鸣 虽然大模型基础研究十分重要,但当前人们已经广泛的认识到,人工智能的价值并不在于模型本身,而在于其深度融合并改造业务场景的过程中。而智能工作流、智能体和具身智能是当前可充分发挥大模型价值的载体。随着通用大模型竞争逐渐明朗,通用大模型将成为数字化的基础设施,而以领域大模型为核心的智能工作流、智能体和具身智能将展开新一轮的白热化竞争态势,呈现出百家争鸣的现象。由于智能体应用的发展,将会出现越来越多的具体安全需求,也会相应诞生与之相匹配的大模型业务系统安全解决方案。届时,安全优先的大模型概念必将深入人心,大模型安全保护产品、服务和解决方案也将迎来真正的爆发。13/47 三、三、推荐供应商推荐供应商 在本报告调研的过程中,数世咨询发现,现阶段可提供大模型安全保护产品、服务、解决方案的供应商共 30 家(不包括通用安全能力)左右,参与本次调研工作的共 23 家。根据调研数据,结合各供应商在安全优先的大模型领域中的资源投入、AI 研究能力、产品能力、服务水平以及分析师评价,数世咨询评选出 6 家“安全优先的大模型推荐供应商”。奇安信奇安信 作为国内网络安全行业领军企业,奇安信集团密切关注人工智能大模型及应用系统全生命周期的主要威胁,深度参与国家相关标准与规范的制定与起草工作。奇安信是信通院“云上大模型安全推进方阵”成员单位、生成式人工智能服务安全应急响应指南网络安全标准实践指南起草单位、大模型安全测评标准参编单位、安全大模型能力要求与评估方法核心参编单位。目前,奇安信针对大模型安全提供涉及安全开发、安全合规测试、安全评估、安全运行防护、智能安全运营与安全响应在内的多项产品与服务,包括大模型安全评估服务、大模型安全卫士、零信任访问控制、数据安全网关、特权卫士、代码 14/47 /开源卫士等,致力于为人工智能大模型及应用系统提供全生命周期的安全保障,确保广大政企机构的智能化转型安全顺畅。绿盟科技绿盟科技 绿盟科技依托二十余年网络安全深耕与十余年 AI 安全研究,已形成覆盖“研究产品运营”全栈的大模型安全能力。公司设有星云、天枢两大 AI 安全实验室,累计发布大模型安全风险矩阵 SecLLM 技术白皮书等权威报告,并参与制定国内首个 云上大模型安全参考架构,成为“云上大模型安全推进方阵”首批成员。面向产业落地,绿盟推出“AI-UTM 安全一体机”与“大模型安全围栏”双轮产品:一体机集成“AI-Scan”、“AI-AFW”、“AI-CONT”、AI-DLP”四大引擎,形成“评估 加固、阻断 代答、审计 回溯”三道纵深防线。其中,AI-Scan 贯穿“训练-部署-运营”全周期,内置百余种对抗样本模板与自动化变异算法,可在分钟级完成提示注入、越狱攻击、幻觉诱导等 20 类风险场景的红队测试,并输出 CVSS-AI 评分及修复建议。围栏则以意图识别、提示词过滤、算力熔断为核心,解决 API 滥用、投毒、幻觉等场景化痛点。在合规与供应链维度,绿盟建立 RAI 负责任 AI 框架,形成覆盖基座、数据、模型、应用、身份五大域、56 子域的评估体系,已为金融、运营商、政务等头部客户完成十余个大模型的合规备案与对抗测试。同时,绿盟开放 AI 安全生态社区,携手合作伙伴持续输出威胁情报、最佳实践与人才培养计划,实现大模型安全的可持续演进。联通数科联通数科 联通数科推出“智盾智算安全防护体系”,助力全面识别并应对智算服务中的潜在安全风险,打造端到端的智算安全产品能力,为各类智算应用提供内生式、一体化的安全解决方案。围绕智算基础设施和模型应用两大核心方向,提供一体化的安全防护方案。基础 15/47 设施层面,平台聚焦网络、负载、管理三大关键节点,整合联通 DDoS 防御、网络入侵防御、主机容器安全、平台安全管理审计等系列产品,构建起可防御、可管理、可审计、可溯源的立体化安全防护体系。模型与应用层面,平台重点针对模型、数据、应用三个维度,结合大模型风险评估、内容安全围栏、大模型防火墙、数据清洗审计等工具,形成覆盖智算服务全生命周期的安全保障机制。多层级联动防护,提升智算公共服务及私有化交付场景的安全效能。融合联通智算基础设施和服务能力,采用平台化思路整合原子级安全能力,实现全局视角的风险评估、分析研判、响应处置与事件溯源,构建起涵盖事前安全评估、事中主动防御、事后追踪溯源的一体化安全架构,整体安全防护效率提升 30%以上。联通数科智盾智算安全防护体系切实保障人工智能技术应用过程中的安全可靠、内容可信、风险可控,是支撑国家安全体系建设的生动实践。火山引擎火山引擎 火山引擎是字节跳动旗下云和 AI 服务平台,将字节跳动快速发展过程中积累的增长方法、技术能力和应用工具开放给外部企业,通过云和智能技术帮助企业构建体验创新、数据驱动和敏捷迭代等能力,推进企业 AI 转型,激发增长潜能。火山引擎云安全依托字节跳动在安全技术上的实践沉淀,面向互联网、金融、汽车、大消费等行业输出云上安全能力,保障企业用户网络、数据、云原生、终端、大模型等的安全。同时,紧贴客户需求,重点布局大模型安全、数据隐私安全、AI 安全智能体等领域,致力于在 AI 时代,为企业大模型应用提供最全面的云上安全防护方案。安泉数智安泉数智 安泉数智深度参与国家人工智能安全顶层设计,参与和起草多项行业标准。以“AI 对抗 AI”的理念推出“大模型安全综合治理平台”。业界首创“RAPAO”大模型安全五步闭环管理模型,从模型训练、部署和运行,覆盖大模型全生命周期十个方面安全问题。该方案包括大模型资产台账系统、人工智能模型评测平台、人工智能增强平台和大模型审计与配置系统以及大模型安全运营系统。16/47 不仅涵盖数据安全、模型鲁棒性与算法合规性等风险,深入大模型安全机理研究,构建起实时溯源、可控的风险监控与资源调度体系。通过有害内容拦截、越狱攻击检测、敏感词过滤等输入管控功能,以及内容合规检查、有害内容替换、隐私数据脱敏等输出管控功能,确保大模型生成内容的安全性与合规性,为开发者与企业提供高效、可靠的安全防护解决方案。“配置审计”精准纠偏,梳理关键配置项,制定基线标准,保障模型配置合规;“安全运营”持续改进,通过实时监测、快速响应与持续优化实现动态闭环,提升风险事件响应速度。助力应对 AI全生命周期安全挑战,通过持续技术创新,助力 AI 造福人类。公司通过资产-评测-防护-治理-运营五位一体架构,将技术能力与行业需求深度融合,为监管、能源、金融、政务等领域提供从风险预警到主动免疫的闭环防护,树立大模型安全可信应用标杆。360360 数字安全数字安全 360 依托二十年来网络安全领域的深厚积累、AI 领域的技术深耕以及 AI 业务(360 智脑、纳米搜索等)的安全实践,形成了“懂 AI 更懂安全”的跨领域优势,提出“以模制模”新范式,即利用人工智能技术自身优势对抗 AI 安全风险,打磨出 360 大模型安全卫士,解决 AI 自身安全“可靠、可信、向善、可控”四大核心问题。“可靠”指聚焦模型基础安全问题,智能识别供应链开源软件漏洞和 AI 自身缺陷,实现模型资产闭环管理,保障系统环境安全;“可信”与“向善”则针对模型原生安全挑战,借助幻觉抑制、内容安全防护等技术,保障输出内容真实可信、符合社会良善导向,应对误导、违规风险;“可控”强调智能体执行安全,通过身份认证、权限管控、异常识别等,防范数据泄露与越权操作,确保 AI 行动能力可控。整套体系通过 AI 对抗 AI 的闭环设计,实现了从源头上化解威胁的全局方案。同时,360 积极配合推动 AI 安全行业发展,作为国家人工智能标准化大模型专题组联合组长单位,公司积极参与国标与安全框架的制定,并牵头发起大模型安全联盟,打造资源共享、共创共赢的生态集群。未来,360 将深化生态协作,致力于为 AI 时代的可持续发展注入强劲动力,助力构建更可信赖的智能世界。17/47 四、四、安全能力安全能力 数世咨询持续关注并研究人工智能领域,在大模型安全方面,已经发布了LLM驱动数字安全(关注“数世咨询”公众号,回复“安全大模型 2024”下载)调研报告,该报告核心方向为利用大模型赋能安全运营。大模型安全分为两方面,一是利用大模型做安全,一是保护大模型安全。本报告所介绍的安全能力方向为保护大模型安全,即安全优先的大模型。在理论层面上,大模型的安全保护关注 4 个方向,即 AI 治理、数据安全、模型安全和基础设施安全,如上图所示。在实际应用的过程中,站在企业用户的角度上,现阶段对于大模型业务的安全保 18/47 护则主要围绕大模型业务系统以及数据处理全流程来展开。4.14.1 大模型业务大模型业务系统系统安全风险安全风险 大模型业务系统包括大模型赋能的工作流和基于大模型的智能体,在业务运营的过程中,各个阶段都存在着大模型特有的安全风险以及系统安全风险。企业用户的大模型业务大致可分为以下 4 个主要阶段:预训练:大型科技企业或科研机构会通过预训练的方式生成自己的通用大模型,其他企业通常会以开源通用大模型或者商业通用大模型作为自己的基础模型代替预训练阶段。后训练:通用大模型的核心是思维推理能力,而解决具体问题的能力是由后训练提供的。后训练包括更加深入的领域知识强化学习以及价值观对齐,企业用户可以自己进行模型微调或者购买专业的领域大模型。开发与部署:拥有领域大模型后就可以进行业务系统的开发、部署,目前较为成熟的大模型业务模式为智能工作流和智能体两类,由于业务的多样性可能涉及与各类应用工具或其他智能体交互。为了使大模型业务应用输出更加准确,通常还会与 RAG 数据进行交互,获取实时数据。推理与运营:大模型业务系统部署上线后即可进行推理任务,与其他信息系统一样,需要持续性的运营工作以保证其业务正常开展。在大模型业务运营的不同阶段中,由于安全能力不足没有执行相应的管理和控制措施,将会发生诸多类型的特定安全事件对业务产生负面影响,这些负面影响如下图所示:19/47 而这些相应的大模型业务系统安全风险,散布在大模型业务的不同关键节点中,如下图所示:20/47 根据大模型业务系统所面临的安全风险,经分析后整理成 6 种类型,如上图所示:供应链安全风险:主要存在于模型预训练、后训练、模型部署、模型推理所使用的各类框架、工具、类库之中,并存在安全风险的传递性,可能发生模型源篡改、敏感数据泄露等安全事件。数据安全风险:存在于数据处理的全流程,集中表现在预训练数据、后训练数据、RAG 数据上,可能发生数据投毒、敏感数据泄露等安全事件。内容安全风险:大模型业务应用特有的安全风险,存在于输入与输出内容之中,可能发生对抗性攻击、敏感数据泄露等安全事件。业务应用安全风险:存在于大模型与工具或其他智能体的交互过程中,目前主流交互方式有 API、MCP、A2A 等协议,可能发生非授权访问、敏感数据泄露等安全事件。模型安全风险:由模型自身特异性决定,不受外部威胁影响即可发生模型幻觉、数据漂移等相应安全事件。基础设施安全风险:存在于大模型业务系统的存储、运行环境中,可能发生模型窃取、非授权访问等安全事件。4.24.2 安全优先的安全优先的大模型能力图谱大模型能力图谱 为了有效应对大模型业务系统的安全风险、降低安全事件产生的负面影响,数世咨询根据调研信息绘制了“安全优先的大模型能力图谱”,旨在为开展大模型业务的用户,在供应商选择和产品选型方面提供有益的参考。“安全优先的大模型能力图谱”根据大模型业务系统安全风险,一一对应分为六类,同样为供应链安全、数据安全、内容安全、业务应用安全、模型安全和基础设施安全。能力图谱中,不同的安全能力即可有效应对大模型业务系统中各个关键节点可能面临的安全风险,完整图谱如下。21/47 22/47 五、五、解决方案解决方案/典型案例典型案例推荐推荐 5.15.1 大模型安全解决方案大模型安全解决方案 方案背景方案背景 随着人工智能技术的迅猛发展,大模型在政务、金融、运营商、医疗、制造等众多领域得到了广泛应用。然而,大模型特有的安全风险和日益严格的合规要求正成为制约其发展的关键因素。大模型面临的安全风险表现在几个方面:生成内容的不可控性:大模型在生成内容时可能存在偏见、虚假信息(幻觉现象)、道德争议性内容等问题,难以完全预测和控制输出结果。大模型应用下新的攻击方式:恶意用户可以通过设计特殊的输入(Prompt 注入),绕过模型的安全规则,使其生成敏感,或通过注入达到入侵业务系统的目的。模型算力耗尽导致业务连续性中断:攻击者可能通过诱导模型执行复杂推理链或无限任务循环,从而引发算力耗尽型拒绝服务(Compute-DoS)攻击。方案概述方案概述 绿盟科技凭借多年网络安全领域的技术积累,推出绿盟大模型安全解决方案,该方案由大模型安全评估系统(AI-SCAN)、AI 安全一体机(AI-UTM)两款产品组成,形成覆盖大模型全生命周期的安全评估和防护体系。23/47 在模型训练和微调阶段,大模型安全评估系统(AI-SCAN)发挥着关键作用。该系统基于大模型系统安全测评要求等标准规范,对大模型进行全方位体检。通过内置的 10 万 测试用例库,系统可模拟提示词注入、数据投毒等 21 类攻击手法,检测模型在内容合规性、对抗防御能力等方面的薄弱环节。特别是在供应链安全方面,AI-SCAN 能深度扫描.pb、.h5 等 15 种模型文件格式,识别后门植入风险,并对 Ollama、Ray 等 450 多个大模型组件进行漏洞检测,从源头保障模型安全。在模型部署和应用阶段,AI 安全一体机(AI-UTM)提供关键的运行安全保障。该产品采用独特的三体防护架构,在内容安全方面建立三级过滤机制:基于 30万 敏感词的词法检测实现毫秒级响应;通过自研风云卫模型进行语义理解,识别变体违规内容;利用 128K tokens 的上下文记忆窗口确保多轮对话中的精准判断。在算力安全方面,其可将算力资源划分为保障级、普通级和限制级,通过预测算法防止 Token 耗尽攻击,保障模型服务安全稳定。在应用和智能体运行阶段,AI 安全一体机(AI-UTM)针对大模型特有的漏洞攻击场景,构建了多维度、智能化的防护体系,通过深度语义分析及动态检测引擎,精准拦截 SQL 注入、XSS、SSRF 等传统 Web 攻击,防止攻击者利用漏洞入侵大模型后端服务或窃取数据。通过多维度检测机制(如关键词过滤、上下文语义分析、异常输入模式识别),阻断恶意构造的提示词输入,避免模型被诱导输出违规内容或泄露训练数据隐私,保障模型应用安全。解决方案核心价值解决方案核心价值 24/47 全生命周期安全防护全生命周期安全防护 训练和微调阶段:通过 AI-SCAN 进行模型安全评估,识别训练数据投毒、后门植入等风险 部署和应用阶段:利用 AI-UTM 提供内容安全防护、算力资源管控和数据泄露防护 模型和智能体应用阶段:通过 AI-UTM 实现业务应用/API 暴露面的软件漏洞及应用层攻击防护 多维安全能力融合多维安全能力融合 安全运营:组件间联动运营,AI-SCAN 评估的风险可输入给 AI-UTM、AI-UTM,从而生成安全防护策略,形成 AI 安全运营和闭环 合规性保障:满足 TC260-003 技术标准、大模型备案等合规要求 全面风险识别:覆盖提示注入、越狱攻击、敏感信息泄露等 21 类对抗风险 AIAI 安全产品详解安全产品详解 大模型安全评估 AI-SCAN AI-SCAN 是一款专业的大模型安全评估工具,凭借专业人员精心筛选和校准的高级知识库,该系统可高效精准地检测大模型在生成内容安全、对抗防御能力以及供应链安全三方面可能存在的隐患,并且可通过自定义导入企业内部风险库进行针对性的大模型安全风险智能化评估,最后通过详尽的可视化风险评估报告为用户提供深刻洞见。核心功能 内容合规评估:严格依据 GB/T 45654-2025 标准,通过多维度评估引擎,实现对模型输出内容的全面安全合规验证 对抗防御评估:覆盖模型越狱、Prompt 泄露、角色逃逸、反演攻击等 7 大类22 小类对抗安全风险 25/47 模型后门检测:提供先进的恶意模型后门检测分析技术,覆盖 15 种主流 AI模型文件格式的后门风险检测 模型组件漏洞扫描:覆盖数据处理访问、训练部署、ML Ops 等 13 个大模型全生命周期中涉及的组件及 Web 应用服务的漏洞检测.漏洞数量 3000 。自定义题库智能评估:行业特色或特定场景化题库快速导入,内置匹配类、智能评估类、拒答类等多种评估器灵活适配不同题库场景 技术优势 全面性:覆盖伦理对齐、对抗攻击防护、供应链检测等多个维度 创新性:采用以模治模、高效匹配、拒答判断等多种评估方式 高效性:支持并行处理,单任务评估时间30 分钟 兼容性:全新大模型分钟级适配接入,简单快捷 简洁性:跟踪说明风险检测的全过程,采用易读易懂的方式展示每条风险详情 灵活性:除内置多种题库外,可灵活增加其它特定场景题库评估 典型部署场景 AI 安全评估系统旁路部署,生成多样化的对抗攻击样本和内容合规风险样本,用于评估各版本大模型在不同应用场景中的输出内容安全性 AI 安全一体机 AI-UTM AI 安全一体机是专为大模型场景设计的新一代安全网关,采用创新的三体防护 26/47 架构,深度融合规则引擎与 AI 算法,提供内容安全防护、算力资源管理、数据泄露防护和大模型安全评估四大核心能力。为大模型基础组件安全、大模型自身安全、大模型应用安全、大模型数据安全,提供分层递进的防护能力。核心功能 内容安全防护:三级内容过滤体系(词法、语义、上下文),128K tokens 记忆窗口 提示词加固:对传递给大模型的指令,可配置策略限制提示词语境环境,有效降低大模型自身安全风险。算力资源管理:三级优先级动态分配策略,智能预测算法防止系统过载 数据泄露防护:敏感信息识别准确率超过 99%,支持文本、图片等多模态内容识别 全链路审计:支持智能体应用、大模型 API 输入输出的全链路安全审计 技术优势 场景接入灵活、全面:同时防护大模型流量 传统 Web 流量,快速兼容各类大模型应用和传统 web 应用藕合的客户场景 高性能:毫秒级实时响应,支持流式检测、不影响模型业务模式 高可靠:可集群部署,服务可用性99.9%易管理:可视化控制台,多维策略配置集中管理 部署模式(部署在模型前)典型场景 1 27/47 AI 安全一体机部署在大模型服务的 API 接口前,隐藏大模型服务真实 API,实现AI 网关、key 和 token 管控、内容安全合规、提示词攻击防护、算力攻击防护、智能体级对话审计等功能,提供一站式大模型服务安全防护 典型场景 2 AI 安全一体机部署在调用大模型能力的业务应用/Web 服务前,对外隐藏业务应用,实现内容安全合规、提示词攻击防护、算力攻击防护、数据泄露防护、用户级对话审计等功能,提供一站式大模型服务及智能体应用安全防护。本方案由绿盟科技提供 28/47 5.25.2 数字政府智算服务一体化安全保护案例数字政府智算服务一体化安全保护案例 项目背景简介项目背景简介 某省政府已完成能智能支撑平台建设,平台采用“115 N”架构进行建设,打造1 个知识中心、1 个模型中心、5 个智能化支撑平台,为 N 个场景智能化建设提供支撑服务。平台及其生产的智能应用(智能问答、智能写作、智能搜索等),在智算基础设施、模型、应用、内容层面需要一体化安全能力建设,以满足规划要求以及内生安全建设需求。大模型业务系统安全保护需求大模型业务系统安全保护需求 由于平台所生产的智能应用,需要面向公众提供 AI 服务,所有智能体均采用统一平台构建,对于 AI 服务在模型应用以及内容安全层面的安全风险和防护需求,主要集中在三个层面:合规性内生安全:以生成式人工智能服务管理暂行办法为依据,针对对公服务的智能化应用开展备案前的风险评估以及日常风险巡检,及时发现智能化应用的潜在风险问题,联合其他工具进行针对性的安全防护建设;应用层统一防护:省级智能化应用存在海量的潜在用户,需要进行一体化的应用层安全防护能力建设,规避 Web 攻击、API 异常调用、提示词注入、算力消耗等攻击风险,同时需要以低延时的效果提升用户的交互体验;多模态内容安全:智能化应用涉及到 AIGC 的多个领域,对于输出的多模态内容需要进行安全过滤,同时针对用户提交的敏感问题,需要智能化安全代答,在保证输出内容合规的前提下,对用户进行向善引导;整体解决方案整体解决方案 联通智盾智算安全防护体系,依托联通“国芯 国算 国模 国盾”四位一体的战略布局,基于运营商云网数智资源禀赋,在网、端、管、控等基础设施安全能 29/47 力之上,深挖智算服务在模型、应用、内容层面的安全风险,通过大模型风险评估、大模型防火墙、大模型安全围栏等产品,在智算安全运营支撑体系下,切实保障人工智能的安全可靠、内容可信、风险可控。大模型风险评估大模型风险评估 大模型风险评估评估是一款专注于大模型安全评测的自动化工具,提供一站式的模型接入、数据管理、安全评测、任务管理及结果分析能力。通过预置的海量安全评测数据集和大模型自动泛化生成的攻击数据集,对模型供应链、应用层漏洞、模型内容安全、合规性满足、对抗攻击防御等方面进行综合评估。多维度测评数据集:内置海量行业标准安全测评数据集,覆盖国家安全、公共安全、伦理安全等多个评测维度,可通过大模型自动泛化生成攻击样本的能力,确保测评的全面性和时效性。智能化精准测评:通过优质题库 专业裁判大模型,采用先进的自然语言处理技术和智能算法,可实现高效、精准的安全检测。模型资产风险管理:提供模型基础设施安全、模型组件安全、模型应用安全等扫描能力,可覆盖服务开发、中间件、向量数据库等 35 种模型组件,可识别 22 种常见安全问题。30/47 大模型防火墙大模型防火墙 大模型防火墙,整合传统 Web 应用防火墙能力,针对智算服务使用场景,增加对于内容安全、提示词防护相关能力,实现对文本内容的输入攻击检测、输出安全过滤、敏感问题安全代答等功能,供给 All in one 的智算应用安全事中防护能力。一站式安全能力:整合基础安全防护组件,实现对传统 DDoS 和网络攻击的全方位防护,支持多模态注入攻击和有害内容检测,通过端侧水印技术实现高精准防薅羊毛与防爬虫,极大避免了因 tokens 盗用带来的经济损失。同时,将 Web 漏洞防护、抗 D 能力默认统一接入,一站式解决所有大模型 API 安全问题。安全防护低延时:风险监测延迟普遍在 150ms 以内,成功接入优化后,延迟稳定在 100ms 以内,可为后续高并发场景奠定性能基础。流式安全检测:具备业内领先的流式输出检测和拦截能力,由专业化和持续迭代的专业安全模型来识别恶意提示词,并对敏感问题进行代答和正向引导。31/47 大模型安全围栏大模型安全围栏 大模型安全围栏是专门为大模型服务提供方打造的多模态内容安全防护系统,通过风险内容检测、敏感问题代答等能力,帮助大模型过滤有害输入和输出内容,防止大模型生成不良信息。多模态内容检测:基于深度学习和大语言模型技术,可检测文本、图像、音频、视频、代码等多模态输入/输出内容,覆盖政治敏感、暴力违禁、虚假信息等超 100 种风险类型 智能化安全代答:对于敏感非拒答问题,通过干预库和安全回复大模型两个模块实现智能化安全代答,既能保证回答的广覆盖,也能提供精准匹配回答,引导输出内容安全向善。一体化风险运营:风控运营系统还通过规则引擎提供了细粒度的风控尺度调控,支持不同业务场景下不同的风控松紧度,提供风控数据统计功能,量化业务侧风险水位、防护效果和护栏的价值。32/47 本案例由联通数科提供 33/47 5.35.3 科技制造业大模型安全防护案例科技制造业大模型安全防护案例 项目背景简介项目背景简介 作为一家全球化布局的高科技制造企业,该组织在国内外拥有多个分支机构。公司高度重视信息安全,并严格遵循各业务所在国的监管合规要求。该组织积极推动生成式人工智能(GenAI)在内部运营与生产系统的深度应用。当前重点聚焦于 跨部门知识管理与共享:利用 GenAI 提升内部知识沉淀、检索与流转效率,赋能跨部门协作。智能化文档处理:应用 GenAI 技术实现文档的自动生成、摘要、翻译与关键信息提取,优化办公流程。大模型业务系统安全保护需求大模型业务系统安全保护需求 在上述应用实践中,确保以下方面至关重要:严格的信息安全严格的信息安全 保障公司敏感数据、知识产权及员工隐私在 AI 应用全生命周期的安全防护。组织已经在内部网络部署了多个生成式人工智能大模型,并为内部的多个应用提供模型服务。大模型的引入不仅增加了应用与数据的暴露面,攻击者同时有了新的攻击方式,例如利用提示词注入攻击操纵模型、利用向量与嵌入漏洞越权访问数据等,现有的安全防护手段无法有效发现和处理这些新型攻击。属地化人工智能合规属地化人工智能合规 满足各分支机构所在国家/地区关于数据主权、跨境传输及人工智能使用的特定法律法规要求。例如:欧盟人工智能法案、GDPR、GPAI 行为准则、生成式人工智能服务管理暂行办法等。34/47 用户体验与连续性:安全措施的部署和运行,应最大限度的减少对用户使用大模型应用的最终体验的影响,例如请求处理和答复响应的时间延迟;方便进行安全能力的扩展以适应业务处理能力的变化,并满足业务对安全组件的可靠性要求。整体解决方案整体解决方案 模型使用可见模型使用可见 通过旁路 API 访问代理引流的方式,对应用系统与模型服务之间的 API 请求和响应及交互的内容进行解密、完整可见与内容记录。为合规与安全访问审计提供全面的数据支撑。模型输入检查模型输入检查 通过协议解析对应用系统调用模型的提示词内容进行分离和多维度的检测,使用多种检测技术包括关键词引擎、规则引擎、语义分类引擎,发现输入内容中存在安全与合规风险包括:提问内容违规、敏感数据泄露、隐私数据违规、提示词注入攻击等。对发现的潜在风险根据预设的处置策略进行代答、告警等处置动作。模型输出过滤模型输出过滤 对模型生成的内容进行输出合规与安全检查,确保模型生成的内容符合组织内外部的合规与安全要求。基于安全策略对发现风险的内容进行事件告警、内容改写等处置动作。体验与业务连续体验与业务连续 35/47 通过优化引擎检测技术及组合设计多种检测与处置的协同模式适应对用户体验的要求;通过安全能力的集群化部署配合负载均衡设备进行大量请求负载的动态处理。核心安全能力核心安全能力 组件化分离架构组件化分离架构 通过 AI 鉴定平台、安全代理网关(SWG)、监测审计平台三个组件实现,输入输出全链路防护。组件架构为性能扩展、环境部署、应用集成提供了极大的便利性。高效的检测引擎高效的检测引擎 采用“多引擎协同 动态检测”技术:内置多个风险鉴定引擎。首创分层拦截架构,实现“字符级过滤攻击模板识别意图分析”三级防护。可以有效检测针对大模型的新型攻击。自研的安全对抗防御引擎:基于 transformer 的预训练检测引擎,可实时拦截 70 类攻击手法(例如:提示词注入、模型对抗攻击);流式风险评估:支持上下文感知机制,实现流式 Token 实时风险评分,实时拦截恶意 Prompt、实时中断有害内容输出,避免有害信息扩散。合规性检测:内置 TC260生成式人工智能服务管理暂行办法合规检测能力,覆盖数据隐私、法律合规等主要风险场景;敏感数据检测算法:运用先进的敏感数据检测技术,对大模型的输入数据进行实时扫描和分析,能够准确识别并拦截包含企业核心商业机密、个人隐私信息等敏感数据的投喂行为。全面的兼容性全面的兼容性 与主流的大模型应用和技术架构具有良好的兼容性,可无缝集成到企业现有的 IT 环境中,降低企业的部署成本和复杂度,快速实现对大模型的安全防护升级。主动防御与智能分析主动防御与智能分析 利用 AI 技术的自我学习和进化能力,对大模型的安全风险进行主动预测和分 36/47 析,提前发现潜在的安全威胁并采取相应的防护措施。同时,通过对大量安全数据的挖掘和分析,不断优化和完善安全防护模型,为企业提供更智能、更精准的安全防护服务。安全能力的持续更新安全能力的持续更新 丰富的攻击预训练样本及红蓝对抗测试验证。持续收集来源红队、自有情报等各方面,基于自然语言规则的数百万条风险样本。组织大规模人工渗透测试,验证系统防御能力。本案例由奇安信提供 37/47 5.45.4 联想携手火山引擎推出可信个人云联想携手火山引擎推出可信个人云案例案例 项目背景简介项目背景简介 2023 年以来,大模型技术快速成熟,特别是 DeepSeek、豆包大模型等国产模型的崛起,推动中国人工智能进入高速发展期。大模型的引入显著提升了三大核心能力:意图理解维度:通过千亿级参数对自然语言的深度解析,使智能终端能精准捕捉用户模糊需求(如多轮对话、隐含语义识别);服务泛化能力:单一模型可同时支撑搜索、内容生成、设备控制等跨场景任务,大幅降低传统 AI 的场景定制开发成本;持续进化特性:基于在线学习的模型迭代机制,使终端服务能动态适应用户行为模式演变。与此同时,这些能力提升也带来了新的安全挑战:模型训练依赖的海量数据包含敏感信息,推理过程的实时交互需求迫使部分计算前移至终端,传统基于边界防护的安全架构已无法满足数据不动模型动的新型范式。行业亟需构建智能动态防御与大模型安全防护双体系并行的新一代安全架构。联想作为 AI PC 领域的先行者,始终将安全视为智能体验的核心基石。2023 年 4月推出的全球首款真正意义上的 AI PC,即以端侧数据隐私保护作为五大核心特征之一;2024年 5月发布的天禧个人超级智能体,进一步通过端-云混合架构,以用户数据在端、云之间传输和处理过程中的绝对安全为目标。作为国内 PC 领域首个可信个人云方案,联想个人云基于火山引擎 Jeddak AICC 平台打造,旨在构建严密可信的云上计算环境,全面保障大模型推理、RAG 检索增强生成、AI Agent 等核心能力的数据安全,并以更强的开放性与软硬适配能力,支撑多样化的企业部署场景。38/47 大模型业务系统安全保护需求大模型业务系统安全保护需求 随着端云协同成为智能终端发展的主流方向,大模型服务正从传统的云端集中式部署向终端本地化预装演进。这一趋势在提升 AI 体验的同时,也对安全与性能提出了更高要求:安全需安全需求:端云协同下的数据隐私保护求:端云协同下的数据隐私保护 在智能办公场景下,用户依赖大语言模型(LLM)完成文档智能总结、交互式问答等高阶任务,但云端模型处理需频繁上传文档数据,存在泄露敏感信息的风险。例如,企业会议纪要、个人隐私文件等一旦在传输或云端存储过程中被窃取,将造成严重的安全隐患。因此,联想 AIPC 亟需构建端云协同的可信安全架构,确保数据在本地预处理、加密传输及云端计算的全链路安全,真正实现“数据可用不可见”。性能需求:安全防护不影响流畅体验性能需求:安全防护不影响流畅体验 作为办公、学习及娱乐的核心设备,PC 需在 AI 文档处理、语音助手、实时搜索等场景下提供毫秒级响应,而传统云端安全校验机制(如数据回传、鉴权延迟)可能成为性能瓶颈。联想需优化端侧 AI 算力调度,结合轻量化模型本地推理,在保障安全的同时,提升 AI 助手的交互流畅度,从而增强用户粘性,巩固联想AI PC 的市场竞争力。整体解决方案整体解决方案 联想个人云以火山引擎 AICC 方案为基础,充分发挥其全链路 100%加密保障、可自证清白的透明服务以及良好架构实现的能效平衡等优势,构建严密可信的云上计算环境,提供更强的开放性、适应性,构建 AIPC 应用坚实、可信的算力底座,全面保障大模型推理、RAG 检索增强生成、AI Agent 等核心能力的数据安全。39/47 基于个人云安全方案,联想在知识库构建等典型应用中,已实现从内容创建、密态存储到加密检索与解密输出的全流程端到端隐私数据链路流程闭环。用户无需改变操作习惯,即可获得快速响应、可信输出的智能反馈,实现“安全无感”的日常体验,让 AI 服务真正成为可感知、可信赖、可持续的终端能力。除全链路加密等核心安全能力以外,该方案在设备兼容性方面也展现出高度适配性:不仅支持 PC 场景,也面向 ARM 架构进行了深度优化,覆盖手机、平板等多形态终端,并通过在私密云中集成 NVIDIA NVLink 与 NVSwitch 等高带宽互联技术,实现跨设备的 AI 能力流转与数据安全统一调度。核心安全能力核心安全能力 40/47 火山引擎 AICC 机密计算平台基于 TEE(可信执行环境)等前沿机密计算技术,为企业构建云端大模型的“安全计算空间”,从根源上消除数据在云端处理时的泄露风险,让企业真正“敢上云、敢用云”。核心功能包括:芯片级硬件隔离方案:在 AICC 环境中可对隐私数据进行计算和处理,全程外界无法查看原始数据内容,确保敏感信息不泄露。全链路密文流转:数据上云传输和计算过程中,始终以加密形式存在,确保数据在不可信环境中的安全性和隐私性。数据即用即销毁:计算完成后自动彻底删除原始数据及中间结果,不留存副本,杜绝数据在计算过程中留存的风险。安全可信可证明:可信证明服务确保计算环境、过程及结果的可信性与透明度。本案例由火山引擎提供 41/47 5.55.5 央企大模型综合治理案例央企大模型综合治理案例 项目背景简介项目背景简介 某央企作为电力能源行业的领军企业,业务覆盖煤炭开采、电力生产、油气输送、新能源开发等全产业链环节,其核心业务系统承担着能源生产调度、设备运维管理、客户能源供应服务及安全生产监管等关键职能。2025 年以来,该企业全面拥抱大模型,围绕集团战略规划、市场营销、工程建设、生产运维、安全环保和智慧应用等领域,构建了上百类智慧模型和智能体应用,促进整个集团数智化和智能化建设,实现核心业务能力的智能和效率。整体解决方案整体解决方案 针对大模型安全风险整体情况,安泉数智联合企业共同围绕大模型训练、部署和运行三个阶段,总结出了十个方面的问题,并针对提出全生命周期的完整解决方案。大模型资产台账系统为模型资产和训练数据提供一站式档案管理,为应用上架和管理提供全维度数据。人工智能模型评测平台通过自动化问答机制,评估目标大模型的输出内容安全性、数据泄露风险等,并提供整改建议。人工智能增强平台(即大模型防火墙)作为一道屏障和代理,抵挡在目标大模型之前,进行问答内容输入输出的管控,防止大模型的幻觉,或者回复恶意信息、被引导信息泄露。42/47 大模型审计与配置系统能给大模型配置合规和运行提供全面风险监测和审计。大模型安全运营系统为模型和智能应用提供多维度、实时安全态势和运营情况,为模型攻击和防御处置提供决策参考。整体架构图如下:核心安全能力核心安全能力 资产管理:摸清家底资产管理:摸清家底 通过构建“全生命周期模型资产库”,实现了从训练、部署到运行的全链路精细化管理。通过模型和智能体台账,对基础大模型、微调模型、衍生智能体行唯一标识与元数据登记(包括版本号、训练数据来源、适用场景、责任人),确保“底数清、权属明”;通过部署模型版本控制与访问权限管理系统,记录每一次修改、分发与部署的操作日志,防止未经授权的篡改或扩散。该体系为企业模型技术的合规应用与知识产权保护提供了坚实基础。风险评测:高效预警风险评测:高效预警 平台以自动化与智能化为核心,覆盖合规性、鲁棒性、对抗性、隐私性等维度,融合自动化测试工具与机器学习算法,自动生成多样化测试用例,覆盖大模型全 43/47 环节潜在风险,智能分析结果以快速定位漏洞,并借助并行处理缩短测评周期。同时构建全生命周期测评闭环,在安全开发阶段提供规范指导与环境扫描,训练阶段实施实时监控与性能评估,应用阶段开展常态化监测与快速响应,持续优化安全策略。风险防护:智能拦截风险防护:智能拦截 以“AI”对抗“AI”为指导思想,训练了 9 类小模型和 2 个安全垂域大模型,能融合实时监测、智能分析与动态拦截技术,具备实时流量分析能力以识别异常行为,集成深度学习模型提升未知威胁识别能力,支持自定义防护策略。通过输入过滤、输出把关、运行防护建立覆盖部署、运行、升级全流程的动态自适应机制,部署阶段进行前置合规检查,运行阶段实时监测并拦截攻击,升级阶段同步更新防护规则,有效筑牢了技术应用的“安全护城河”。配置审计:合规保障配置审计:合规保障 模型配置的合理性直接影响安全策略的执行效果,而配置偏差往往是引发风险的“隐性漏洞”。梳理模型运行的关键配置项(如内容过滤规则的严格等级、API访问白名单范围、日志记录的详细程度),制定模型安全配置基线标准,明确不同业务场景(如面向公众的开放服务、企业内部的专用工具)的推荐配置模板;通过自动化扫描工具定期检查实际配置与基线标准的差异,并结合日志分析验证配置的实际执行效果,为模型配置的“精准合规”提供了制度与技术双重保障。安全运营:持续改进安全运营:持续改进 安全运营是将静态能力转化为主动防御的动态安全体系,通过实时监测、快速响应与持续优化实现安全防护的动态闭环。在监测层,整合模型资产管理、风险评测、防御增强等模块的数据,基于 AI 算法对异常行为进行智能研判,按照风险等级自动推送告警信息至安全运营团队,并通过可视化大屏展示全局风险态势;在处置层,制定标准化应急预,联动多部门协同响应,确保风险事件“发现即处理”;企业模型安全事件的平均响应时间从小时级缩短至分钟级,真正实现了从“被动救火”到“主动护航”的能力跃升。44/47 该案例通过“模型资产管理”夯实基础、“风险评测”把好入口、“防御增强”主动免疫、“配置审计”精准纠偏、“安全运营”持续进化,构建了覆盖大模型与智能体全生命周期的体系化安全核心能力,不仅为企业提供了从技术到管理、从预防到处置的整体防护方案,更通过动态闭环机制推动安全能力与业务发展同频共振,为人工智能技术的可信应用树立了标杆实践。本案例由安泉数智提供 45/47 5.65.6 杭州市数据资源局大模型安全防护案例杭州市数据资源局大模型安全防护案例 项目背景简介项目背景简介 业务系统功能简介业务系统功能简介 杭州市数据资源管理局是杭州市人民政府下属的核心部门,负责全市政务数据的统一管理、开放共享和应用推广。2024 年,随着杭州“市政大模型”项目的落地,数据局承担了统一部署与对外服务的职责,政务系统内的大模型应用(包括政务咨询、智能客服、政务信息检索、政策解读等)均需通过数据局提供的统一接口进行调用。大模型的能力提升大模型的能力提升 大模型的引入显著提升了政务系统的智能化水平:自然语言交互能力增强:市民可通过自然语言与政务服务系统交互,大幅降低了使用门槛。知识覆盖面广:大模型可对政务政策法规、公共服务内容进行快速解答,提高政务信息服务效率。服务自动化程度提升:减少人工客服压力,提升政务服务的响应速度与市民满意度。大模型业务系统安全保护需求大模型业务系统安全保护需求 引入大模型带来的安全风险引入大模型带来的安全风险 政务大模型在应用过程中面临多类安全挑战:输入风险:市民可能无意或恶意输入包含敏感、违规、涉政涉恐或违法不良信息的内容。输出风险:模型可能生成不当言论、虚假信息或不符合政务导向的回答,导致舆情风险。攻击风险:存在越狱提示注入、敏感信息窃取等新型对抗风险。合规需求合规需求 46/47 为确保政务应用的合规性与可靠性,大模型服务需满足以下要求:符合国家生成式人工智能服务管理暂行办法要求。满足网信办等监管部门关于政务服务场景的合规规范。实现对违法不良信息的及时识别与处置,确保政务系统服务过程中的 可控、可靠、安全。整体解决方案整体解决方案 整体思路整体思路 杭州市数据局在政务大模型部署过程中,引入 360 智脑大模型安全护栏作为核心安全防护组件。该系统通过实时检测和安全代答机制,实现对大模型输入与输出全链路的风险管控,形成“前置过滤过程检测结果处置”的闭环安全防护体系。方案框架图(示意)方案框架图(示意)核心安全能力核心安全能力 风风险检测与智能识别险检测与智能识别 基于海量敏感词库与风险检测大模型双引擎,动态更新风险库,覆盖面广,识别准确率达 99%以上。47/47 拒识率低于 0.1%,在保障安全性的同时兼顾可用性。安全代答机制安全代答机制 对高敏感度问题提供 预置安全答案,避免大模型直接生成潜在风险内容。每日支持 900 余条安全代答请求,确保用户体验与服务连续性。高性能与可扩展性高性能与可扩展性 部署规模:单台服务器,3 张 GPU 显卡,支持 40 并发请求。支撑杭州市政务系统的多业务场景应用,满足高并发调用需求。客户收益与系统效果客户收益与系统效果 业务安全性:业务回复安全率达 99.9%,政务服务可信度显著提升。防护效果:日均检测违规不良内容 1000 余条,拒答 100 余条,安全代答 900 余条,日均防护超万次。综合提升:大模型回复安全性提升 30%以上,有效降低舆情与合规风险。本案例由 360 数字安全提供 48/47 1/47
2025-08-29
53页




5星级
证证券研究券研究报报告告本报告仅供华金证券客户中的专业投资者参考本报告仅供华金证券客户中的专业投资者参考请请仔仔细细阅阅读读在在本本报报告告尾部尾部的的重重要要法法律律声声明明AI大模型引爆需求,存储.
2025-08-25
53页




5星级
01腾讯金融研究院|腾讯研究院|毕马威企业咨询腾讯金融研究院|腾讯研究院|毕马威企业咨询序言司 晓 腾讯集团副总裁、腾讯研究院院长过去两年,席卷全球的大语言模型浪潮,正式拉开了生成式 AI 时代的宏大.
2025-08-23
83页




5星级
未来网络技术发展系列白皮书(2025)AI大模型跨域训练池化调度技术体系白皮书第九届未来网络发展大会组委会2025年8月 版权声明版权声明 本白皮书版权属于紫金山实验室及其合作单位所有并受法律保护,任.
2025-08-22
93页




5星级
比清华版更全面、更落地大任智库DS实训行业版DeepSeek+:医药行业大模型应用与创新实践讲义精华全版(381页)大任智库AI应用创新团队:卜安涧、何伟、解奉波、刘桂君、陈念东、王杨露王京、张俊、陈.
2025-08-14
381页




5星级
大模型智能体开发平台技术能力综合测试报告目录目录一、测试概述.1(一)测试背景与核心内容.1(二)测试方法与数据说明.1(三)免责声明.3二、RAG 能力测试.3(一)RAG 测试采用指标.3(二)测试实施.3(三)文本问答任务.4(四)结构化数据问答任务.5(五)图文问答任务.7三、工作流能力测试.9(一)工作流测试采用指标.9(二)测试实施.9四、Agent 能力测试.12(一)Agent 测试采用指标.12(二)测试实施.12五、总结与展望.16大模型智能体开发平台技术能力综合测试报告1一、一、测试测试概述概述(一)(一)测试背景与核心内容测试背景与核心内容在产业智能化转型加速的背景下,大模型驱动的智能体(Agent)已形成多场景渗透态势。智能体因其具备知识增强、流程编排和智能决策等核心能力,正重塑企业级服务的技术生态。为用户更好地了解大模型智能体典型场景应用情况,对智能体开发平台(以下简称“平台”)技术实现路径与行业适配机制进行研究。本次测试选取阿里云百炼、腾讯云智能体开发平台、扣子及百度智能云千帆四个典型智能体开发平台的个人电脑端,围绕业务智能化的驱动能力展开测试。结合智能体的技术演进态势和行业应用实践,本报告确立 RAG 能力、工作流能力、智能体工具调用三个关键能力维度进行测试评估。1.1.RAGRAG 能力测试能力测试:RAG 能力评估重点考察平台的知识增强机制,旨在验证 RAG在真实业务场景中的综合表现,包括知识检索精度、逻辑推理能力以及用户体验的平衡性。重点评估三个维度:一是多模态知识处理能力:包括文本、表格、图文等不同类型载体的处理;二是任务复杂度适应能力:涵盖从单点信息提取到跨文档关联推理的不同难度层级;三是交互机制完备性:包含拒答处理、澄清反馈、溯源引用等关键功能。2.2.工作流工作流(WorkflowWorkflow)能力测试)能力测试:工作流能力重点考察复杂场景下平台的流程控制机制,评估多轮对话中的流程稳定性与控制精度。以智能客服典型业务场景的订单咨询、退换货等能力为研究对象,聚焦参数动态提取、异常回退、意图识别与容错处理等关键智能性。3.3.AgentAgent 能力测试能力测试:Agent 能力围绕工具调用智能化水平与复杂任务处理体验,考察单工具逻辑判断、多工具协同及提示词指令执行能力,验证智能体对内外部工具调用协同的意图识别、选择科学性与答案整合效果。(二二)测试方法与数据说明测试方法与数据说明本节围绕智能体开发平台核心能力评估,系统阐述了测试方法与数据情况。研究通过构建贴合企业级服务典型业务场景的标准化框架,结合多模态测试数据集、统一配置的智能体/工作流、综合性问题集,以及多样化调用与过程采集方式,实现对平台核心能力的系统测试与分析;同时明确了测试涉及的基础知识数据与响应结果数据的具体构成、来源及特征,为后续研究的科学性与可靠性奠定了方法与数大模型智能体开发平台技术能力综合测试报告2据基础。1.1.测试方法测试方法本次测试基于模拟真实应用场景,构建标准化测试框架实现对大模型驱动的智能体开发平台核心能力的系统测试、比对、分析。场景构建场景构建方法方法。场景构建选取企业级服务中的客户服务、订单处理、知识问答等典型业务场景,精准还原真实业务流程中的交互逻辑与任务需求,以此保障测试场景与实际业务的高度贴合。数据数据集集构建构建方法方法。数据集构建针对多模态知识处理需求,构建包含政策文档、业务规范等纯文本,订单数据、客户信息等结构化表格,产品说明、操作指南等图文数据的测试数据集,实现对不同知识载体类型与业务领域的全面覆盖。智能体智能体/工作流配置工作流配置方法方法。智能体/工作流配置依据各智能体的技术架构,在线配置相应的智能体与工作流模块。推理模型统一设定为 DeepSeek R1,问答模型统一设定为 DeepSeek V3,其余参数采用系统默认设置。仅对影响核心能力评估的关键配置进行必要对齐(若部分智能体默认模型无法切换,则保留其默认配置)。测试测试问题集设计问题集设计方法方法。测试问题集设计以行业真实业务流程和应用场景为依托,围绕三大核心能力维度,设计包含 15 个测试项、600 测试问题的综合性问题集。每个问题均标注对应能力维度与预期输出,作为评估基准。调用与调用与过程过程采集采集方法方法。调用与过程采集通过网页交互与 API 接口调用两种方式,模拟用户操作与系统集成场景,采集各智能体在问题处理过程中的响应结果及流程轨迹,为后续的统计分析提供便利。2.2.数据说明数据说明本次测试使用及产生的数据主要包含基础知识数据、响应结果数据。基础知识数据基础知识数据说明说明。基础知识涵盖政府、电商、电力 3 个行业的业务资料,包括纯文本文档 30 份(总字数约 10 万字)、结构化表格 5 张(含 15000 条记录)、图文内容 10 组(含产品图、流程图等)。数据来源为公开政策文件、行业报告及模拟业务场景生成的标准化资料,确保数据的典型性与可控性。响应结果数据响应结果数据说明说明。响应结果包括文本生成内容、知识来源引用、流程参数变化、工具调用记录等,数据记录涵盖时间戳、处理状态、错误信息等元数据,为能力分析提供完整轨迹。大模型智能体开发平台技术能力综合测试报告3(三三)免责声明)免责声明测试时效性说明。测试时效性说明。本测试开展时间为 2025 年 5 月 20 日2025 年 6 月 15 日,所有准确率计算方法见附件,所有计算结果限于测试时间内成立。测试限制性说明。测试限制性说明。本测试基于特定模型版本与测试场景,实际应用效果可能因业务需求、配置调整及技术迭代产生差异。测试结果不构成任何商业推荐,用户需结合自身场景进行独立验证与选型决策。测试缺陷性说明。测试缺陷性说明。本测试仅针对各平台用户终端小样本体验,有可能存在数据缺失、技术环境不完全、样品版本 bug 等缺陷限制。本次测试最终解释权归国家工业信息安全发展研究中心赛昇实验室所有。二、二、RAGRAG 能力测试能力测试RAGRAG 定义:定义:英文全称是 Retrieval-Augmented Generation,中文全称是检索增强生成。是一种通过数据检索改进模型内容生成效果的技术方案,它引入来自外挂向量数据库、知识图谱或网络的数据,对原始问题补充增强后输入给大模型,有效缓解幻觉问题,并提高知识更新速度与生成可追溯性(来源:微软研究院)。(一)(一)RAGRAG 测试采用指标测试采用指标本次测试对 RAG 能力的评估从检索精准度、知识覆盖广度等六大核心维度展开。一是检索精准度,衡量召回相关文档的准确率与冗余信息过滤能力;二是知识覆盖广度,评估对领域内知识的覆盖完整性及边缘信息的处理能力;三是推理融合度,考察将检索结果与问题深度结合、生成逻辑连贯回答的水平;四是时效性响应,关注检索与生成的整体效率及动态知识更新适配性;五是多模态适配性,检验对文本、表格、图片等多元数据的处理能力;六是鲁棒性表现,评估面对模糊问题、噪声数据时的容错与修正能力。(二)(二)测试实施测试实施本次测试重点探索 RAG 在深度行业场景中的落地能力,构建了基于知识载体多样性、任务复杂度与机制完备性的三维评估体系。选取政策咨询、电商客服、销售数据分析等 6 个典型场景,构建 500 个高质量问题集。测试任务具体设计以文本问答、结构化数据问答及图文问答为主。大模型智能体开发平台技术能力综合测试报告41.1.文本问答任务文本问答任务。在检验 RAG 知识整合与意图理解方面,综合设置了包含单文档查询、多文档交叉验证、边缘案例等任务形式;在检验智能体交互鲁棒性方面,融入语义模糊问题、知识库外问题及多轮对话。2.2.结构化数据问答结构化数据问答任务任务。为考察 RAG 结构化数据处理能力,基于订单数据表与 SKU 表,设计单表查询、多表关联统计等复杂任务。3.3.图文问答图文问答任务任务。为考察 RAG 的 OCR 图片文字识别技术、多模态内容关联与配图回答能力,设置图片内容识别、图表关联检索、多模态信息融合等任务。(三)(三)文本问答文本问答任务任务实际测试时,设计专精特新政策咨询以及电商客服规定查询两种场景,问题设计聚焦单文档精确定位、多文档交叉验证与综合、语义模糊意图理解、知识库外问题拒答机制等能力维度,旨在全面检验 RAG 系统在纯文本领域的检索、理解、整合与生成能力。1.1.文本处理能力表现优异文本处理能力表现优异各平台在文本问题处理上展现出较强的准确性,纯文本问题得分普遍较高:均能实现意图识别,并在知识库中定位对应文档、合理组织反馈。单文档问题少量丢分,主要源于回答不完整或存在少量“幻觉”信息。多文档文本问题表现良好,所有模型回复准确率超 80%,丢分主因是多文档结合时存在少量信息遗漏,导致回答不够全面。个别平台调用结果稳定性不足,如扣子在进行 API 调用时,有一定比例的内容无法从知识库获取,而其网页端提问可正确回答。2.2.拒答与澄清追问处理差异化拒答与澄清追问处理差异化在采用同样拒答配置情况下,腾讯云智能体开发平台对知识库中不存在的问题实现 100%拒答,其他平台则出现不同程度基于模型知识而非知识库内容的回复。面对需要澄清和追问的问题,各平台均倾向于直接提供所有相关信息供用户参考,其中扣子对于所有问题均未给出追问澄清,但在多数场景也可以符合用户需求。大模型智能体开发平台技术能力综合测试报告5图 1:各平台 RAG文本问答表现3.3.来源引用策略来源引用策略倾向提供全面信息倾向提供全面信息在默认配置下,四个平台在来源引用方面都倾向于尽可能提供全面的参考信息。特别是在处理多文档问题时,虽然这种做法可能导致一定程度的信息冗余,但能够通过多源佐证帮助用户更全面地理解信息背景。(四四)结构化数据问答结构化数据问答任务任务本次测试围绕销售数据分析场景,基于实际订单表与在售商品 SKU 表数据,针对单表查询、单表统计、多表匹配查询、多表匹配统计 4 类典型任务展开,考察平台结构化数据处理能力。鉴于 RAG 在复杂数据分析场景的局限性,当前主流平台均对结构化数据分析场景进行了优化:阿里云百炼、百度智能云千帆与扣子均设置了独立的结构化数据导入模块,通过字段类型预定义、格式标准化等机制强化数据规范性。其中,阿里云百炼和扣子进一步设计数据库插件,支持多表关联查询与动态计算。而腾讯云智能体开发平台则采用后台自动化处理方案,简化用户操作但弱化了过程可控性。大模型智能体开发平台技术能力综合测试报告6图 2:大模型 RAG结构化数据问答表现根据测试数据分析,各平台表现差异的关键因素在于其对处理流程的调优精细程度。从结果返回看,阿里云百炼仍然是基于文档切片,在跨表关联、多条件组合统计时易出现信息遗漏与聚合误差,凸显纯文本检索模式对结构化分析场景的适配局限;腾讯云智能体开发平台单表查询表现优异,但在多表查询时存在 SQL 查询未能正确执行的情况,导致返回结果出现偏差;扣子在部分场景下存在自然语言到结构化查询的转换问题,主要表现为逻辑条件遗漏或语义理解偏差,从而导致返回结果异常;百度智能云千帆在单表统计、多表关联等任务中表现稳定,体现了其结构化引擎能较好处理复杂条件筛选与跨表聚合。通过自然语言交互实现对复杂数据的操作仍是行业共性挑战。研究表明,各平台在嵌套条件解析(如“销售额前五且库存低于警戒值的商品”)、字段格式容错(如中英文标点混用)以及多表路径推导等任务中均存在失误,反映出语义理解与结构化计算协同的不足。此类问题暴露出当前技术需进一步优化的方向:一方面需增强自然语言到查询语句的精准映射能力,建立上下文感知与模糊匹配机制;另一方面需强化字段格式兼容性校验,通过预处理与后验证双环节来保障数据分析的可靠性。大模型智能体开发平台技术能力综合测试报告7(五五)图文问答图文问答任务任务图文问答任务场景设计为风电行业市场与技术资料分析,采用各平台默认推荐的多模态模型,主要考察图片提问与配图回答能力,以及显式/非显式调用情况下图片输出的准确性与完整性。1.1.具备具备图片解析与图片解析与文字文字识别识别的的底层技术基础底层技术基础各平台均具备成熟的 OCR 图片文字识别技术,能够有效解析图片内容并识别用户提问意图,但在研究场景下的实际表现存在一定差异:阿里云百炼(91.7%)、腾讯云智能体开发平台(83.3%)、扣子(83.3%)对图片提问的识别能力较强,而百度智能云千帆识别率低的原因在于流程 bug(3 次不同时段测试综合结果),未能成功调用已上传的图片,导致图片解析链路断裂。在基于文档的图片定位任务中,所有平台均无法准确检索储能逆变器 PCS 等特定技术图片的关联信息,暴露多模态的场景优化深度仍有提升空间。图 3:各平台 RAG图文问答场景表现2.2.多模态内容关联与配图回答多模态内容关联与配图回答率率分化分化大模型智能体开发平台技术能力综合测试报告8各平台配图回答率呈现梯度差异:腾讯云智能体开发平台在显式/非显式调用场景下以 55%的正确回答率领先,百度智能云千帆存在图片显示故障但文档定位逻辑正确,而阿里云百炼因网页端图片显示异常导致配图正确率为 0%(3 次不同时段测试综合结果)。研究显示,显式调用图片指令可提升输出比率,表明用户交互设计对多模态输出效果存在直接影响。图 4:错误案例-无法正确显示图片3.3.图片输出质量控制机制存在普遍性缺失图片输出质量控制机制存在普遍性缺失各平台在图片输出环节均出现内容校验失效问题,典型表现为返回与答案无关的页面装饰性图片而非业务场景所需的技术图表,反映当前平台缺乏对输出图片内容相关性和准确性的有效校验机制。图 5:错误案例-输出图片无关大模型智能体开发平台技术能力综合测试报告9三、工作流三、工作流能力测试能力测试工作流工作流定义:一类能够完全自动执行的经营过程,根据一系列预设的过程规则,将文档、信息或任务在不同的执行者之间进行传递与执行(来源:国际工作流管理联盟(Workflow Management Coalition,WfMC)。其本质是为复杂任务提供标准化、可预测的执行框架,尤其在需要严格步骤控制的业务场景中展现不可替代的价值。(一)工作流测试采用指标(一)工作流测试采用指标本次测试对工作流能力的评估从参数动态提取、异常回退等四大核心维度展开。一是参数动态提取,评估从对话中精准识别订单号、地址等关键信息的能力;二是异常回退,检验参数修改或意图切换时流程回溯与状态恢复的稳定性;三是意图识别,考察区分咨询、操作等用户真实意图的准确性;四是容错处理,验证对模糊表述、混淆信息等异常输入的包容与修正能力。同时关注端到端流程准确率、参数提取成功率等指标,全面衡量复杂场景下的流程控制精度。(二)测试实施(二)测试实施工作流能力测试以订单修改为核心场景,基于包含 13 条端到端工作流、共计80 个问题的问题集,全面覆盖参数提取、回退、意图识别及流程容错四个关键环节。测试通过模拟用户在多轮对话中的多样化需求,如一般咨询、修改配送地址、订单退货等,同时故意引入“尽快送达”等模糊表述以及“放弃修改并取消订单”等意图切换情况,着重验证系统在参数动态管理与流程控制方面的稳定性。在测试过程中,详细记录了端到端流程准确率、参数提取成功率及意图识别率等关键指标,深入分析不同平台在异常输入下的容错能力与恢复能力。各平台工作流核心能力表现如下:表 6:大模型工作流能力表现平台端到端准确率参数提取准确率意图识别准确率工作流结束判断准确率阿里云百炼69.2u.0.70.0%腾讯云智能体开发平台69.2u.0.30.0%扣子61.5e.0.30.0%百度智能云千帆61.5p.0.00.0%大模型智能体开发平台技术能力综合测试报告10测试数据显示,各平台在意图识别环节均保持较高水平,流程终止节点判断准确率达 100%。参数提取环节表现分化,阿里云百炼与腾讯云智能体开发平台提取准确率为 75.0%,高于百度智能云千帆与扣子,差异主要体现在混淆信息中订单号等关键字段的识别效果。端到端流程准确率方面,阿里云百炼和腾讯云智能体开发平台准确率接近 70%,扣子和百度智能云千帆略低,这一差异主要源于参数提取节点的影响。整体来看,各平台在工作流节点执行层面均能达成基础功能要求,但在复杂信息处理场景下的技术实现深度与节点细节调优水平存在一定差异。结合典型错误案例进一步分析,在意图识别方面,除扣子外,其他平台会出现“什么情况下,可以退货?”直接判定为退货意图并进入退货流程,而非输出退货相关流程信息,这体现出部分平台在意图识别的精细度上存在不足,未能准确区分咨询意图与操作意图。在参数提取方面,百度智能云千帆、扣子在面对复杂长段文字中存在混淆信息的情况,无法正确提取多处出现的订单编号,而是直接输出提示词中的示例订单编号,暴露出仅依赖大模型进行参数提取在复杂场景下的局限性。图 7:错误案例-同样配置下部分平台参数提取失败综合以上数据分析结果,可以发现:1 1.工作流具备基础可用性但仍有提升空间工作流具备基础可用性但仍有提升空间各平台工作流已具备基础可用性,在合理配置下能满足电商客服等复杂场景的基础需求。各平台整体得分差异不大,不过该得分基于基本一致的默认配置得出,若经过精细化调整,其表现仍有提升空间。例如百度智能云千帆和扣子在参数提取环节针对多订单、地址等信息提取的失分项,可通过整合代码工具等方式加以改进。大模型智能体开发平台技术能力综合测试报告112.2.不同平台在工作流配置上呈现多维度差异化设计不同平台在工作流配置上呈现多维度差异化设计各平台的工作流配置均根据自身产品特性进行了深度优化,通过个性化模块设计,重点围绕大模型能力调用、工具集成适配和逻辑流程编排等关键维度展开。一个典型差异体现在对于“任务流”和“对话流”的处理:阿里云百炼和扣子从工作流创建阶段就将对话管理系统与任务执行引擎分离,百度智能云千帆和腾讯云智能体开发平台则采用融合设计。其中,腾讯云智能体开发平台通过全局 Agent机制实现实时对话交互管理、上下文参数自动提取、流程状态智能监控,并支持参数回退、对话终止等复杂场景的智能识别和处理。另外一个典型差异体现在节点封装方面:腾讯云智能体开发平台将“参数提取”独立抽象为单独节点;阿里云百炼与百度智能云千帆分别提供独立的 MCP(ModelContext Protocol,模型上下文协议)节点组件;扣子则构建了包含 9 组近 40 个节点类型的丰富矩阵。这些差异化设计既影响了用户配置的操作门槛与使用体验,也在场景适配性上形成了不同侧重,使得各平台在流程搭建、功能调试、场景落地等操作环节中,展现出各具特色的优势与局限性。图 8:各平台工作流组件大模型智能体开发平台技术能力综合测试报告12总之,当前工作流系统仍定位为辅助决策工具,其运行逻辑无法完全脱离业务人员的专业判断,否则极易引发流程断点或业务逻辑处理错误。从配置层面看,工作流的搭建需要操作人员同时具备业务场景理解能力与大模型技术认知能力,这种双重知识储备的要求形成了较高的使用门槛。即便在经过抽象简化的测试场景中,参数提取偏差、意图识别误差等问题仍可能出现,这进一步凸显了人工干预在复杂业务处理中的不可替代性无论是流程规则的精细化调校,还是异常场景的柔性处置,均需专业人员结合业务经验与技术特性进行动态校准。四、四、AgentAgent 能力测试能力测试智能体 Agent 定义:Agent 是由大语言模型动态编排自身工作流并自主调用工具以实现目标的系统。其核心包含三个特征:感知、决策与行动,强调其在运行时的自主性与工具扩展性(来源:Anthropic)。(一)(一)AgentAgent 测试采用指标测试采用指标本次测试重点评估智能体 Agent 的工具调用能力,从四大维度展开。一是意图理解深度,衡量智能体对模糊指令、隐含需求及复杂表述的解析能力,包括多轮对话中的上下文延续性、语义歧义消解精度等;二是操作协同性,评估用户与智能体在任务拆解、工具调用等环节的配合流畅度,涉及步骤衔接自然度、用户干预成本等;三是反馈有效性,考察智能体输出结果的可理解性、错误提示的明确性及操作引导的实用性;四是机制完备性,检验交互过程中的异常处理(如操作回退、功能解释)等关键功能的覆盖度。测试通过构建包含日常咨询、复杂任务处理等典型场景的测试集,模拟不同用户操作习惯与需求类型,采集交互轨迹与用户反馈数据,实现对 Agent 能力的系统测试。(二)测试实施(二)测试实施当前,智能体技术仍处于发展初期,其功能生态与工具链尚未完全成熟。在此背景下,工具调用能力成为衡量智能体实用性的核心指标之一。本次测试以DeepSeek R1 为基础模型,集成天气查询、数据分析、图表生成等 6 大类通用工具,设计 40 个问题集,重点考查以下工具调用维度:1.单工具单工具调用调用:验证基础意图识别与工具匹配准确性;2.多工具协同多工具协同:检验任务分解与工具链式调用的完整性;大模型智能体开发平台技术能力综合测试报告133.提示词提示词显式调用显式调用:明确在对话中显式指定调用工具的执行效果。测试过程中,通过标准化流程记录单工具调用完成率、多工具调用完成率及提示词调用完成率,重点分析智能体在工具选择合理性、调用完成度方面的表现。各平台智能体能力对比如下:图 9:各平台智能体能力表现在统一推理模型支撑下,各平台智能体均构建了基础工具调度机制,实现从用户需求到工具调用的逻辑映射。例如,面对“规划 5 月 14 日从北京出发到山西的5 日假期行程”的指令,所有智能体均能识别“路径规划 天气查询 联网搜索”的工具组合需求,展现出标准化的任务分解能力。基础推理模型的强逻辑能力保障了工具意图识别的一致性,各平台智能体在工具调用效果上的差异主要源于平台级生态支撑与流程优化水平。其中,腾讯云智能体开发平台在本项测试中表现突出,工具本身的功能完整性与响应稳定性直接提升了调用成功率。1.1.插件插件/工具生态成熟度与集成深度工具生态成熟度与集成深度,生态绑定决定能力边界生态绑定决定能力边界。各家平台普遍依托自身既有生态进行工具接入与能力编排:百度智能云千帆优先整合百度文库、百科、地图等内容与数据资产,强化智能体的信息调取与生成支撑;腾讯云智能体开发平台通过与腾讯文档、腾讯地图等原生工具的深度打通,构建了较为完整的工具链结构;扣子以轻量化工具生态见长,支持快速插件开发和嵌大模型智能体开发平台技术能力综合测试报告14入;阿里云百炼则联动钉钉、高德地图等业务模块,尝试将智能体嵌入办公、生活等实际场景中。2.2.技术稳健性与细节打磨,非核心逻辑短板影响端到端能力和用户体验。技术稳健性与细节打磨,非核心逻辑短板影响端到端能力和用户体验。各平台智能体均存在不同程度的工具调用流程断点问题。如百度智能云千帆尽管能通过代码解释器生成图表绘制代码,但未将代码执行结果转化为可视化图表并直接输出,需用户额外操作,降低了多工具协同的完整性。图 10:错误案例-代码解释器执行失败技术实现层面的瑕疵导致调用失败或结果异常,影响最终输出质量和用户体验。如阿里云百炼、百度智能云千帆均出现过三方天气/地图工具认证失败导致调用中断的情况;扣子在绘制数据图表时,存在由于字体问题导致中文标签无法显示的现象。这些问题虽未影响基础工具调用逻辑,但对最终结果输出和用户体验造成一定影响。大模型智能体开发平台技术能力综合测试报告15图 11:错误案例-天气工具鉴权失败总的来看,当前各平台智能体仍处于通用工具整合的初级阶段,在基础意图识别与单工具调用上已具备可用性,但在多工具深度协同、行业垂直工具适配及端到端流程闭环上仍有显著提升空间。各平台已搭建智能体能力的技术框架,但真正实现“工具即服务”的智能化调度,仍需在生态建设、流程闭环与细节优化上持续投入。研究表明当前发展的瓶颈分为多工具深度协同与自动化闭环能力不足、技术实现稳健性亟待加强以及行业垂直工具适配与生态广度深度不足三点。一是一是多工具深度协同与自动化闭环能力不足多工具深度协同与自动化闭环能力不足。流程断点(如图表代码执行与呈现分离)是普遍存在的短板,阻碍了复杂任务的无缝完成和用户体验的提升。二是二是技术实现稳健性亟待加强技术实现稳健性亟待加强。鉴权失败、渲染错误等技术瑕疵虽不否定核心架构,但对实用性和可靠性构成显著挑战,需在工程层面重点投入。三是三是行业垂直工具适配与生态广度深度不足行业垂直工具适配与生态广度深度不足。当前集成工具多为通用型,针对金融、医疗、工业等垂直领域的专业工具适配深度和覆盖广度远远不够,限制了智能体在专业场景的落地价值。各平台智能体已成功搭建底层技术框架,证明了其可行性。然而,从“能调用工具”到真正实现“工具即服务”的智能化、自动化、高可靠的服务调度与交付,仍需在生态建设生态建设、流程闭环流程闭环、技术稳健性技术稳健性以及垂直场景深耕垂直场景深耕上持续投入与突破。当前正处于智能体实用化能力构建的关键爬坡期,解决上述瓶颈是迈向下一阶段成熟应用的必经之路。大模型智能体开发平台技术能力综合测试报告16五、五、总结与展望总结与展望从三大核心维度测试结果可见,当前智能体开发平台能力呈现“基础能力趋同,产品路径分化”的竞争格局。各平台在文本处理、流程控制等基础场景已形成标准化能力,但在复杂场景处理、多模态协同及工具生态建设上表现出一定差异。各平台差异性主要体现在技术路径选择与工程实现深度上。阿里云百炼在结构化数据接入、参数提取稳定性及工作流流程控制等方面表现稳健,体现了其底层架构设计的成熟性与系统响应的鲁棒性;百度智能云千帆在数据库集成等细分能力上展现出一定优势;扣子则以轻量化插件系统和灵活工作流节点组合,提升了开发效率与定制适配能力;腾讯云智能体开发平台则凭借端到端的流程打通能力和完善的原生工具链支持,在多工具协同调用、参数自动提取与流程容错处理等多个维度均实现较为均衡的表现。大模型智能体开发平台技术能力综合测试报告17图 12:大模型智能体开发平台测试表现总览智能体开发平台间竞争力的实质已逐步由单点能力比拼转向体系能力构建。未来的发展将取决于三个关键路径的持续演进。首先,场景深度适配是实现价值落地的前提。仅具备技术能力远不足以支撑复杂场景的业务化部署,智能体必须进一步提升模型与真实任务需求之间的耦合精度。围绕特定行业、细分任务构建标准化知识单元与任务模板,成为“从能用到好用”的关键一环。其次,技术链厚度构建决定智能体的系统执行能力。大模型能力的释放必须依赖稳定的调用机制与闭环的流程体系。当前部分平台在节点设计、状态控制与工具响应稳定性方面仍存在中断或冗余路径,需通过组件颗粒度优化与自动化控制链路增强系统韧性。最后,生态广度拓展将成为智能体可持续发展的关键变量。智能体能力的边界不止于自身,而取决于其与外部 MCP 合作体系及开发者社群的连接能力。随着开发者需求走向定制化与多行业融合,平台必须进一步释放底层能力接口,推动第三方工具插件接入标准化,并建设完备的开放工具市场,打造“平台 生态”的双轮驱动能力体系。总的来看,智能体开发平台正处于能力体系构建的关键爬坡期。当前竞争尚未形成不可逾越的技术壁垒,未来能否构建稳定、可用、可扩展的智能体服务体系,将决定平台在产业智能化转型进程中的角色位次。以场景适配为牵引,以技术链完善为支撑,以生态扩展为保障,唯有实现从“任务完成”向“任务统筹”再到“服务自治”的跨越,方能真正走出实验性应用,迈入生产级交付。大模型智能体开发平台技术能力综合测试报告18附:测试指标定义本次大模型智能体开发平台横向测试中,涉及的指标及其定义如下:1 文档单点知识回复准确率:针对用户从单一文档中提出的明确、独立知识点问题,返回答案的准确程度。2 多文档多段知识组合回复准确率:从多个关联文档中提取分散的知识片段,逻辑整合成完整、连贯答案的准确率。3 无关知识拒答准确率:当检索到的文档与问题无关或信息不足时,主动拒绝回答(而非猜测或错误回答)的准确率。4 模糊知识澄清准确率:当检索结果存在歧义或需补充条件(如多分支场景)时,主动要求用户澄清(而非强行回答)的准确率。5 单表查询准确率:基于用户问题,从单个结构化表格中精准定位并提取数据的准确率。6 多表关联查询准确率:通过关联多个结构化表格(如 JOIN 操作),综合提取并计算数据的准确率。7 图文问答准确率:当用户提问依赖图片内容(如 OCR 识别、图表解析)时,返回答案的准确率。8 答案关联出图率:生成答案时,主动关联并正确输出知识库中相关图片的比例。9 端到端准确率:从工作流启动到结束,完整执行预设流程节点且无逻辑错误的成功率。10 参数提取准确率:在多轮对话中,需要从对话中提取参数的节点中从用户语句中精准识别并提取关键参数(如订单号、时间、金额等)的准确率。11 参数回退准确率:多轮对话中,当用户修改前序参数时,回溯调整后续依赖参数并保持流程一致的准确率。12 意图识别准确率:工作流节点结合上下文与当前对话,正确判断用户真实意图(如查询、操作、投诉)的准确率。13 工作流结束判断准确率:当用户表达结束意图(如“寒暄”“退出”)时,终止流程并生成结束话术的准确率。大模型智能体开发平台技术能力综合测试报告1914 单工具调用完成率:针对智能体中单一工具模块,正确理解用户意图、分解任务,调用工具并返回正确结果的成功率。15 多工具调用完成率:针对涉及多个工具协同的复杂提问,智能体依次识别工具调用需求、规划调用顺序,执行并返回正确结果的成功率。16 提示词调用完成率:智能体根据显式提示词指令(如“调用 XX 工具分析数据”),选择工具并完成调用的成功率。
2025-08-13
21页




5星级
机器人大模型深度报告机器人大模型深度报告我们距离真正的具身智能大模型还有多远?我们距离真正的具身智能大模型还有多远?证券研究报告请务必阅读正文之后的免责声明部分1首席证券分析师:周尔双执业证书编号:S.
2025-08-11
56页




5星级
前言PERFACE在生成式人工智能技术重构全球数字经济版图的当下,AI陪伴聊天赛道成为大模型商业化落地的黄金入口。随着模型参数规模突破万亿级,该领域正迎来从工具属性向情感交互生态跃迁的临界点,孕育现象.
2025-08-08
38页




5星级
多模态大语言模型技术及应用标准领航研究报告中国汽车标准化技术委员会智能网联汽车分技术委员会车用人工智能标准专项组2025年7月1前言前言近年来,人工智能(AI)技术的飞速发展为智能汽车领域带来了前所未.
2025-08-07
86页




5星级
中国联通元景大模型 AI 终端合作白皮书1中国联通元景大模型中国联通元景大模型 AIAI 终端终端合作白皮书合作白皮书中国联通(2025V2.0)中国联通元景大模型 AI 终端合作白皮书2目录目录1.
2025-08-06
39页




5星级
中文大模型基准测评中文大模型基准测评2022025 5年年上半上半年报告年报告 2025.08.04 2025年中文大模型阶段性进展半年度评估SuperCLUE团队精准量化通用人工智能(AGI)进展,.
2025-08-05
60页




5星级
卡奥斯天智工业大模型价值领航实践1前言一、工业大模型的发展历程1.1 工业智能化转型驱动1.2 工业大模型的崛起与演进1.3 工业大模型的发展挑战1.4 卡奥斯天智工业大模型创新实践二、天智工业大模型.
2025-08-04
20页




5星级
AI 大模型技术方案白皮书2025年7月3410162331AI大模型技术方案白皮书发展态势应用场景技术方案未来展望40成功案例引言技术特点2AI大模型技术方案白皮书引言在科技飞速发展的当下,AI大模.
2025-07-30
42页




5星级
1 IDC|IDC|2025工业大模型应用进展与展望IDC中国高级研究经理崔粲2 IDC|IDC|技术爆发和政策持续支持,AI大模型在工业应用持续推进提升效果、降低门槛通用智能体完成更复杂任务持续推进.
2025-07-30
21页




5星级
广联达行业 AI 大模型白皮书AI+引言 AI 大模型正在催生新一轮技术创新与产业变革,也将为建筑等传统行业数字化转型和高质量发展带来新动能。当前市场以基础大模型为主,通识能力强,但缺少行业专业知识。.
2025-07-16
77页




5星级
大模型训练数据安全研究报告指导单位:中国移动通信集团有限公司网络与信息安全管理部编制单位:中国移动通信有限公司研究院中移湾区(广东)创新研究院有限公司天翼数智科技(北京)有限公司联通支付有限公司中国财.
2025-07-13
35页




5星级
行业研究市场分析深度洞察行业分析报告2025INDUSTRY REPORT 2 0 2 5 多模态大模型和应用发展趋势及商业化进程分析报告 正文目录正文目录 和市场不同的观点和市场不同的观点.4 多模.
2025-07-11
31页




5星级
前哨科技:2026年中国企业AI应用进程与场景落地研究报告(52页).pdf
世界经济论坛:2026年十大新兴技术报告(英文版)(49页).pdf
腾讯研究院:2026从超级个体到超级团队:AI时代组织变革的涌现路径研究报告(82页).pdf
中国智能计算产业联盟:2026全球AI算力发展研究报告(93页).pdf
知行元界:2026年具身智能(人形机器人)产业发展蓝皮书(137页).pdf
中国工业互联网研究院:Token 驱动智能经济研究报告(2026年)(65页).pdf
清华大学:2026年Agent-to-Agent (A2A)研究报告(104页).pdf
新战略咨询:2026年50+人形机器人场景应用落地图谱(55页).pdf
毕马威:2026全球技术报告(40页).pdf
中国信通院:企业级智能体技术与应用研究报告(2026年)(55页).pdf