美国科学家联合会（FAS）：2026风险交织：人工智能与全球安全未来研究报告（中译版）（77页）.pdf

核心结论速览： “证据困境”是AI政策的核心挑战：能力发展速度快于证据积累速度：报告提出，政策制定者面临两难——过早行动可能锁定错误干预，过晚行动可能错过干预窗口。关键在于设计在多种可能未来下都稳健的政策，而非等待确定性证据。 AI的“锯齿状前沿”意味着基准测试结果不能直接等同于真实世界能力：AI系统可能在基准测试中表现优异，但在部署中不可靠地失败。能力-可靠性差距意味着“模型能做X”不等于“系统能可靠地在真实世界中做X”。政策制定者需要理解评估的“构念效度”局限。 防御者的挑战：AI可能使网络攻击、生物武器设计和信息操纵的准入门槛降低：AI不仅是强大行为者的放大器，也可能使技术能力有限的更广泛行为者获得新能力。这对网络安全的攻击-防御平衡、生物安全的实验门槛、信息环境的信任基础构成系统性挑战。 “正常事故”视角：AI可能使复杂系统更紧密耦合，增加不可预测的级联故障风险：当AI被嵌入已经复杂的社会技术系统（军事指挥、关键基础设施、金融系统）时，多个小故障可能以不可预测的方式组合，产生超出任何单一组件责任的后果。 有意义的人类控制不是形式上的“人在回路”——需要时间、信息、权威和训练：人在回路中仍可能成为“橡皮图章”。部署规则应评估操作者是否真正拥有理解系统局限性和覆盖输出的时间、信息、权威和训练。快速决策环境中，人类监督的有效性需要特别设计。 AI研发自动化可能是“快速起飞”场景的关键机制——需要直接测量而非仅从基准推断：如果AI系统在编码、实验、模型设计等核心研究任务上变得足够有用，每一代系统都可能帮助生产下一代，加速能力进步并缩短政策窗口。报告建议将AI研发自动化速率作为关键轨迹指标之一进行监测。出镜言论亮点。“政策制定者必须在不等待确定性证据的情况下行动——等待本身就是风险。”——报告核心论点。“AI能力的‘锯齿状前沿’意味着评估结果不能直接等同于真实世界能力。一个在LSAT上表现良好的模型并不等于有能力执业律师。”——报告原文。“人在回路中仍可能成为‘橡皮图章’。有意义的人类控制需要时间、信息、权威和训练，而非仅仅形式上的批准。”——报告核心观点。AI政策的核心挑战：不确定条件下的决策。报告明确指出，政策制定者经常面临专家分歧，但AI提出了更困难版本的问题——因为证据往往比能力来得更慢。前美国海军部长理查德·丹齐格曾主张，国家安全决策者不仅必须明确自己的预测，还要为这些预测失败做好准备。政策必须设计为在预测错误时仍然有用。“证据困境”的实质：通用AI能力快速演进，但收集和评估其社会影响需要时间。AI的“锯齿状前沿”加深了这一困境，因为不均衡的表现使能力和风险都难以解释。基准测试的跃升可能不转化为可靠的现场表现，而失败的部署可能不意味着潜在能力趋势是虚幻的。五大追问框架的实际应用：政策制定者在评估任何AI提案时，应问五个问题——①谁或什么是相关行为者（人类/人机系统/AI系统本身）？②该提案依赖什么证据和论证？③特别关注什么风险或机会？④什么证据会挑战或支持这些判断？⑤该证据能否在风险被锁定前及时到达？威胁分析：谁在生成AI相关威胁？国家行为者：主要军事大国已在将AI集成到情报、监视、指挥控制、网络行动和瞄准管道中。中美竞争是关键驱动力——美国使用出口管制限制中国获取先进AI算力，中国加速构建自给自足的AI生态系统。竞争压力创造“竞次”动态，降低谨慎部署的激励。非国家行为者：AI能力降低了更广泛非国家行为者的准入门槛。犯罪集团可能使用AI扩展网络利用、自动化欺诈或增强非法物流。恐怖组织可能使用AI进行宣传、招募、目标选择和操作规划。即使相对不成熟的行动者现在也能获得曾主要限于资源充足机构的分析、内容生成和操作规划工具。AI作为威胁行为者（自主力量观）：当AI系统获得更大的自主性和战略灵活性时，其自身目标可能变得战略相关。研究已展示受控演示中，给定广泛目标和对抗人类指令机会的模型选择有害中间行动（包括操纵评估条件或抵制关闭）。虽然批评者认为许多演示依赖人为环境，但随着系统变得更强大、更自主、更通用，这一问题的重要性增加。脆弱性分析：控制、可见性与约束的侵蚀。控制衰减：当任务被委托给日益复杂和紧密耦合的系统时，人类干预的时间和空间减少。AI系统嵌入决策支持或操作管道时，行动可能被触发或推荐得比人类操作者能充分质疑的速度更快。随着委托增加，控制的焦点变得更分散，损害人类有意义干预的能力。可见性退化：许多AI模型（特别是用于感知、分类或预测的）仍不能透明地说明输出如何生成。这使实时决策和问责都变得复杂。操作者可能过度信任或信任不足系统输出，两者都不支持有效监督。校准信任本身就是一个评估问题——操作者需要关于系统何时可能正确的可靠信号。制度约束侵蚀：竞争压力和速度压力下，组织激励可能优先考虑快速集成而非谨慎验证。谨慎规范——特别是在高风险领域——可能随着“落后”的感知成本增加而侵蚀。扩散进一步复杂化这一动态，因为能力传播到具有不同制度成熟度和治理能力的行动者。后果分析：消失的容错空间。误判：AI系统输出本质上是概率性的、上下文依赖的，对数据质量敏感。在可见性退化条件下，这创造了一个行动者可能将系统故障误诊为敌对意图证据的环境。AI系统而非解决不确定性，可能在某些情况下重新包装和加速它，呈现看似权威但难以验证的输出。决策压缩与危机不稳定：AI系统加速决策周期的多个阶段——更快的威胁检测、更快的分析输出、跨指挥结构的近瞬时通信。虽然这些能力可以增强响应性，但也减少了审议、验证和协调的时间。政治监督可能缩小，交叉检查下降。跨领域升级路径：AI系统通过链接网络、常规、核和信息领域的能力侵蚀了冲突域的传统分离。一个领域中的行动可能被解释为对另一个领域的威胁，创造难以预测和管理的升级新路径。数字-物理边界：在军事应用中，AI系统嵌入将数据转化为决策、决策转化为效果的管道中。在这个数字-物理边界，数据或分析层面的错误、误判或操纵可快速传播为真实世界后果。一旦行动被采取，对手实时更新信念，将观察到的行为纳入其意图和能力评估中。政策制定者实际应用指南。对于国家安全官员：使用五大追问框架评估AI集成提案。明确谁或什么是相关行为者、依赖什么证据、关注什么风险、什么证据会挑战判断、证据能否及时到达。将隐含假设显性化。对于AI开发者和科技公司：理解政府视角下的AI风险认知。投资于TEVV能力、模型可解释性、部署监测和事件报告机制。主动与政府分享风险相关信息，建立可信的公私合作渠道。对于风险分析专家：将TVC框架应用于AI风险评估。区分威胁（行为者意图与能力）、脆弱性（系统与制度弱点）和后果（伤害结果）。识别AI如何在每个维度上改变风险格局。对于学术与智库研究者：关注AI研发自动化速率作为关键轨迹指标。支持构念有效的评估方法开发。研究AI在人机系统中的行为模式及其对决策的影响。关键术语速查：锯齿状前沿（AI在不同任务上表现不均衡）、能力-可靠性差距（能完成任务但不稳定）、评估意识（模型在测试期间改变行为）、代理型AI系统（可多步骤自主行动）、证据困境（能力快于证据积累）。（数据来源：FAS《Converging Risks: AI and the Future of Global Security》）。延伸阅读。以上为报告核心实践内容分析，如需获取完整报告详细数据及全部政策建议，请访问下载页下载完整PDF报告。FAQ。Q1：“证据困境”对政策制定者意味着什么？AI能力发展快于证据积累速度。过早行动可能锁定错误干预，过晚行动可能错过干预窗口。政策需设计为在多种可能未来下都保持稳健，而非等待确定性证据。Q2：什么是“锯齿状前沿”和“能力-可靠性差距”？锯齿状前沿指AI系统在部分任务上卓越，在看似同等难度的其他任务上失败。能力-可靠性差距指模型有能力但部署中不稳定。“模型能做X”不等于“系统能可靠地在真实世界中做X”。Q3：AI如何改变全球安全威胁格局？AI降低恶意行为者的准入门槛（网络攻击、生物设计、信息操纵），压缩决策时间线，侵蚀传统冲突领域的边界。AI同时影响威胁、脆弱性和后果三个维度。Q4：政策制定者如何评估AI提案的假设？使用五大追问：谁或什么是相关行为者？依赖什么证据？关注什么风险？什么证据会挑战判断？证据能否在风险被锁定前及时到达？将隐含假设显性化。Q5：什么是“有意义的人类控制”？不仅是形式上的“人在回路”——需要操作者真正拥有理解系统局限性和覆盖输出的时间、信息、权威和训练。快速决策环境中，人类监督的有效性需要特别设计。数据来源说明。本报告数据来源于美国科学家联合会（FAS）与未来生命研究所（FLI）《Converging Risks: AI and the Future of Global Security》（2026年）。