OWASP：2023OWASP机器学习安全风险TOP10（25页）.pdf

1、OWASP 机器学习安全风险 TOP 10致谢英文项目地址：https:/owasp.org/www-project-machine-learning-security-top-10/感谢以下中文项目参与人员（按拼音顺序排列）：戴楚南、吴楠、肖文棣、张坤、张淼Abraham KangShain SinghSagar BhureRob van der VeerVamsi Suman KanukolluM S NishanthBuchibabu BandarupallyJamieson OReillyAshish KaushikJakub KaluznyDavid OttenheimerHaral

2、 Tsitsivas项目领导贡献者OWASP 机器学习安全风险 TOP 101ML01:2023对抗性攻击Adversarial Attack当攻击者故意更改输入数据以误导模型时，就会发生对抗性攻击。ML02:2023 数据投毒攻击Data Poisoning Attack当攻击者操纵训练数据导致模型以不良方式运行时，就会发生数据投毒攻击。ML03:2023 模型反转攻击Model Inversion Attack当攻击者对模型进行逆向工程以从中提取信息时，就会发生模型反转攻击。ML04:2023 成员推理攻击Membership Inference Attack当攻击者操纵模型的训练数据以使

3、其行为暴露敏感信息时，就会发生成员推理攻击。ML05:2023 模型窃取Model Stealing当攻击者获得对模型参数的访问权时，就会发生模型窃取攻击。ML06:2023损坏的组件包Corrupted Packages当攻击者修改或替换系统使用的机器学习库或模型时，就会发生损坏的组件包攻击。ML07:2023迁移学习攻击Transfer Learning Attack当攻击者在一个任务上训练模型，然后在另一个任务中对其进行微调，导致结果未按照预期产生，就会发生迁移学习攻击。ML08:2023模型偏斜Model Skewing当攻击者操纵训练数据的分布，导致模型以不希望的方式运行时，就会发生

4、模型偏斜攻击。ML09:2023输出结果完整性攻击Output Integrity Attack当攻击者的目的是为了改变其 ML 模型的行为或对使用该模型的系统造成损害，从而修改或操纵 ML 模型的输出结果，就会发生输出结果完整性攻击。ML10:2023神经网络重编程Neural Net Reprogramming当攻击者操纵模型的参数使其以不良的方式运行时，就会发生神经网络重编程攻击。十大风险列表OWASP 机器学习安全风险 TOP 102ML01:2023 对抗性攻击Adversarial Attack风险图表Risk Chart安全弱点影响应用描述 可利用性：5可检测性:3技术:5威胁代

5、理：具有深度学习和图像处理技术知识的攻击者。深度学习模型准确分类图像的能力存在漏洞。图像分类错误，导致安全绕过或对系统造成损害。攻击向量：故意制作与合法图像相似的对抗性图像。对抗性训练防御对抗性攻击的一种方法是在对抗性示例上训练模型。这可以帮助模型对攻击的识别变得更加敏锐，并降低其被误导的可能性。稳健模型另一种方法是使用旨在抵御对抗性攻击的模型，例如对抗性训练或包含防御机制的模型。输入验证输入验证是另一个重要的防御机制，可用于检测和防止对抗性攻击。这涉及检查输入数据是否存在异常，例如意外值或模式，并拒绝可能是恶意的输入。攻击场景示例Example Attack Scenario场景 1：图像分

6、类场景 2：网络入侵检测训练深度学习模型将图像分类为不同的类别，例如狗和猫。攻击者创建了一个与猫的合法图像非常相似的对抗图像。该对抗图像带有一些精心设计的小扰动，导致模型将其错误分类为狗。当模型部署在真实环境中时，攻击者可以使用对抗图像绕过安全措施进而对系统造成危害。训练一个深度学习模型来进行网络入侵检测。攻击者通过精心制作数据包来创建对抗性网络流量，从而使它们能够逃避模型的入侵检测系统。攻击者可以操纵网络流量的特征，例如源 IP 地址、目标 IP 地址或负载，从而使入侵检测系统无法检测到它们。例如，攻击者可能会将其源 IP 地址隐藏在代理服务器后面或加密其网络流量的有效负载。这种类型的攻击可