对抗性AI

什么是对抗性AI？

随着各组织努力通过保持输出准确性、保护专有数据或提供可靠服务，赢得客户和公众对其AI系统的信任，对抗性AI攻击正日益威胁企业应用。这些攻击会直接破坏信任的关键支柱，导致人们对AI输出的信心下降、隐私泄露以及关键运营中断。随着对抗手段不断演变，保护AI系统已成为现代网络安全战略的重要组成部分。

对抗性AI如何运作？

对抗性AI会利用机器学习系统在训练或推理阶段的漏洞。攻击者精心构造恶意输入，这些输入通常难以被人察觉，却能操纵模型的学习或运行方式，导致模型生成不准确或有害的输出。此类攻击的动机可能包括谋取经济利益、实施欺诈、破坏竞争对手，或出于意识形态目的向这些具有广泛影响力的系统中注入特定偏见。

对抗性输入是指对数据进行细微且通常难以察觉的修改，使攻击者能够操纵机器学习模型。攻击者可以利用系统内部知识实施所谓的白盒攻击，也可以通过探测系统行为来逆向分析漏洞，实施黑盒攻击。借助基于梯度的优化和扰动分析等技术，攻击者可以获取训练数据、模型行为和架构等关键信息，进而利用这些信息攻破系统。

对抗性AI的实际案例包括数据投毒攻击和规避策略。投毒攻击可能会篡改训练数据集中欺诈交易的标签，使其看似合法；也可能向可信数据源注入虚假新闻，以传播错误信息。推理期间的规避攻击可能会对图像进行像素级修改，以误导识别系统；也可能修改元数据，以绕过由AI驱动的内容审核工具。

对抗性AI风险为何不容忽视

对抗性AI会使AI系统成为攻击面。对抗技术并非利用软件缺陷，而是操纵模型输入和行为，导致AI系统做出错误或不安全的决策。对于在安全、欺诈检测、访问控制和自动化领域使用AI的企业，这些故障可能会削弱核心防御能力。

攻击可能导致模型失效和错误分类，使恶意活动看似无害，或阻止合法行为。对抗性技术还可能绕过AI驱动的安全控制，通过模型输出或推理暴露敏感数据，并降低监控和响应工作流的有效性。这些故障会损害声誉、带来监管风险，并导致客户、合作伙伴和内部利益相关者对AI系统失去信任。

随着AI变得更加普及并更深入地嵌入关键系统，对抗性AI威胁也在不断增加。AI工具的普及、开源模型以及有限的模型透明度降低了攻击者的门槛，同时增加了防御方的盲区。与此同时，AI越来越多地用于制定高影响力决策或实现此类决策的自动化，从而扩大了操纵行为可能造成的影响。

展望未来，在AI驱动的对抗性内容生成和工具的推动下，攻击预计将变得更加自动化和复杂。监管审查也日益严格，而模型复杂性和供应链依赖关系使透明度和控制更难维持。因此，管理对抗性AI风险正成为企业安全、大规模采用AI的一项核心要求。

白盒对抗攻击与黑盒对抗攻击

恶意行为者试图利用模型行为时，主要采用两种基本方法：白盒攻击和黑盒攻击。两者的关键区别在于攻击者对目标内部工作原理的了解程度。在白盒攻击中，攻击者可以全面访问模型架构、权重或其他关键信息，从而制定精准的攻击策略。黑盒攻击则相反，攻击者并不深入了解目标，而是通过反复试错查询来探测公开端点和API连接端点，目的是提取或复制模型行为、识别薄弱环节或绕过治理策略。

常见的对抗性AI攻击类型

对抗性AI是一个涵盖对抗性机器学习（对抗性ML）和对抗性定向攻击的统称，用于描述操纵、规避或破坏AI驱动型系统的一大类技术。对抗性ML侧重于利用模型训练和推理中的弱点，而对抗性定向攻击则将这些技术用于影响依赖AI的现实系统中的特定结果或决策。

总体而言，对抗性AI利用机器学习模型对数据的依赖，加剧了传统网络安全挑战，而这些数据大多来自公开渠道或外部系统。攻击者可利用这些技术绕过基于AI的身份验证、规避威胁检测或操纵推荐引擎，从而给在机器人防御、欺诈检测和API等领域使用AI的应用带来重大风险。对抗性AI通过模仿可信的用户身份并构造专门用于规避检测的输入，增加了关键系统的脆弱性，其中包括由AI驱动的Web应用防火墙（WAF）和行为分析工具。此外，攻击者还可通过以下方法破坏模型：

• 数据投毒：在训练阶段注入损坏或误导性数据，从而破坏模型的完整性。
• 模型操纵：改变模型行为，导致错误分类或不准确的预测。
• 规避技术：实施精心设计的细微模式，旨在欺骗AI系统，使其在推理过程中做出错误决策。
• 基于提示词的LLM攻击：针对大型语言模型的对抗性提示、越狱和定向操纵。

如何防御对抗性AI攻击

防范对抗性AI攻击需要采用分层方法，涵盖模型设计、数据管道、检测和持续验证。

• 通过对抗训练和鲁棒性调优强化模型：对抗训练会在训练过程中有意让模型接触经过操纵或恶意构造的输入，以提高模型的韧性。鲁棒性调优、模型蒸馏和防御性架构等技术有助于降低模型对对抗性噪声的敏感度，并限制可被利用的行为。
• 验证输入：输入清理和规范化通过强制采用标准化格式、编码和值范围，降低对抗性操纵的风险。异常检测和输入空间约束有助于在可疑数据或分布外数据到达模型之前将其识别出来。
• 保护数据管道：严格的访问控制、数据验证和来源追踪可保护训练和推理数据免遭投毒或篡改。安全的数据管理可确保已遭入侵或不可信的数据不会影响模型行为。
• 监控生产环境中的模型：持续监控可检测性能下降、概念漂移和异常输出，这些情况可能表明存在对抗性活动。记录可疑交互和模型决策有助于调查和事件响应。
• 持续测试模型并进行压力测试：对抗性测试、AI渗透测试，以及针对LLM和AI红队测试可模拟真实攻击，以识别薄弱环节。定期进行压力测试，可确保防御措施随着模型、威胁和用例的演变持续有效。

F5如何防范对抗性AI

The F5 Application Delivery and Security Platform（F5 ADSP）提供统一解决方案，应对日益严峻的AI安全威胁。F5将应用交付和安全服务整合到一个可扩展平台中，为应用、API和关键系统提供全面保护。其强大功能可防范从训练到推理的整个AI生命周期中的漏洞，帮助组织有效管理风险，并确保混合云和多云环境的可靠性。

F5 AI Gateway提供集中式控制点，用于管理对AI模型、智能体和工具的访问，帮助组织在各种AI交互中一致地执行策略。F5 Workforce AI Security将可见性和治理扩展到获准和未经批准的AI使用场景，帮助组织识别影子AI，了解员工队伍使用AI的方式，并保护敏感数据。结合F5 AI Guardrails和F5 AI Red Team，这些功能共同构成F5 AI Security Platform的一部分。为更广泛地保护应用、API和分布式环境，F5 ADSP还整合了Web应用和API保护、机器人管理、DDoS缓解以及应用交付等功能。

常见问题

对抗性AI攻击与传统软件缺陷有何区别？

对抗性AI攻击与传统软件缺陷的区别在于：软件缺陷是代码中意外出现的问题，会导致非预期行为；而对抗性AI攻击则是蓄意操纵和利用AI系统的行为。

白盒对抗攻击与黑盒对抗攻击有何区别？

白盒对抗攻击与黑盒对抗攻击的区别在于攻击者掌握的信息。在白盒场景中，攻击者深入了解模型架构、训练数据、参数等信息。在黑盒攻击中，恶意行为者不了解目标模型的内部工作原理，而是通过探测公开端点和API连接的端点来寻找薄弱环节并制定攻击策略。

规避攻击与数据投毒攻击有何不同？

规避攻击与数据投毒攻击的一个关键区别在于发生阶段不同。数据投毒攻击发生在训练阶段，攻击者会注入有害数据，或恶意修改合法数据。规避攻击则发生在推理阶段，是指通过操纵模型，迫使其执行未经批准的行为。

对抗性攻击如何针对LLM？

攻击者会通过提示词注入、越狱、恶意上下文数据、模型提取，以及针对所连接数据库或工具的攻击等技术来攻击LLM。

什么是对抗训练？它如何增强模型的稳健性？

对抗训练通过在训练过程中让模型接触常见攻击技术，增强模型的稳健性。这种接触有助于训练模型，使其能够在发生对抗性操作时正确识别并作出响应。

如何保护生产环境中的AI API免受运行时对抗性威胁？

为保护AI API免受运行时对抗性威胁，组织需要采用集中式解决方案，以发现所有API端点并识别影子API，应用针对最新AI API威胁的威胁检测功能，并实施包含内联安全功能的强有力防护。持续的可见性、监控和异常检测对于实时、大规模缓解API风险至关重要。

如何保障AI系统在推理和运行时的安全？

要在推理和运行时保护AI系统，需要使用相应的控制措施，在交互发生时检查提示词、响应、智能体操作和工具使用情况。AI专用运行时安全功能有助于阻止提示词注入、防止敏感数据泄露、执行策略，并管控模型和智能体与用户、数据及所连接工具的交互方式。