自2020年以来，AI的使用量呈现前所未有的爆发式增长。从采用速度来看，AI的发展速度超过了云技术和移动技术，当然也超过了互联网。Gartner预测，今年将有超过80%的企业部署AI。
企业采用AI的历程可按成熟度分为以下4类，这些类别通常并行推进，而非依次进行：
- 第1类是通用AI和生产力工具，例如员工使用ChatGPT、Gemini、Copilot等。
- 第2类是组织内部的应用场景，例如为人力资源或IT等职能构建定制聊天机器人。
- 第3类包括面向外部的用例，例如构建面向公众的生成式AI应用，包括客户服务聊天机器人。
- 第4类是智能体式工作流，由代表用户自主执行操作的复杂系统组成。
正是在最后这三类工作流中，安全性变得至关重要。这是因为组织正在基于非确定性AI模型构建复杂软件，由此产生了传统防火墙根本无法发现的漏洞。
“显然，部署AI的企业需要针对已知漏洞开展快速自动化测试，才能建立基准。”
安全始终是企业的重点，但面对AI，安全问题有所不同，它已成为一个盲区。过去20年来，安全负责人一直在部署和配置Web应用防火墙（WAF），以保护Web应用、网站乃至API。WAF虽然非常实用，但在应对AI时存在局限。AI使用的自然语言处理可能给传统WAF检测带来难题。简单来说，对话无法用防火墙来保护。企业需要采用新方法，随时随地保护应用和API，并全面保障AI安全。
正因如此，75%的CISO报告称发生过AI安全事件；他们现有的防护措施并非为检测这些威胁而设计。这也解释了为何91%的CISO已检测到针对其AI基础设施的攻击企图，以及为何高达94%的CISO目前正优先测试其AI系统。
新型认知攻击类别
在AI时代，组织不仅要应对代码漏洞，还面临全新的认知攻击类别，包括：
传统安全防护机制可以处理确定性输入，但提示词注入和其他自然语言攻击属于语义问题，而非模式匹配问题。这些并非孤立的缺陷，而是AI驱动型架构带来的系统性业务风险。
现实中有许多实例表明，AI正在改变威胁模型。去年夏天，一家国际软件提供商发生数据泄露，原因是其MCP服务器存在租户隔离逻辑缺陷，导致跨组织数据暴露。这是典型的多租户漏洞，但在LLM系统中更加危险，因为泄露的数据会以流畅的语言呈现，因而更难检测。
与此同时，一家全球科技公司发生的事件暴露了另一种故障：信任边界失效。提示词注入重新定义了聊天机器人的角色，而后端系统在未实施服务器端授权的情况下，信任了它发出的工具请求。问题并非模型无视规则，而是授权被不当委托给了模型。
这只是两个例子，反映了范围更广且不断演变的新兴风险格局。业界正加紧对这些AI漏洞进行分类。目前已出现一些框架，例如OWASP大型语言模型（LLM）应用十大风险、OWASP智能体应用十大风险、MITRE ATLAS和NIST AI风险管理框架，但对于真正的安全应达到何种标准，目前尚无权威数据库或统一规范。
旧方法已无法跟上变化
当前，部署AI已成为关乎各行业生存发展的紧迫任务。开发人员正借助AI以前所未有的速度编写代码，效率提升至原来的10倍；各组织甚至能在一夜之间推出新功能乃至新产品。
与此同时，监管要求也在推动合规进程加速。例如，《欧盟人工智能法案》明确要求对高风险和通用人工智能系统开展对抗性测试。实际上，这意味着专门设计的红队测试（即通过模拟对抗性攻击来测试人工智能系统）如今必须被视为人工智能安全体系的核心组成部分，并能应对这些系统在现实环境中面临的挑战。
当CISO和安全团队试图保护以机器速度发生的变化时，就像想用水桶挡住海啸一样无力。无论从规模还是速度来看，传统方法都行不通。AI攻击面有着本质区别，旧有方法已无法跟上。
显然，传统红队测试已无法有效应对，需要采用AI红队测试来化解速度与控制之间的矛盾。通过与客户交流并帮助他们保护AI系统，我们发现需要考虑以下4个关键领域：
首先是威胁演变：AI攻击的演变速度快于静态测试套件。一旦检查实现自动化，AI模型或攻击方式就会发生变化，导致安全团队不得不维护测试，而不是降低风险。
其次，智能体复杂性：AI智能体并非确定性系统。一旦加入检索、工具和记忆功能，组合方式几乎无穷无尽。此时测试的不再是代码，而是会随上下文变化的对话。
第三，自动化与规模：手动红队测试无法满足这些系统的规模化需求。一个聊天机器人或许尚可管理，但数百甚至数千个则难以应对。不能每次更新模型或系统提示词时，都依靠人工重现数千次对抗性对话。
最后是可执行的报告：调查结果必须可复现且可据此采取行动。“机器人表现不佳”并不能为后续行动提供依据。工程师需要了解对话参数和触发条件，否则修复和补救工作将陷入停滞。
确保AI即使遭受攻击也能按预期运行
下面通过几个示例来验证这一点。我们的一家客户是一家在严格监管环境中运营的全球性银行。我们最初与这家客户合作时，该银行在人力资源、采购和网络安全领域有50多个AI用例，但由于无法向内部审计人员证明这些用例的安全性，因此一个也无法上线。
使用F5 AI Red Team开展AI红队测试，为该银行提供了所需证据，帮助其了解AI系统的实际行为，包括数据可能从何处泄露、提示词可能如何被滥用，以及其环境中的控制措施在哪些环节失效。
该客户正利用AI Red Team的评估结果，通过使用F5 AI Guardrails实施自定义安全控制，以增强防御能力。这一组合让该银行能够在对自身安全态势和治理计划充满信心的基础上，在整个业务范围内扩展AI应用。
在公共部门，测试已从自愿行为转变为强制要求。在包括NIST和CISA在内的机构指导下，公共部门机构正在采取行动，例如开展对抗性压力测试，以识别生物数据武器化等可能影响关键任务的风险。在此情境下，AI红队测试不仅是为了降低风险，更是为了保持任务连续性和持续运营授权。
无论是保护客户数据还是公共服务，要求都相同：即使有人试图攻破AI系统，也要持续以证据为依据，确保系统按预期运行。
弥合合规差距
显然，部署AI的企业需要针对已知漏洞快速开展自动化测试，才能建立基准。上下文已成为新的攻击面；静态防御无法抵御智能体攻击，因此组织必须测试工作负载，而不能只测试模型。
这些正是安全团队目前亟待弥补的现实差距，也是AI红队测试日益受到重视的原因。在这种环境下，合规是一项竞争优势。借助适当的报告机制，安全不再是阻碍，而是推动企业AI更快进入市场的助力。
在这样的环境中，无论处于AI应用进程的哪个阶段，众多计划今年部署AI的企业都能更有信心地推进，而不必心存顾虑。
观看F5专家演示AI Red Team如何加速持续对抗性测试，点击此处。
关于作者
相关博客文章
WAF和API发现技术在保护智能体AI应用中的作用
智能体AI系统的功能和集成会在运行时快速变化。要以同样的速度保障其安全，需要通过API发现和Web应用防火墙（WAF）实施切实可行的控制措施。
