AI红队缺少什么，以及如何改进

F5 ADSP | 2025年6月12日

Jessica BrennanAI安全高级产品营销经理 | F5

红队测试长期以来一直是企业安全的基石，但面对生成式AI，大多数组织仍在使用过时的策略来应对新型威胁形势。静态提示词测试、一次性审计和基于CLI的工具或许能发现明显问题，却很难反映GenAI系统部署后在实际环境中的复杂行为。

本文探讨了大多数AI红队测试策略中的主要盲点，以及安全负责人可采用哪些最佳实践来推动策略演进。

为何静态测试难以应对动态变化的AI世界

传统AI红队测试工具通常侧重于提示词注入的成功率：模型是作出响应还是拒绝响应？但这种二元结果忽略了更全面的情况。面对不同变体时，模型能否始终可靠地拒绝响应？模型是否转移了话题或以隐晦方式造成误导？模型是否容易受到间接、多轮探测的影响？

大多数红队仅关注表层指标，无法评估随时间逐渐显现的细微故障。随着企业越来越多地测试开源模型或实验性模型（通常对其内部安全机制了解有限），安全负责人开始要求在引入模型前采用更深入、更有原则的验证方法。

智能体红队测试的兴起

在AI安全领域，一项颇具潜力的发展是从静态提示转向智能体红队测试。这种方法利用自主对抗智能体持续探测模型行为，并随之调整。

这些智能体不再运行一组固定的提示词，而是被赋予基于意图的目标（例如，提取机密数据、绕过内容审核、冒充内部角色），并可进行迭代。它们会从模型的响应中学习，并尝试日益复杂的间接方法来实现目标，从而模拟现实世界中攻击者的行为。

这种方法不仅能发现传统工具遗漏的漏洞，还反映了不断演变的风险格局：模型会与复杂系统及其他智能体交互，威胁也会随时间逐步显现，而非孤立发生。

在实际情境中测试AI：MCP为何能带来变革

如今，技术协议正逐步规范这种向动态智能体系统的转变，其中最具代表性的是模型上下文协议（MCP）。MCP规定了如何在工具、智能体和模型交互之间传递并保留上下文。这些上下文可能包括系统指令、任务历史记录或AI组件之间的共享内存。

从安全角度看，MCP带来了一种新的红队测试挑战：不仅要评估模型的单次响应，还要评估模型在一系列交互中的行为方式，其中的指令、依赖关系和目标会不断变化。

在不受干扰的单次测试中看似安全的模型，在继承已遭入侵的上下文或受到上游智能体操纵时，可能会失效。忽视上下文流的红队很可能会漏掉现实环境中的多类漏洞。

为什么情境化测试优于二元结果

这一切都揭示了一个更普遍的事实：仅凭单个提示词的通过或失败等二元结果，已不足以支持判断。为了做出有意义的安全决策，团队需要了解系统如何发生故障、为何发生故障，以及在什么条件下发生故障。

上下文测试可以揭示可能暴露生成式AI系统潜在弱点的模式、依赖关系和细微差异，包括模型如何响应状态变化、提示词重新输入或对抗性链式攻击，而静态红队测试只能捕捉其中一种情况。

如果在运行时使用AI，除了在模型层面进行探测，还必须开展深入且充分考虑应用上下文的红队测试。尤其是在检索增强生成（RAG）管道或智能体工作流中，内部数据会在推理阶段引入，此时决定风险敞口的是应用的行为，而不仅仅是底层模型。

这些更深入的洞察也对报告提出了更高要求。仅标记漏洞还不够，还需要说明漏洞的触发原因、重要性以及修复方法。这意味着要记录完整的提示词和响应链，将问题归入相应的意图或系统行为类别，并明确修复优先级。