什么是AI越狱攻击？
一种恶意利用手段，旨在绕过AI系统的内置防护机制，使系统执行正常情况下不会执行的操作或生成正常情况下不会生成的内容
越狱攻击是一种恶意利用手段，旨在绕过AI系统的内置防护措施。其目的是使系统生成不准确或有害的输出，或执行未经授权的操作。越狱是一种提示词注入形式，专门用于绕过模型的安全控制；而提示词注入的范围更广，是通过恶意或不可信的指令操纵模型行为。
常见的越狱技术和攻击途径
攻击者会使用多种技术和途径实施越狱。以下是最常见的方法：
角色扮演和角色操纵：攻击者通过AI模型提示词，指示模型扮演一个无视内置防护措施的角色。例如，攻击者曾指示模型扮演“DAN”（“do anything now”，即“立即做任何事”），该角色可能会对提示词给出未经审查的回答。同样，“AIM”（“always intelligent and Machiavellian”，即“始终聪明且奉行马基雅维利主义”）这一角色也曾被用于提供突破道德界限的不道德回答。
混淆和编码：这种越狱技术试图将恶意载荷转换为可绕过文本安全过滤器或分类器的格式。攻击者会使用Base64编码代替自然语言，或使用密码（通过算法移位或替换正常内容）、不可见字符以及其他字母表中的字符。模型可以解码并读取这些修改后的内容，但其安全过滤器无法识别。
强制肯定响应：这种技术也称为前缀注入或强制补全，会迫使模型以肯定陈述开始每次响应，例如“当然，我可以帮忙！”模型一旦生成此类响应，其概率式生成机制就会使其更有可能继续完成后续请求，即使这些请求通常会被拒绝。
上下文泛滥：这种技术有时也称为上下文填充或注意力饱和。攻击者会在提示中加入大量无害文本或随机数据。大量额外上下文可能会削弱或干扰先前指令的影响，导致模型更难始终遵循其安全约束。
威胁的演变
最初，AI越狱的主要目标是大语言模型（LLM），其危害基本仅限于生成不当的文本回复。但随着越来越多的组织采用AI智能体自主处理各种任务，攻击者已将目标转向这些智能体。
AI智能体越狱可能给企业带来严重后果。例如，拥有API访问权限的越狱智能体可能会窃取敏感数据、删除数据库文件、执行欺诈性金融交易、通过企业账户发送网络钓鱼消息，或导致关键系统崩溃。
攻击者也在利用AI查找智能体漏洞，以提高越狱攻击的成功率。例如，他们使用大型推理模型（LRM）发现漏洞，随后可部署由这些LRM驱动的自动化红队智能体，持续测试智能体漏洞。
传统安全为何力有不逮
传统安全解决方案（如Web应用防火墙（WAF））不足以防止AI越狱，主要有两个原因。首先，WAF会检查结构化数据和代码，以识别已知威胁模式。然而，在越狱攻击中，攻击者会使用自然语言提示，迫使模型和智能体执行操作。WAF无法理解这些自然语言的含义。此外，WAF主要检查HTTP应用流量，无法洞察AI系统可能摄取内容的所有来源。
如何保护AI应用和智能体
防御AI应用和智能体遭受越狱攻击，需要采取多层策略。以下4项关键实践有助于构建这一策略：
1. 实施双重（输入/输出）防护机制：输入防护机制可以检查提示词中是否存在混淆和编码，并过滤角色扮演尝试。输出防护机制则可以在生成的输出到达用户之前，以及模型执行任何API调用之前，对其进行评估。评估内容可能包括仇恨言论、数据泄露和未经授权的工具调用。
2. 部署哨兵模型或审核模型：组织无需让模型自行评估其安全性，而是可以部署专为分类而设计的轻量级“哨兵”模型或审核模型。通过检查输入和输出，这些模型可以识别提示词中的劫持企图，并判断生成的输出是否违反企业政策（例如有关仇恨言论或骚扰的政策）。
3. 强制保持系统提示词忠实度：系统提示词忠实度是指提示词遵循系统指令、不发生偏离或不被其他指令覆盖的程度。组织可以通过多种技术强制保持系统提示词忠实度，例如在用户对话期间重复核心系统指令（以应对上下文泛滥），以及微调指令层级，确保模型拒绝用户发出的忽略系统指令的命令。
4. 对智能体采用最小权限API访问：遭到越狱的AI智能体可能会给企业造成严重损害，尤其是在这些智能体连接到关键系统时。组织可以通过采用最小权限API访问来限制智能体越狱可能造成的损害。智能体应只能访问完成任务所需的特定API。
常见问题
为什么AI模型会拒绝无害的问题（产生“误报”）？
AI模型有时会拒绝回答用户提出的无害问题。这类拒绝称为“误报”或“过度拒绝”。提示词中可能包含在其他语境下表示危险的触发词，或采用了暗示试图越狱的表述方式（例如要求模型扮演某种角色）。模型也可能判断，其回答很可能会引发有害请求，而这比拒绝回答的后果更严重。
角色扮演如何绕过安全防护机制？
角色扮演通过将恶意意图隐藏在看似无害的语境中，诱使安全防护机制失效。如果防护机制认为提示词只是一项创意练习，就不会将其归类为有害内容。与此同时，模型会调动资源来遵从扮演角色的指令，从而减少对执行安全规则的关注。
“DAN”提示词与通用越狱有何区别？
臭名昭著的“DAN”提示词是指一种角色扮演技巧，即让模型采用一个会忽略安全规则的角色设定，要求其“立即做任何事”（do anything now），并直接遵从用户提供的指令。通用越狱攻击则利用计算机算法生成一个字符串，将其添加到任何提示词后，即可绕过模型的安全规则。
对AI系统进行越狱会带来哪些法律风险和责任？
对运行AI系统的组织而言，破解AI系统的限制可能带来多种风险和法律责任。例如，这可能导致敏感客户数据泄露、虚假信息传播、违反合规要求，或自主智能体实施各种违法行为。相关组织可能面临监管罚款、诉讼，甚至刑事诉讼。
API安全设置能否完全阻止越狱尝试？
不能。API安全设置无法完全阻止越狱尝试。攻击者可以使用Base64编码或类似的混淆技术绕过API过滤器。此外，API过滤器通常无法检测伪装成普通文本的指令。隐藏在第三方内容中的间接越狱尝试尤其难以检测，因此需要对外部内容或检索到的内容实施额外控制。
如何保障AI系统和应用在推理及运行时的安全？
要在推理和运行时保护AI系统，需要通过控制措施，在交互发生时检查提示词、响应、智能体操作和工具使用情况。AI专用运行时安全机制有助于阻止提示词注入、防止敏感数据泄露、执行策略，并管控模型和智能体与用户、数据、API及所连接工具的交互方式。
F5的哪些功能可支持企业AI安全？
F5 AI Guardrails有助于实施运行时策略，并防范提示词注入、数据泄露、有害输出和不安全的智能体操作等风险。F5 AI Red Team通过对抗性测试，在攻击者发现之前识别漏洞和薄弱环节。F5 AI Gateway为管控模型、智能体和工具的访问提供集中控制点；F5 Workforce AI Security则可帮助企业全面了解获准和未经批准的AI使用情况。这些功能共同构成F5 AI Security Platform的一部分。为更广泛地保护应用、API和分布式环境，F5 Application Delivery and Security Platform (ADSP)还整合了Web应用和API保护、机器人管理、DDoS缓解以及应用交付等功能。
