本文是AI护栏系列博客文章的第六篇。
并非所有AI护栏的工作方式都相同，这种差异正变得越来越不容忽视。随着组织在推理阶段（即模型处理提示并生成响应时）实施管控，两种方法经常被混为一谈。
一种方法依赖针对特定用途训练并经过速度优化的分类器。另一种方法则使用由LLM驱动的控制机制，旨在分析意图、上下文和策略。两者通常都被称为运行时防护机制，但在生产环境中的表现却大不相同。因此，人们越来越难以厘清防护机制究竟保护什么、存在哪些不足，以及为何仅凭性能指标无法全面反映实际情况。
随着AI系统在初始部署后逐步成熟，静态分类器的局限性会愈发明显，尤其是在防护机制需要随实际使用情况、新兴威胁和不断变化的策略要求持续演进时。
“对AI护栏的混淆不只是语义问题，还会影响实践中保护AI系统的方式。基于机器学习的护栏与由大语言模型驱动的护栏解决的问题不同，所权衡和优化的方面不同，失效方式也不同。”
我们所说的运行时护栏
在比较不同方法之前，务必要区分模型级防护机制与运行时防护机制。
模型护栏通常在训练或对齐阶段应用，用于影响模型的预期行为。运行时护栏则在推理阶段发挥作用。当AI系统与用户、智能体、API和企业数据交互时，运行时护栏会实时检查提示词和响应，并执行相关策略。
这一区别至关重要，因为大多数严重故障并不会在训练或基准测试期间显现。提示词注入、间接数据泄露、权限提升和策略规避通常出现在实时交互过程中，此时控制措施必须持续做出决策，而且往往要应对对抗性条件。
基于机器学习的防护机制擅长哪些方面
基于机器学习的防护机制（包括许多供应商所称的专用分类器）使用基于标注数据训练的传统机器学习（ML）或小型语言模型（SLM），检测已知类别的风险。当模式稳定、定义范围较窄且必须极快做出决策时，这类防护机制表现良好。
这些方法因延迟低、性能可预测、规模化应用时成本效益高，以及能够准确识别明确定义的风险而受到重视，例如已知的有害内容类别、常见的个人身份信息（PII）格式或基于特征码的提示词注入模式。
专用分类器在其预期范围内可以发挥显著作用。及时更新后，它们能够可靠地防范重复出现且已得到充分了解的威胁。与传统安全领域一样，这些控制措施仍是分层防御策略中不可或缺的一部分。
当上下文至关重要时，基于机器学习的防护机制难以有效应对
生成式AI系统所处的环境，是传统分类器从未被设计用于应对的。提示词具有开放性，攻击会动态调整，违规行为通常较为间接，可能要经过多轮对话或多次交互才会显现。
这些限制源于系统架构。专用分类器依赖既有示例，难以处理新颖措辞、混淆或提示词链等边缘情况。机器学习模型可以检测模式，但无法推理意图、角色或政策细微差异。扩大覆盖范围通常需要重新训练或重新标注，因此难以及时应对不断演变的威胁。将复杂的业务、法律或监管政策转化为固定标签通常并不切实际。
这些限制在初始部署后尤为明显。当风险符合静态模式且策略变化缓慢时，机器学习驱动的防护机制效果更好。但生成式AI系统的运行环境并非如此。随着提示词、用户、智能体和集成不断演变，控制措施必须随之调整，而无需持续重新训练或手动扩展规则。这正是仅依赖机器学习的方法存在不足之处，并非因为它们没有价值，而是因为它们并非为长期支持持续、自适应的策略执行而设计。
为何LLM驱动的防护机制会改变局面
LLM 驱动的防护机制使用大语言模型，结合上下文评估提示词和输出。它们并非判断交互是否匹配已知模式，而是根据交互意图、用例、所涉及的数据及相关交互历史，评估交互是否违反策略。
这带来了仅靠分类器难以实现的能力。
LLM驱动的防护机制可以解读间接请求、多步骤攻击和经过混淆的意图。这对于检测可规避基于模式的检测机制的现代提示词注入和越狱技术至关重要。
这类防护机制还可以根据以自然语言表述的策略来评估交互。不过，并非所有基于LLM的实现都支持真正的自定义。许多实现依赖供应商预先定义的固定策略，并将其统一应用于各种用例。
可自定义的LLM驱动型防护机制支持组织在运行时定义、调整和执行定制策略。这些策略可与特定应用、数据敏感度、用户角色和风险承受能力保持一致。这一区别在企业环境中至关重要，因为同一模型可能用于支持内部研究、面向客户的工作流和受监管流程，而这些场景各有不同的执行要求。
由于LLM驱动的防护机制侧重推理而非分类，因此能够更有效地适应新的攻击技术。结合持续更新的对抗性测试数据，防御能力可随现实威胁行为同步演进，而不是滞后于威胁变化。
然而，仅靠LLM驱动的防护机制并不能保证持续执行、自定义能力或运营韧性。这些能力取决于如何将基于LLM的推理集成到更广泛的运行时控制框架中。
为什么生成式AI护栏在上线后仍然至关重要
由LLM驱动的防护机制能够根据意图和上下文进行推理。生成式AI防护机制将这一能力扩展为运行时控制平面，旨在初始部署后长期运行、持续适应，并在生成式AI系统中实施策略。这一区别至关重要，因为当AI系统面对真实用户、真实数据和真实的对抗行为时，仅靠推理并不足以应对。
AI初始部署通常可以通过静态控制和已知模式检测来保障安全。在使用受限且风险相对可预测的早期推广阶段，这些方法可能有效。随着时间推移，生成式AI系统不断演进，提示词发生变化，新的智能体被引入，集成范围不断扩大，攻击技术持续调整，策略也会根据监管、业务或运营要求而变化。
在这一阶段（通常称为第二阶段运维），防护机制不能仅检测已知违规行为，还必须持续解读意图、适应新的利用手段，并执行能够反映AI在生产环境中实际使用方式的策略。这需要运行时控制机制能够持续演进，而无需频繁重新训练、重新部署或手动扩展规则。
生成式AI护栏正是为应对这一现实而构建。它们在支持定制、持续执行和策略演进的运营框架中应用基于LLM的推理，覆盖模型、智能体、用户和数据流。它们并非取代现有控制措施，而是提供生成式AI系统在不断成熟过程中维持安全性所需的灵活性和语义理解能力，从而与机器学习驱动的护栏形成互补。
混合防御的作用
有效的运行时安全策略并非在ML与LLM防护机制之间二选一，而是通过生成式AI防护机制将二者结合起来，在一致的运行时执行层中运用推理能力。
专用分类器可高效阻止已知且反复出现的威胁。由LLM驱动的推理可处理模糊性、新颖情况和细微的策略差异。二者结合，形成符合长期安全实践的纵深防御方法。生成式AI的不同之处在于，第二天及后续阶段的使用是常态，而非例外。无法随时间推移而调整的控制措施必然会逐渐失效。
运行时的清晰度至关重要
围绕AI护栏的混淆并非只是语义问题，还会影响实践中保护AI系统的方式。基于机器学习（ML）的护栏与由大语言模型（LLM）驱动的护栏解决的问题不同，针对的权衡取舍不同，失效方式也不同。
速度和成本仍是重要的考量因素，但仅凭这两点并不足够。有效的运行时保护取决于上下文、适应能力，以及随着实际用例不断演变，执行相应策略的能力。由机器学习驱动的防护机制（包括专用分类器）发挥着重要作用，但仅凭这些机制无法满足生成式AI在生产环境中的持续需求。
要在推理阶段持续保障安全，需要借助生成式AI护栏，将基于LLM的推理转化为可自适应且可执行的运行时控制，以支持第二天及后续运营。在这些阶段，实际风险开始显现，静态防御已不足以应对。
了解F5 AI Guardrails如何支持跨模型、智能体和用例实施运行时强制执行。
此外，别忘了阅读本系列之前发布的这些博文：
关于作者
相关博客文章
WAF和API发现技术在保护智能体AI应用中的作用
智能体AI系统的功能和集成会在运行时快速变化。要以同样的速度保障其安全，需要通过API发现和Web应用防火墙（WAF）实施切实可行的控制措施。
