如今，智能体AI的发展阶段大致相当于一年前的生成式AI。大多数开展智能体项目的组织仍处于试点阶段，但一些早期工作负载已开始与生产系统交互。团队正逐步超越简单的模型查询，尝试使用编排智能体、专用工作智能体，以及可跨应用和服务协调操作的工具调用工作流。
随着这些智能体系统不断演进，相关风险也在变化。在传统的大语言模型（LLM）交互中，故障通常始于并止于模型与人类之间的单次提示词与响应交互。而在智能体系统中，故障会沿着多步骤计划、工具使用、上下文管理与复用，以及智能体与现有应用之间的交互传播。
新版《OWASP智能体应用十大风险》以结构化方式呈现了这些风险的来源。该榜单定义了模型和智能体在获得目标、工具、上下文以及跨系统执行操作的能力后可能出现的十类故障。该榜单以此前发布的《OWASP大型语言模型应用十大风险》为基础，旨在应对与自主性、工具使用、上下文管理、供应链和多智能体交互相关的智能体AI威胁。
借助这份新的OWASP十大风险榜单，安全负责人和合规团队可以使用统一的语言讨论智能体AI风险、协调安全工作，并确定应优先关注的领域。
为何这对CISO至关重要
OWASP Agentic Top 10重点介绍了影响AI安全采用的故障模式。首席信息安全官（CISO）现在需要将这些指导原则应用于已逐步投入生产的系统。
F5通过以下方式提供支持：
- F5 AI Guardrails，在智能体系统投入生产时，通过运行时执行安全策略来管控AI行为。
- F5 AI Red Team，评估生成式AI系统，以衡量其在模型行为、应用和智能体执行路径方面应对真实场景的韧性。
- 综合AI安全指数（CASI）和智能体抗性评分（ARS），由F5 Labs提供，通过标准化基准衡量模型和系统级韧性，并为制定明智的安全决策提供支持。
随着智能体AI加速发展，从一开始就将韧性融入其中，并将安全视为这些系统设计和运营基础的组织，将从中获得更多收益。
OWASP智能体十大风险：这些风险如何显现
ASI01：智能体目标劫持
当智能体的目标因提示词注入、上下文投毒或计划偏离而被篡改时。
- F5 AI Red Team测试其攻击库中的间接提示词注入场景。在这些场景中，攻击者控制或不受信任的内容源（如文档、网页、电子邮件或工具输出）被用于引入恶意指令，以评估智能体目标被改变的难易程度。
- F5 AI Guardrails 强制执行输入验证，并在推理期间限制不安全或不合规的推理路径，从而降低出现意外下游行为的风险。
- ARS衡量系统抵御由智能体驱动的持续多步骤攻击序列的韧性。
ASI02：工具滥用与利用
当智能体滥用工具，或攻击者利用工具接口作为攻击跳板时。
- F5 AI Guardrails在运行时验证与工具相关的请求，并约束可能导致不安全工具交互的推理模式。
- CASI和ARS反映了在代表性执行模式下遭滥用的可能性。
ASI03：身份和权限滥用
当智能体继承或滥用凭据、令牌或提升的访问权限时。
- F5 AI Guardrails可以检测推理上下文中的机密信息、凭据或令牌，并在工具通过隐式或显式访问权限被调用之前将其阻止或记录。
ASI04：智能体供应链漏洞
支持智能体工作流的MCP服务器、注册表、远程提示包和第三方工具所带来的风险。
- F5 AI Guardrails可在智能体工作流运行期间，实时检测并阻止嵌入智能体所用数据中的隐藏指令或注入式提示，包括来自可信来源或此前已获批准来源的数据。
- CASI和ARS从系统层面衡量风险，分析漏洞如何在不同模型和执行模式之间传播，而不是孤立地评估各个组件。
ASI05：意外代码执行
当智能体以不安全的方式生成、执行或修改代码、shell或配置时。
- F5 AI Guardrails 对代码相关输出应用精细化策略，强制执行允许列表并阻止高风险模式。
- CASI和ARS可捕获代表性执行路径中的这些行为。
ASI06：上下文管理与检索操纵
当持久化上下文或检索到的上下文遭到投毒、操纵或发生漂移时。
- F5 AI Red Team评估智能体通过正常运行时输入使用和重复使用不可信或误导性上下文的场景，并评估上下文质量下降对后续推理和操作的影响。
- F5 AI Guardrails会检查检索到的上下文是否存在策略违规，并在提示注入载荷影响模型行为之前将其检测出来。
- CASI和ARS用于衡量系统抵御运行时上下文投毒和基于注入的传播的韧性。
ASI07：智能体间通信不安全
当智能体在缺少通道保护、身份验证或完整性检查的情况下交换消息时。
- F5 AI Guardrails可在运行时检测并标记智能体委派意图，包括智能体或智能体管理器评估应调用哪个智能体来执行任务的情况，并可应用策略控制来约束高风险的委派推理。
- CASI和ARS可帮助了解多步骤、多智能体执行模式如何随时间推移增加系统性风险。
ASI08：级联故障
当多种风险在不同步骤、智能体或系统之间叠加时。
- F5 AI Guardrails通过配额、策略控制和运行时强制执行来限制影响范围。
- CASI衡量系统抵御多种攻击向量的韧性，而ARS则评估在持续、多步骤的智能体执行过程中，故障可能传播到多大范围。
ASI09：利用人类与智能体之间的信任
当智能体通过令人信服或具有误导性的指令利用人类信任时。
- F5 AI Guardrails会标记并阻止不安全内容，同时记录决策以供审计。
- F5 AI Red Team模拟社会工程模式，帮助改进工作流设计并增强操作人员的防范意识。
ASI10：失控智能体
当已遭入侵或发生漂移的智能体持续存在于复杂系统中，却未被检测到时。
- 随着智能体行为不断演变，F5 AI Guardrails会持续一致地执行策略，阻止不安全的执行模式或数据外泄企图。
- CASI和ARS通过跟踪风险信号随时间推移发生的可衡量变化，检测行为漂移。
F5如何为智能体工作流提供AI安全保障
AI安全是F5 Application Delivery and Security Platform (ADSP的核心组成部分。智能体工作流在应用和API层的提示词、工具、上下文及智能体交互方式方面带来了新的风险，但这些交互仍会经过组织目前已在保护的相同Web、API、数据平面和控制平面路径。
通过将安全控制和可见性扩展到推理时行为，F5帮助组织在现有可信赖的应用安全基础上应对智能体风险。
F5将继续支持更广泛的社区协作，推动加强安全的AI实践，包括支持OWASP GenAI Security Project的相关工作。
了解有关F5 AI Red Team和F5 AI Guardrails的更多信息。
关于作者
Louise Scully现任F5 AI安全与威胁情报产品营销高级经理。她长期深耕AI安全和企业技术领域，职业经历涵盖产品营销、产品管理、市场进入策略、传播、思想领导力和品类发展。加入F5之前，Louise曾负责CalypsoAI和Artomatix的营销工作，助力AI技术和研究成果走向市场。
Louise Scully 的更多博客文章相关博客文章
三家企业如何借助AI驱动的WAF改进虚拟补丁和运行时安全
了解三家F5客户如何利用AI驱动的WAF加快虚拟补丁部署、将误报减少50%以上，并更有信心地启用阻断模式。
F5 BIG-IP v21.0增强S3工作流的AI数据交付与摄取能力
使用F5 BIG-IP 21.0版优化S3工作流：通过低接触式配置，为AI数据交付、对象存储和RAG管道提供可扩展的安全解决方案。
Everest Group报告：生成式AI行业应用的当前趋势与未来前景
我们很高兴能为全球知名研究机构Everest Group发布的一份重要新报告作出积极贡献。该报告题为《生成式AI应用：审视横向职能中的实际应用与未来展望》，深入分析了各行业对生成式AI（GenAI）的应用情况。报告指出，IT［……］