智能体阻力：加速AI实现预期用途

在《侏罗纪公园》中有一个著名场景：猎场管理员穆尔登描述了迅猛龙如何有计划地试探高压围栏，寻找薄弱点。它们从不重复检查同一个位置。穆尔登恍然大悟地说：“它们记得。”

这个比喻恰当地反映了企业争相采用AI时我们所处的境况。威胁行为者正伺机探查这些新系统的弱点，并借助能够记住有效攻击手段的AI工具。眼下，现有防线还不足以应对这些威胁。

这令人担忧，因为AI的复杂程度正在加速提升。Gartner预测，到2028年， 33%的企业软件应用将包含智能体AI，高于2024年的不足1%。Gartner还预测，到2029年，智能体 AI将自主解决80%的常见客户服务问题，无需人工干预。

这些自主数字代理实际上由三层组成：

• 目标：为智能体指定的具体任务

• 大脑：底层AI模型，很可能来自一家前沿AI公司

• 工具：智能体可访问完成任务所需的工具，包括内部软件系统、浏览器和电子邮件等

从本质上看，每个智能体都各不相同。一个系统中可以有多个智能体，这意味着未来可能会有数十亿个智能体在全球各地的组织内部执行任务。这些任务既包括最常规的管理操作，也包括敏感程度更高、对业务至关重要的任务。

会议预订智能体可通过API访问企业日历和休假预订系统，也可获得会议室预订权限。通过大脑与工具之间快速、自主的交互，智能体可找到所需信息并预订会议。

最终用户不必了解AI系统内部的所有交互。不过，他们有理由期待解决方案供应商已考虑到各种边缘情况，即可能导致系统出错的情形，并提供相应防护。

排列组合问题

组织需要思考一些重要问题：如何证明AI系统是安全的？采取了哪些措施来测试安全边界？要回答这些问题，需要在智能体与模型和工具相互交互的每一层实施监督和保护。

如果缺乏测试和保护措施，智能体AI很容易发生故障或遭受外部攻击，后果可能从不尽如人意（会议安排混乱）到灾难性事件（智能体获授权进行金融交易，或通过电子邮件将客户信息发送给第三方）不等。

要避免这些极端情况在现实中发生，就需要能够发现它们。但问题在于，智能体系统每增加一个元素（例如新工具或更新后的模型），复杂程度都会成倍增加。智能体执行任务的方式会产生数量激增的排列组合，恶意行为者可利用的攻击面也会随之扩大。

相比之下，AI模型的安全测试仍高度依赖人工。即使是规模较大的AI组织，也会采用人工红队测试来检验其模型。对人类而言，要找出智能体系统中的所有可能组合，是一项难以想象的艰巨任务，而且极其耗时。

不仅如此：除了排列组合问题，AI智能体的构成也在不断变化。如果换用新版底层模型来支持智能体，就必须重新开始安全测试。如果连接工具的API发生更新，也必须从头开始。

此外，具备编码能力的智能体未来或许能够自行更新模型和/或工具。即使是能够使用现有软件工具的高技能专家，也难以跟上其发展速度。

Agentic Resistance 简介

测试新技术所面临的挑战，需要更先进的新技术解决方案：利用能力增强的AI智能体，自动对AI系统开展红队测试，发现其中的弱点和缺陷。我们将其称为Agentic Resistance，它代表着AI安全领域的新前沿。

Agentic Resistance利用智能体的特性，直面极具挑战性的排列组合问题：

• 在目的层，只需编写新的描述，即可随时更改智能体的目的或添加更多智能体。

• 在大脑层，我们持续更新，以吸收最新AI模型的优势，例如近期出现的推理模型。

• 在工具层，我们可以构建接口，让智能体能够使用一系列开源渗透测试工具。

我们现在拥有的是一个强大的智能体系统，专门用于发现AI系统中的缺陷和边缘情况。为实现这一目标，它会自主判断应执行哪些任务、按什么顺序执行以及使用哪些工具。借助内置记忆功能，该智能体会在每一步中不断学习。

Agentic Resistance通过运用内置智能层的暴力排列攻击能力，可以应对过去难以解决的智能体AI安全防护挑战，从而消除智能体AI与人工红队测试之间目前存在的能力差距。

这种新方法也打破了“AI安全会成为瓶颈”的误解。通过在发布前及后续运行期间持续快速发现AI系统中的缺陷，可以从根本上提高系统的安全性，并加快迭代速度。

这正是Agentic Resistance所实现的目标：以实用、高效的方式检测威胁，从而更有可能加快AI在预期用途中的应用。

剧透预警：在《侏罗纪公园》中，断电导致围栏失效时，迅猛龙已准备伺机逃脱。这给企业的启示是，要像迅猛龙一样思考，利用最新技术系统地测试自身边界，确保其不易被攻破。

《 F5综合AI安全指数》根据实际安全测试对主流AI模型进行排名，揭示性能基准测试忽视的关键风险。该指数由F5 AI Red Team提供支持，是一款可帮助您在部署前找到更安全模型的工具。