新型AI风险面：隐形、自主，且已潜入内部

F5 ADSP | 2025年7月10日

2025年已过半，现在正适合概览企业AI的采用情况和AI安全现状。

企业使用生成式AI现已成为常态

总体而言，企业至少已对生成式AI有了基本了解，知道它是什么以及可以应用于哪些场景。如果您从事的工作目前还无法使用生成式AI，就已经落后于发展趋势。

基于生成式AI构建应用正迅速成为企业的常规做法。我们亲眼见证客户将AI应用部署到生产环境，供内部和外部使用。

在采用智能体方面，主要有两种方式：通过第三方采用智能体，以及构建专有智能体。通过第三方采用智能体已相当普遍，但企业并不总是意识到自己已经采用了这种方式。最初通过浏览器使用GenAI模型界面的组织，可能并未意识到自己也在使用智能体AI。

例如，Google Gemini刚推出时并未内置任何智能体元素；如今，Deep Research已成为Gemini中的一个智能体。收到提示后，Deep Research会确定需要执行哪些任务和开展哪些网络搜索，然后获取信息并生成报告。同样，Microsoft 365 Copilot中也包含智能体。

专有智能体的构建目前主要处于原型设计和试验阶段，但智能体的发展速度远快于生成式AI。2024年，人们还在问：这会成为现实吗？风险真的有所不同吗？如今，这些疑问已不复存在，企业对此深信不疑。

因此，了解智能体和“智能体抗性”至关重要。

MCP并不等同于安全

许多企业已开始将模型上下文协议（MCP）视为引入智能体AI的唯一途径。组织几乎开始用MCP取代“智能体”一词，常常谈论“构建MCP”。

严格来说，这种说法并不准确。MCP实际上相当于一份选项菜单，列出了智能体可用于执行任务的各种选项。可以将其理解为MCP服务器在说“菜单上有这些选项”，而MCP客户端则决定“我要以这种方式使用其中这个选项”。随后，它会使用AI模型来确定要做什么以及如何执行。

在这种架构中，风险仍然源自模型，服务器软件中也存在其他风险。MCP并不会自动消除这些风险。该协议表现出色，但绝非默认安全，近期的安全事件已经证明了这一点。例如，Asana最近发现并披露了一个漏洞，该漏洞可能导致其他账户的用户访问属于Asana MCP用户的数据。

如果企业想当然地认为MCP可以降低风险，实际上可能会增加自身的风险敞口。如今，我们的许多客户和潜在客户都在问：“请说明如何保障MCP的安全。”企业需要从整体角度出发，全面考量并对用例、模型、部署模式，以及通过MCP和其他标准与工具进行的交互开展压力测试。

对于智能体AI，“如何实现”至关重要

“大多数使用AI的公司过于关注AI模型或应用实现了什么，也就是工作成果和输出。随着智能体自主运行，风险水平大幅上升，因此如何实现这些成果变得至关重要。”

这是因为，实现某个“目标”有很多种方式，但其中许多方式可能并不合适，甚至是错误的。假设某个智能体的任务是让数据库保持最新，并且拥有删除或插入数据的访问权限。例如，它可以准确查找并删除与公司名称完全匹配的条目，从而删除与F5相关的记录。

不过，智能体也可能决定发出“删除F*记录”的指令，从而删除所有名称以F开头的公司的记录。这种粗暴的操作虽然能达到同样的目的，却会引发一连串可能难以补救的意外后果。在智能体时代，当操作由非确定性模型驱动时，意外行为本身就是安全事件，尤其是在防护措施不足的情况下。了解智能体行为对于成功采用智能体至关重要。