创新是一回事，治理则是另一回事。多项研究调查中一系列令人担忧的统计数据表明，尽管治理方面存在本应促使企业审慎行事的缺口，企业采用生成式AI的步伐仍在全速推进。
根据PWC于2025年5月发布的AI智能体调查，79%的企业已采用AI，只有2%的企业完全不考虑智能体AI。无论这些智能体是否具备真正的智能体特征，例如能够制定工作计划并执行多步骤操作、评估结果和自我调整，还是仅作为聊天机器人，将一次性请求转发给选定的大语言模型（LLM），其采用率都很高，而且这些企业几乎都计划在未来一年增加AI支出。
相比之下，我们的研究使用AI就绪度指数来量化组织在成功扩展、保护和持续运行AI系统方面的运营能力。研究显示，仅有2%的组织已高度准备好应对AI赋能系统在设计、部署和运营中固有的挑战。
尽管如此，根据EY的研究，IT和安全团队别无选择。研究显示，大多数企业领导者认为，他们必须在今年采用智能体AI，才能在明年此时领先于竞争对手。与忽视安全和治理缺口的组织相比，愿意放慢脚步、审慎弥补这些缺口的组织将在2026年取得更大进展，业务面临的漏洞风险也会更低。以下三项实践相辅相成，有助于降低采用生成式AI和智能体AI的风险：
1. 保护模型安全
新技术需要得到保护，而每种形式的生成式AI都以一个或多个大语言模型（LLM）为核心。仅依赖模型创建者持续提高准确性、减少幻觉并防止越狱攻击是不够的。企业必须投资于提示词和模型服务，以便独立检测并阻止不良行为。此外，由于使用LLM的企业实际上都会使用多个LLM，因此必须在应用与推理API调用之间建立抽象层，以满足这些应用在可用性、路由、扩展和成本控制方面的要求。
2. 保护数据安全
向模型开放的企业数据对企业而言可能是新数据，也可能不是。无论如何，都必须确保这些数据的安全，而且不能仅保护静态数据或加密通过网络传输的数据。无论数据以何种方式或形式存在于企业私有环境中，即使要供经批准的第三方服务使用或由第三方实体使用，也必须对其进行检测和保护。请注意，重点不在于数据来源，而在于数据是否会流出企业环境。
3. 保护智能体
智能体改变了游戏规则，因为它们使用LLM来决定采取哪些行动，以实现由它们自行确定的最终目标。智能体要正常运行，需要获得执行操作、访问资源以及创建、更改和删除信息的权限。必须通过智能体之外、但与其距离足够近的机制对其进行监控和控制，以便有效观察和评估智能体。未来几个月，随着相关技术逐渐成熟，有两种主要方法值得密切关注：护栏框架（例如MCP-Universe）和LLM即裁判框架（例如Microsoft LLM-as-a-Judge Framework）。
前一种方法使用非常具体的任务型操作来定义基准事实，将智能体发起的操作结果与按明确指令运行的软件预先获取的独立操作结果进行比较。其优势在于，示例代码覆盖的领域不断扩大，可利用预先选定且确认可靠的来源核查天气、历史事实等各类信息。该方法先收集信息，再将这些结果作为基准事实，与已部署智能体得出的结果进行比较。
后者使用另一个LLM，甚至多个LLM，来分析已部署智能体的行为，并根据企业定义的标准评估其结果的质量和适当性。这两种方法都展现出潜力，正在快速成熟，并且均由企业掌控。更重要的是，还可根据需要通过人在回路控制来增强这两种方法。
这套涵盖模型、数据和智能体的三重控制机制，可弥补网络安全和治理方面的缺口，避免企业因这些缺口而面临生成式AI和智能体系统带来的新型风险。
要进一步了解如何将这些类型的控制措施用作独立的基础设施服务，请阅读F5近期发布的CalypsoAI公告。CalypsoAI是AI应用和智能体防御、红队测试及治理解决方案领域的先行者。
关于作者
相关博客文章
Thingbot正转变为攻击平台
Lori MacVittie重点介绍了F5 Labs对2018年1月至6月全球物联网设备攻击的研究，并指出了其中令人警醒的影响。物联网设备不仅持续遭到利用，还被转变为攻击平台，这意味着攻击者可以更充分地利用这个必然增长的市场。
借助F5全新Quick Start，在AWS上快速开展业务
在AWS re:Invent开幕前，我们很高兴与大家分享F5与AWS之间全新的Quick Start集成。F5的Tom Atkins将介绍该服务如何启动、配置和运行在AWS上部署工作负载所需的计算、网络、存储及其他AWS服务。