保障智能体时代安全：从热潮走向高风险

James WhiteAI安全首席技术官 | F5

随着智能体热潮逐渐成为现实，全球各地的组织都在探索让AI智能体在内部开展工作的用例。企业通过将基础模型连接到工具和数据源，并让其自主完成任务，希望降低成本并提高运营效率。

首先，CISO希望找到智能体领域中类似于机器人割草机和扫地机器人的应用，既能带来明确收益，风险又相对较低。客户服务显然是一个适合早期落地的用例，可作为试验平台，用于测试来自Intercom、Zendesk和ServiceNow等公司的AI驱动型解决方案以及内部系统。

Gartner预测，到2029年，智能体AI将无需人工干预，自主解决80%的常见客户服务问题，从而使运营成本降低30%。按照这一趋势，智能体大规模处理其他业务任务只是时间问题，并最终将嵌入产品的核心功能。 

与此同时，两项修订后的美国联邦机构人工智能使用政策让我们得以一窥人工智能的未来。M-25-21号备忘录由美国白宫管理和预算办公室（OMB）于2025年4月7日发布，其中指出：“各机构应在现有能力的基础上，通过使用人工智能来提高任务成效，推动负责任的人工智能创新，加强人工智能及人工智能赋能领域的人才队伍，并提升开发和采购人工智能的能力。”企业的目标无疑也是如此。 

该备忘录要求所有联邦机构在60天内保留或任命一名“具备丰富AI专业知识”的首席AI官，并在180天内发布推进AI应用的战略。备忘录还列出了一系列类别，在这些类别中，以AI作为决策或行动的主要依据被视为“高影响”用途。示例包括：

• 基础设施或政府设施中对安全至关重要的功能，包括应急服务、食品安全和交通控制系统；
• 在医疗保健领域，医疗器械中与医疗相关的功能；患者诊断或治疗；医疗保险成本控制和承保；
• 政府设施的访问控制或安全保障；
• 在执法领域，对个人进行风险评估；识别嫌疑人；预测犯罪；追踪人员和车辆；应用生物特征识别；监控社交媒体；检测武器或暴力活动；作出与拘留、量刑、假释或保释相关的决定
• 申请关键联邦服务、流程和福利（包括贷款和公共住房）的资格，或对此类申请作出裁定；
• 确定联邦雇佣关系的条款或条件，包括薪酬或晋升、绩效管理、聘用或解雇，以及纪律处分。

注意：智能体正在工作

这份非详尽清单表明，白宫认为这些活动以及其他可能造成严重后果的活动都是AI的现实用例。尽管该备忘录并未明确提及AI智能体，但其中大多数用例显然需要将模型连接到其他工具和数据库，例如就住房、贷款或福利的获取资格作出决定，而这些工具和数据库很可能包含敏感信息和个人身份信息。

这就带来了问题，因为作为AI智能体“大脑”的主流AI模型均已被证实存在漏洞。企业在利用AI开展业务活动时，必须认真考虑这一点。例如，OWASP最新发布的《生成式AI安全事件与漏洞利用汇总》重点介绍了恶意行为者如何绕过模型限制，以及如何利用AI实施网络钓鱼和语音克隆诈骗。再加上系统之间的互联互通和互操作性，还会产生新的攻击途径，显著增加安全风险。

更为棘手的是，威胁程度与连接到智能体的工具数量直接相关。如果智能体拥有数据库访问权限，组织内的所有数据库都可能面临漏洞风险；如果智能体拥有电子邮件和浏览器访问权限，电子邮件系统就可能与恶意智能体相连，使其能够通过网络钓鱼持续不断地尝试入侵组织。（与人类攻击者不同，智能体不会疲倦，并且可以实时响应，因此更容易让人信以为真。）

现在再考虑权限组合带来的风险：同时拥有数据库和电子邮件访问权限的智能体可能被恶意行为者武器化，用于窃取数据或实施渗透攻击，向系统中注入新数据。此外，内部人员也可能无意或恶意滥用智能体。由于他们已经身处组织的防御体系之内，这可能造成更严重的损害。

随着模型日益商品化，在评估工作场所使用的AI系统和智能体时，安全性而非性能显然是关键的差异化因素。易受攻击或利用的系统无论性能多高，都不适合用于企业或联邦机构环境。

该备忘录要求联邦机构部署“可信赖的AI”，并针对高影响AI实施最低限度的风险管理措施。如果高影响AI未达到适当的性能水平，相关机构必须制定停用计划，直至采取措施使其符合要求。考虑使用智能体的企业也应制定类似计划。

全新的安全响应

然而，有效的风险管理必须从事件发生前着手，而不是只关注事后影响。了解智能体威胁是应对这一威胁的第一步。准确衡量任何特定智能体的威胁级别至关重要：首先，确定是否需要采取行动；其次，在充分了解情况的基础上决定采取适当的行动。

安全响应过度可能会扼杀创新，响应不足则无法有效降低威胁。然而，鉴于AI具备学习和适应能力，手动红队测试等传统工具以及攻击成功率这类将所有攻击等同看待的粗略指标，已不足以应对AI带来的威胁。

复杂的新型威胁载体需要新的安全响应方式。在这种情况下，组织要有效扩展安全能力，应充分了解攻击的类型和复杂程度，并采取适当的措施。

更有效的方法是以其人之道还治其人之身，使用智能、可定制的AI智能体模拟对抗性交互，并在AI系统发布前自动开展红队测试。F5 AI Red Team为企业提供一组测试智能体，帮助安全负责人量化AI带来的威胁等级，并据此采取补救措施。

自动化红队测试不仅能高度模拟真实活动，还能缩短以往有利于攻击者的时间窗口，帮助企业快速获得有效的安全覆盖。F5开发了独特的安全评分指标，即“综合AI安全指数（CASI）和智能体抵抗力评分（ARS）”。这些指标用于评估AI模型的安全性，并为相应“排行榜”的排名提供依据。

当然，安全绝非“一劳永逸”，智能体也不例外。持续监控对于确保威胁暴露程度维持在较低水平并保持适当的安全态势至关重要。随着智能体AI日益普及，主动式安全方法有助于更安全地采用智能体，并加快AI在预期用途中的应用。

关于作者

James WhiteAI安全首席技术官 | F5

James White是一位成就卓著的工程师和商业领袖，在企业软件行业拥有近20年的经验。

James White 的更多博客文章