停止测试后,AI模型的安全评分会发生什么变化?
大多数团队认为答案是“不会有任何变化”,因为他们在发布前开展了红队评估,获得了不错的评分,之后便不再关注。然而,每个组织都在同时改变三个方面:速度、规模和安全性。他们希望快速发布AI功能、保持其可信度,并在模型、智能体和集成范围不断扩大的同时兼顾这两点,而不作任何取舍。
但在实践中,过度追求其中一项,几乎总会牺牲另一项。对于每隔几周就要发布模型更新的团队来说,不可能每次都留出6周进行人工审查。因此,上个月的结果会被视为仍然有效,或者未经验证的模型会继续暴露在风险中。Red teaming过去只是发布前需要完成的一项检查,但如今,静态的单点测试已无法跟上AI威胁的演变速度。
“AI红队测试是一项持续开展的工作,其推进速度必须与所保护系统的发展速度保持同步。”
通用的一刀切测试无法跟上组织自身工作流、所在行业和监管范围所特有的风险变化。正因如此,从业人员需要针对其特定环境量身调整的红队测试;一些客户已将其直接集成到自身的管道和基础设施中运行。
CASI和ARS评分实际衡量的内容
静态测试可以判断模型是否通过了某次测试,但无法说明该模型在面对持续、复杂或不断演变的攻击时表现如何。因此,F5 Labs制定了两项客观指标:综合AI安全指数(CASI)和智能体抵抗评分(ARS),帮助安全团队以清晰的方式评估模型、持续跟踪安全态势,并向管理层报告风险。以下是这两项指标各自实际衡量的内容。
综合AI安全指数(CASI):CASI是一项用于衡量模型整体安全性的综合指标(方法说明见此处)。该指标会考虑攻击成功次数、可能造成的后果严重程度,以及攻击者为成功实施攻击所需付出的努力等因素。分数越高,模型的整体安全态势越强。
智能体抗攻击能力评分(ARS):ARS用于衡量当一组自主攻击智能体主动尝试攻破整个AI系统、提取敏感信息、探查系统架构或对模型实施社会工程攻击时,系统的抵御能力。ARS较高意味着,即使面临持续的针对性压力,而非仅仅一次攻击尝试,系统仍能保持其防护机制有效。
CASI、ARS和F5 AI Red Team的实际应用方式
大多数安全团队已在使用静态应用安全测试(SAST)等传统工具扫描源代码,并使用动态应用安全测试(DAST)测试运行中的应用。这两类工具都并非用于测试应用底层的AI模型是否会受到诱骗、操纵或逐步削弱。
CASI评分仅能准确反映测量时的情况,但模型和威胁都在不断变化。某个模型在一次测试周期中的评分约为93,几个月后可能降至73至77。即使客户完全没有更改代码,仅因底层模型发生变化,评分也可能波动15至20分。因此,我们看到一些F5 AI Red Team客户将重新测试直接纳入CI/CD发布流水线。每当发布新的模型版本或微调变体,或经过足够长的时间后,都会重新检查CASI和ARS基线,而不是假定上一季度的评分仍然适用。

自定义意图监管
标准CASI运行可显示模型抵御大量已知攻击的能力,但不会自动发现与某项特定新功能或法律要求相关的风险。例如,医疗保健聊天机器人新增症状检查功能,或金融智能体获得发起电汇的能力,这些风险都不在通用测试的常规检查范围内。对于此类场景,客户可围绕特定功能或监管要求构建自定义范围的攻击意图。
例如,某款跨国合同工具可能需要在一个地区根据《欧盟人工智能法案》的义务要求进行测试,而在其他地区则需依据完全不同的个人身份信息(PII)标准进行测试。借助自定义意图,团队可以针对需要证明合规性的具体规则或功能进行测试,而不必依赖通用测试范围。
打造内部红队卓越中心
一些规模较大的组织(包括至少一家大型律师事务所)更进一步,组建了一支小型专职内部团队,专门负责对组织内其他业务使用的AI应用开展红队测试。该团队了解组织面临的威胁形势以及CASI和ARS结果,并在构建新的AI功能时直接与产品团队和漏洞管理团队协作。
安全团队与应用开发人员共享CASI结果,以说明一个简单的道理:并非每个模型都具有相同的安全状况;如果认为它们都一样,就可能让风险有机可乘。这有助于弥合信息安全团队与DevOps团队之间的认知差距,因为后者原本可能根本不会考虑模型层面的风险。
这里的关键是,威胁形势的变化速度已超出大多数安全团队的人工应对能力。AI红队测试是一项持续性实践,必须与其所保护系统的发展保持同步。它需要:
- 持续开展:持续数周的人工测试无法跟上模型和智能体的变化速度。
- 缩短从发现风险到修复风险的时间:红队测试结果可直接用于修复,使测试不再只是一份静态报告,而是推动针对实际暴露风险更快采取行动并确定优先级。
- 让安全团队能够用成果证明工作成效:每次评估都会生成CASI和ARS评分,为团队提供一种客观且可对标的方式,以持续跟踪安全态势,并向管理层清晰传达风险。
当前的安全形势变化之快,超出任何人的预测能力,但借助F5 AI Red Team、CASI和ARS,安全团队可以持续获得基于威胁情报的防护措施。
访问F5 AI Red Team和F5 Labs CASI 和 ARS 排行榜网页,了解详情。
关于作者

相关博客文章

三家企业如何借助AI驱动的WAF改进虚拟补丁和运行时安全
了解三家F5客户如何利用AI驱动的WAF加快虚拟补丁部署、将误报减少50%以上,并更有信心地启用阻断模式。

F5 BIG-IP v21.0增强S3工作流的AI数据交付与摄取能力
使用F5 BIG-IP 21.0版优化S3工作流:通过低接触式配置,为AI数据交付、对象存储和RAG管道提供可扩展的安全解决方案。
Everest Group报告:生成式AI行业应用的当前趋势与未来前景
我们很高兴能为全球知名研究机构Everest Group发布的一份重要新报告作出积极贡献。该报告题为《生成式AI应用:审视横向职能中的实际应用与未来展望》,深入分析了各行业对生成式AI(GenAI)的应用情况。报告指出,IT[……]
