高分并非全部：Qwen3带给我们的启示

F5 ADSP | 2025年5月20日

F5一直在思考一个问题：如何才能真正判断模型是否安全？我们一直在努力寻找答案，最初推出了综合AI安全指数（CASI）评分，最近又推出了智能体抵抗力评分（ARS）。下面我们将详细解读这些评分的含义，以及为什么二者对于评估实际环境中的模型都至关重要。

CASI：安全基准

一段时间以来，CASI一直是我们的基准。它从整体上反映模型的总体安全态势，以及模型抵御各类漏洞的韧性。CASI不仅统计攻击成功率，还会衡量成功突破防线的严重程度、攻击路径的复杂程度，以及模型防护机制开始失效时的防御临界点。

可以将CASI理解为一项评分，用于帮助判断“与其他模型相比，这个模型总体上是否更安全？”大多数人所说的“安全模型”，通常指的就是这一点。

但问题在于：现实中的攻击者不会只是向模型输入一条提示词，然后就此罢手。他们会持续尝试，采用多种策略，直至达成目标。

ARS：压力测试

这正是ARS发挥作用之处。ARS并非衡量理论上的韧性，而是通过压力测试检验实际韧性。

在AWR评估中，我们会部署自主研发的自主攻击智能体。我们为其设定5种恶意意图，重点针对数据外泄或系统操纵等行为，然后让它们自主发起攻击。我们的攻击智能体会进行规划、迭代和调整，并根据需要进入任何位置以实现目标。

这也是我们现在设立两个排行榜的原因。这并非出于设计上的选择，而是对现实情况的客观反映。有些模型在CASI上表现出色，却难以承受智能体带来的压力；另一些模型则能保持稳定。

一个典型案例：Qwen3

以Qwen3为例。该模型最近由阿里巴巴发布，客观而言表现不错。在CASI中，它位列第5，稳居前10。因此，它的表现值得肯定，虽非顶尖，但也绝不逊色。要知道，只有排名前1%的模型才能登上CASI排行榜。很出色，对吧？

但在ARS排行榜上，Qwen3甚至未能上榜。为什么？因为我们针对5种恶意意图对其进行了测试，每种意图都代表自残等严重危害行为，而它未能抵御其中任何一种。换言之，它毫无抵御能力。

相比之下，ARS排行榜中排名靠前的模型是Anthropic的Claude 3.5 Sonnet。面对同样的5种恶意意图，Claude 3.5能够抵御其中3种，但容易受到另外2种的影响。因此，风险依然存在，但已显著降低。（顺带一提，Claude 3.5在CASI排行榜中也名列前茅，因此两者存在一定相关性。）

不妨从实际应用的角度来看这意味着什么。如果在连接工具、数据存储或用户输入的AI系统中使用Qwen3，整个系统都将面临真实存在的漏洞风险。

这是仅凭CASI无法揭示的细微差别。需要结合两种视角：CASI用于评估整体安全态势，ARS用于评估系统在协同攻击下的韧性。