可解释性：揭开AI黑箱的神秘面纱

James WhiteAI安全首席技术官 | F5

借助生成式AI，我们现在已经清楚地了解答案是如何生成并返回给我们的。简单来说，AI采用Transformer架构，根据预测选择最合适的下一个词和句子，并基于训练所用的信息返回最有可能的答案。

然而，当应用或流程使用AI或AI智能体执行任务时（例如筛选候选人简历），组织自然希望了解做出该决策的原因，以及该决策是如何形成的。这是因为，在最坏的情况下，如果决策过程存在问题，结果可能不再有用。

这就是我们在AI领域常听到的“黑箱”，即无法清楚了解应用或智能体如何根据给定标准完成任务。在生成式AI出现之前，早在神经网络时期，通常会用折线图来呈现可解释性，显示信息中的哪些部分对决策影响最大。

涉及生成式AI时，这一切都会变得复杂得多，尤其是在智能体方面。一个简单的智能体会有“大脑”，即底层AI模型；会有目标，即需要完成的一项或多项任务；还会有可与之交互的工具，用于实现其目标。

AI智能体没有道德准则，也没有经过一生的是非教育；它不了解自身行为在现实世界中会造成什么后果。您无法保证智能体会按照期望的方式行事，尤其是在希望培养其自主性的情况下。

例如，某组织可能会要求智能体从客户列表中删除一家名为Random Company LLC的公司。智能体可能会回复：“已完成，Random Company LLC已不在我们的数据库中。”但它可能是通过删除所有以“R”开头的客户名称来完成任务的。虽然从技术上讲，它完成了任务，但完成任务的“方式”会造成严重后果。

智能体指纹：AI智能体的可解释性

要了解智能体如何执行任务，我们需要在事后掌握智能体的每个思考过程、每次交互，以及所做的每项决策和操作。为了实现透明度或可解释性，我们需要能够拆解智能体系统给出的答案或结果，并确定各部分分别属于哪个类别。

了解这些信息后，我们就能看清智能体的哪些尝试失败了，哪些取得了成功。即使成功，也未必是正确的。正如上面的示例，智能体虽然达成了目的，但采用的方式却产生了负面影响。

为此，我们在CalypsoAI的Inference Red-Team产品中开发了Agentic Fingerprints，可全面洞察自主智能体做出的每项决策、使用的每个提示词及每次策略调整。

使用Agentic Fingerprints，第一步是记录智能体执行的所有操作。我们可以轻松了解智能体如何使用工具；难点在于，通过自导式思维链模型的每一次迭代，识别智能体的思考过程，以及它最终如何得出自己认为正确的答案。

Agentic Fingerprints会解析所有这些思维链，并按时间顺序完整记录智能体的活动。我们可以看到它在哪个节点转而执行操作，或衍生出新的问题。

这些内容以决策树的形式呈现：一张自上而下逐层展开的节点图，展示了促使智能体得出结果的所有思考和决策。智能体通过哪条路径成功完成任务一目了然。其他路径从定义上看都未能成功，是智能体走入的死胡同，但我们可以从中总结经验。

Agentic Fingerprints首次为组织提供可解释性，使其能够快速、轻松地了解红队智能体执行了哪些操作以及如何执行。

结果分析：提升AI可解释性

在考虑将生成式AI或智能体工作流应用于现实场景时，如果输出结果是拒绝完成某项请求，我们应该能够了解其中的原因。长期以来，在生成式AI做出决策时，我们只能看到简单的肯定或否定结果。

CalypsoAI也曾存在这个问题。我们为企业提供先进的安全扫描器，根据特定系统的配置阻止恶意流量，但结果只有“是”或“否”。

在一项新技术发展的早期阶段，这样做无可厚非。但随着AI越来越多地应用于生产环境和现实场景，我们不能只给出“计算机说不行”这样的结论，这一点至关重要。我们的客户及其客户理应得到完整的答案。

也许是出于法律原因而回答“不可以”；也许是因为用户无权访问其服务套餐中的某个特定项目。无论原因是什么，都需要让用户了解缘由，而不能只回答“不可以”。

在CalypsoAI的Inference Defend产品中，Outcome Analysis现在可以说明内容为何被企业AI系统中的安全扫描控制措施拦截。系统会根据所提供的内容以及触发特定规则的具体部分，给出易于理解的分析结果。

AI系统如同一个不透明的黑箱，而Outcome Analysis则揭开了这层神秘面纱，让内部情况清晰可见。企业现在可以清楚了解Inference Defend扫描器为何会阻止特定内容或数据、当时的具体情况以及阻止原因。

我们的客户也在为其客户提供服务，并会收到对方的询问。因此，我们现在为客户提供自助解答这些问题的能力。

为什么AI可解释性对企业采用至关重要

我们在安全领域的责任不是哗众取宠；安全应在幕后提供保护，而不是在台前炫技。因此，CalypsoAI发布的功能旨在为台前的“杂技演员”提供必要支持，也就是那些利用AI开展引人瞩目工作的模型开发者和组织。

透明度和可解释性永远不会成为台前引人注目的表演，但它们至关重要，甚至可以说是必不可少的。CalypsoAI的可解释性功能让人觉得，这些功能本来就应该存在，企业才能有信心采用AI，尤其是AI智能体。

如果企业能够了解智能体如何以及为何做出决策，那么一旦出现问题，就能迅速采取有依据的补救措施。这对于智能体工作流至关重要。

借助CalypsoAI的透明度功能，我们可以展示智能体确实在执行实际任务、如何执行，以及为何做出相应决策。这些过程变得直观可见，组织也首次能够以可视化方式了解虚拟世界中以机器速度发生的情况。

观看完整对话

在本视频中，James与CalypsoAI传播负责人Gavin Daly深入探讨了这一话题。

关于作者

James WhiteAI安全首席技术官 | F5

James White是一位成就卓著的工程师和商业领袖，在企业软件行业拥有近20年的经验。

James White 的更多博客文章