结果分析及其如何改进AI威胁检测

F5 ADSP | 2025年8月01日

CalypsoAI的Inference Defend AI安全解决方案新增了Outcome Analysis功能，专为提升AI威胁检测工作流的可见性和控制力而设计。作为Defend实时保护层的一部分，Outcome Analysis可帮助安全团队准确了解扫描器（或防护机制）为何标记或阻止某个提示或响应，从而避免猜测并加快问题解决。

Outcome Analysis让安全团队能够查看：

触发的是哪个版本的扫描器
具体是哪些内容或违反了哪项规则导致被阻止
涉及哪位用户或代理

此项增强功能提供可付诸行动的洞察，帮助更快速、更精准地检测AI威胁，并简化大规模管理。

为何上下文对企业AI威胁检测至关重要

随着组织扩大生成式AI应用的规模，告警疲劳和误报会成为切实的风险。安全团队往往难以理解扫描器为何触发，尤其是在审查经过编码的提示词或极其冗长的大语言模型（LLM）响应时。

Outcome Analysis通过提供以下功能来解决这一问题：

深入洞察提示词和响应违规的根本原因
借助带时间戳的用户上下文，更快完成调查并解决问题
跨扫描器版本和部署比较策略
验证扫描器性能，以便进行调优和报告

这有助于组织从被动防御转向自适应AI威胁检测，在不牺牲可见性或合规性的前提下实现快速创新。

用例：贯穿AI技术栈，从告警到行动

Outcome Analysis可增强GenAI安全生命周期各阶段的威胁检测能力。常见的企业用例包括：

调查已阻止或已标记事件的SOC和事件响应团队
AI安全分析师了解并验证警报或误报的背景信息
项目团队或应用开发人员比较扫描器在不同模型、应用和工作流中的性能与行为
为已标记的活动生成可直接用于审计的证据的治理与合规负责人

更有效地应对运行时威胁

无论是保护面向客户的聊天机器人、内部 Copilot，还是智能体工作流，Outcome Analysis 都能帮助团队清晰掌握所需信息，从而有信心地采取行动。

CalypsoAI的Inference Defend AI安全解决方案已提供实时AI运行时保护，能够以95%的决策准确率拦截97%的有害提示。借助Outcome Analysis，不仅可以阻止威胁，还能深入了解威胁。此功能是迈向透明、智能的AI威胁检测的关键一步，并可随业务及其独特风险环境的变化而演进。