AI安全中的可观测性：看不清发生了什么，就无法阻止

F5 Newsroom Staff

了解可观测性

在快速发展的人工智能（AI）生态系统中，大型语言模型（LLM）已成为AI工具集中功能强大、具有变革性的工具。这些模型旨在处理和理解人类语言，正在推动客户服务、科技、制药、金融、零售等众多领域发生变革，同时也在重塑软件即服务（SaaS）的格局。

随着这些AI模型的能力和复杂性不断提升，它们为提高生产力和推动创新带来了前所未有的潜力。然而，在业务环境中部署这些模型也会带来独特的挑战，其中最严峻的是攻击面大幅扩大，其次是可见性相互割裂。

简而言之，当组织部署多个模型（包括多模态模型）时，这些模型彼此并行运行，而非相互集成，并由此带来诸多漏洞。这意味着安全团队只能零散地了解需要保护和防御的系统，而他们真正需要的是全面、无缝地了解每个运行中的模型以及所有模型的整体情况。

在企业中，这些模型可能包括ChatGPT等大型外部模型、BloombergGPT等专用模型、嵌入Salesforce等SaaS应用的模型、检索增强生成（RAG）模型，以及基于公司数据进行微调的小型内部模型。这些模型加起来可能有数十个甚至数百个，而且其数量短期内仍将持续增长。 

这就需要引入可观测性概念。可观测性旨在满足一项迫切需求：能够观察和评估模型的性能与行为，并综合分析相关洞察，例如决策过程、固有限制、可靠性、效率和有效性。在模型部署框架中集成可观测性层，可为成功使用、保护和维护AI应用奠定坚实基础。

模型可观测性的优势

通过观察模型行为，可以了解潜在的攻击趋势和模式，并获得与财务、运营乃至潜在人员问题相关的更精细分析。深入洞察以下关键领域，有助于优化资源配置、提高生产力、推动创新并增强竞争优势。

• 性能保障：观察模型从API连接到响应查询的整个运行过程，使组织能够持续监控和比较延迟、吞吐量和准确性等关键性能指标（包括单个模型内部及不同模型之间）。这种实时监控有助于及时发现并缓解瓶颈，确保AI系统提供一致的用户体验并符合性能标准。
• 错误管理：完善的可观测性框架将捕获并记录详细指标，帮助管理员深入了解模型的决策过程，从而快速识别并解决错误，增强对模型性能的信任。
• 使用情况分析：可观测性工具支持审查真实场景中的交互情况，包括跟踪响应时间和API调用、分析流量模式，以及识别重复出现的用例。实时监控模型功能（错误率、令牌使用量等）和用户交互（扫描提示词和响应中是否包含敏感或禁止的内容、攻击企图等），可以提供洞察，帮助组织根据实际使用情况持续优化和调整模型。
• 模型漂移：清晰掌握AI模型的性能，有助于管理员和开发人员识别因数据环境不断变化而导致的性能下降，即“模型漂移”。及时发现模型漂移至关重要，这样才能及时重新训练或微调模型，确保模型输出值得信赖。
• 资源优化与扩展：在整个组织内部署LLM可能需要大量计算资源，例如内存和CPU/GPU资源。因此，在考虑成本优化，或为应对用户数量增加或工作负载激增而进行扩展时，资源利用率洞察是重要的数据依据。
• 合规性：了解系统和用户对内部可接受使用政策、隐私政策及其他政策，以及行业标准和政府法规的遵守情况，对每个组织都至关重要，在医疗和金融等受监管行业中尤其如此。采用能够查看和审计详细日志及其他指标的解决方案，可确保模型部署符合数据隐私、安全及其他合规基准。

可观测性对企业的重要性

创新将推动企业对更强可观测性的需求。大语言模型（LLM）和其他生成式AI模型将日益复杂，自动化程度也将不断提高，因此，对性能、使用情况和安全性各方面进行实时监控将变得愈发重要。 

与此同时，政府机构也加大了监管力度：将法规正式立法，例如欧盟《通用数据保护条例》（GDPR）；发布法规草案，例如《欧盟人工智能法案》；并提供指导，例如拜登政府发布的《关于安全、可靠且可信地开发和使用人工智能的行政命令》，以及美国国家标准与技术研究院（NIST）的《风险管理框架》（RMF）。除这些强制要求和指导方针外，受监管行业还有自身错综复杂的规则，非受监管行业也必须遵守相关标准，而各组织还制定了体现并强化自身企业价值观的政策。

随着越来越多的实体发布有关在商业生态系统中部署和使用大语言模型（LLM）的指令，支持、实施、监控和报告这些指令的合规情况将变得极为重要。不合规可能会造成重大的财务和声誉损失，并引发后续影响（如股东信心、竞争优势和客户信任等）。了解模型在生产环境中的运行方式、运行效果和安全程度将愈发关键。

具备全面可观测性的AI安全

显然，观察、分析和评估AI模型的性能与行为，对于提升性能以及生成可靠、可信的输出至关重要。集成一个能够在整个组织的数字安全基础设施中无缝实现全面可观测性的平台，无疑是一项具有变革意义的决策。 我们的AI运行时安全与赋能解决方案正是实现这一变革的关键。

我们的解决方案不仅仅是一个信任层。它通过率先推出的功能，帮助模型抵御内外部威胁，例如十余种可自定义的内容扫描器，以及详细的用户和使用情况审计功能。其界面清晰直观、易于使用，旨在满足广泛用户群体的需求；同时还提供同样易用的API访问方式，方便开发人员和其他技术用户高效使用。

使用API（包括为特定个人和指定团队创建的API）可提供更多途径来深入了解系统，并监控和分析安全状态、模型性能及用户分析数据。管理员可以跟踪API调用并检查端点，以确定最常用的端点、跟踪延迟和错误率、监控版本兼容性、识别新出现或独特的行为模式、监控依赖关系，以及分析流量以发现潜在瓶颈并确保路由规则完好有效。

我们的平台如同一个几乎无感的双向安全架构，覆盖整个AI系统配置，同时不会增加模型响应的处理负担或延迟。该解决方案具备可扩展性，不受模型限制且支持自定义，并提供基于策略的访问控制，可应用于个人、团队或组织层面。作为稳健、灵活且响应迅速的组件，它可帮助AI安全框架应对当前及未来部署生成式AI模型所面临的挑战。

关于作者

F5 Newsroom Staff

F5 Newsroom Staff 的更多博客文章