企业逐渐认识到,保护AI需要专门构建的解决方案。当模型动态运行、智能体自主行动,且部署后的风险快速演变时,传统控制措施往往难以应对。如今,生成式AI已投入生产,安全、风险和治理负责人需要管理实时出现的威胁,而这些威胁往往超出传统应用安全方法的应对范围。
分析机构的研究反映了这一转变,并从不同角度探讨组织应如何调整面向AI赋能系统的安全策略。本文并不将这些观点归结为单一共识,而是分析Gartner、Forrester和KuppingerCole各自的分析框架如何应对AI风险,以及组织如何将这些观点转化为运行时防护机制和AI专项红队测试。
运行时AI风险
综合各项分析师研究,一个事实日益清晰:AI风险是动态变化的。与传统应用不同,AI系统可能会根据提示、上下文和下游集成改变行为,从而在部署很久之后仍可能引入新的攻击路径。
尽管不同分析师对这一挑战的表述各有侧重,但他们的研究都强调了企业大规模部署AI时需要反复考量的事项:
- 许多AI威胁会在实际使用过程中显现
- 仅依靠模型提供商的防护措施不足以满足企业治理需求
- 监督管理需要持续的可见性、可追溯性和执行能力
- 测试必须不断演进,以反映智能体式、多步骤和自适应攻击的特点
这些情况促使前沿研究将范围扩展到运行时安全控制,因为AI系统会在运行时与用户、数据和业务工作流交互。正因如此,我们正式推出F5 AI Guardrails和F5 AI Red Team,作为F5 Application Delivery and Security Platform (ADSP)中的两项新解决方案,旨在保护企业AI系统的运行时安全。
Gartner®《AI信任、风险与安全管理市场指南》
Gartner在其《AI信任、风险与安全管理市场指南》中指出:“AI负责人必须与整个组织的利益相关者合作,管理AI信任、风险与安全。他们应建立相应的组织架构,用于制定和更新生成式AI(gAI)治理政策,并评估和实施能够支持和执行这些政策的AI信任、风险与安全管理(AI TRiSM)技术。这将有助于组织系统性地确保以更安全、更可靠、更可信且更稳妥的方式使用AI。”
我们之所以持这一观点,并将TRiSM视为AI安全计划的重要参考,是因为该框架将AI系统视为需要持续监督的长期运营资产,而非只需一次性验证的对象。此外,TRiSM框架的一个核心组成部分是运行时检查和策略执行。Gartner对此的定义如下:
“应用于模型、应用程序和智能体交互,以支持事务处理与组织治理政策保持一致。系统会检查相关连接、流程、通信、输入和输出是否违反政策或偏离预期行为。检测到的异常会被标记,并予以阻止、自动修复,或转交人工或事件响应系统进行调查、分类处置、响应及适用的修复。”
我们认为,此描述与F5处理运行时AI安全的方式高度契合。通过F5 AI Guardrails,,F5专注于在实时AI交互期间检查并执行策略,涵盖模型、应用和智能体工作流,帮助组织在AI系统实际运行的位置实施治理控制。*
Forrester:在持续保障模型中定义AI红队测试和防护机制
Forrester的多项研究从运营视角审视AI安全,重点关注能够自主运行并随时间演进的系统。我们认为,Forrester的研究并非侧重于特定时间点的评估,而是探讨AI系统在动态环境中运行时,组织如何持续实施监督并提供保障。
Forrester在其研究报告《利用AI红队测试评估AI赋能应用的安全态势》中,[i]对AI红队评估作出如下定义:
“AI红队评估融合了传统网络安全红队理念,以及人工智能特有的安全性、毒性和危害考量。AI红队测试应结合人工参与和自动化测试:由人员对支持AI的技术栈开展网络安全测试,包括基础设施、应用、API、检索增强生成(RAG)等AI改造技术以及底层大语言模型;同时使用AI开展自动化测试,以评估提示词的安全性和防护能力。”
这一定义体现了F5 AI Red Team所提供的AI专项对抗性测试类型。通过以这种方式界定红队评估,我们发现,这项研究强调:要实现有效测试,必须考虑AI如何嵌入实际系统并在其中运行,而不能孤立地评估AI。
与此同时,Forrester AEGIS框架简介:面向信息安全的智能体AI企业Guardrails,[ii] 指出:“建立企业Guardrails对于安全部署至关重要。”F5支持这一观点,帮助组织将AI Guardrails作为系统运行期间采用的机制,以支持监督和策略执行,尤其适用于AI系统直接与用户、敏感数据和互联应用交互的场景。
综合这些研究领域,我们得出的结论很明确:Forrester将护栏和红队测试视为两种不同但相互关联的实践,可用于AI安全的持续保障方法,强调持续监督,而非一次性验证。**
KuppingerCole:将生成式AI防御视为一个独立的市场类别
KuppingerCole在其《生成式AI防御领导力指南针》中,将生成式AI防御视为一门新兴领域进行研究,其要求超出了传统应用和数据安全控制的范畴。为此,该报告评估了各组织如何应对生产环境中的大语言模型和AI驱动型应用所带来的风险。
该报告的一项核心建议是,需要在AI系统的实际使用位置实施安全控制,以便在各种部署模式下实现实时保护、策略执行和可审计性。该分析并非仅关注模型开发或提供商层面的防护措施,而是反映出业界日益重视在系统部署并连接到用户、应用和敏感数据后,确保AI交互安全。
鉴于本《Leadership Compass》是一份市场指南,旨在帮助组织找到合适的解决方案,KuppingerCole在评估F5的AI Guardrails和AI Red Team产品后,将F5评为领导者,涵盖产品、创新和市场三大类别。正如报告所定义的,这一定位体现了F5的“前沿产品。这些产品不仅响应客户需求,还通过预判未来数月乃至数年的需求,推动市场技术变革。”***
将分析师观点付诸实践
尽管Gartner、Forrester和KuppingerCole从不同分析视角研究AI安全,但他们的研究揭示了企业正在积极应对的实际挑战,包括:
- 在AI交互过程中一致地执行策略
- 在事件发生前了解现实环境中的AI暴露风险
- 在AI系统不断演进和扩展的过程中持续保持监督
这正是F5 AI Guardrails和F5 AI Red Team在更广泛的AI安全体系中发挥作用的环节。F5 AI Guardrails提供运行时策略执行,帮助管理生产环境中的AI行为;F5 AI Red Team则支持开展对抗性测试,以反映真实的使用方式和攻击模式。
(注:不应将这种对应关系解读为分析师的认可。它反映的是F5的AI运行时安全能力如何对应分析师研究中所述的控制类型和运营模式。)
保障AI投资安全并优化投资效益
随着AI系统的自主性不断增强,并日益成为业务关键系统,安全措施不足所带来的风险已不止于安全事件,还包括合规风险、声誉损害和创新停滞。从Gartner TRiSM,到Forrester对AEGIS的研究,再到KuppingerCole的生成式AI防御研究,这些分析机构框架说明了为何运行时防护机制和AI红队测试在企业AI安全战略中日益占据核心地位。
简而言之,F5的AI运行时安全解决方案可帮助组织将这些洞见付诸实践,在支持安全采用AI的同时,保留创新所需的灵活性。
如需了解详情,请访问我们的F5 AI Guardrails 和F5 AI Red Team 网页。
分析师免责声明
*来源:Gartner 报告《AI 信任、风险与安全管理市场指南》,作者:Avivah Litan、Max Goss 等,2025 年 2 月。GARTNER 是 Gartner, Inc. 和/或其关联公司在美国及国际上的注册商标和服务标志,经许可在此使用。保留所有权利。
**Forrester Research不为任何公司、产品或服务背书。本讨论是对Forrester公开研究资料的解读,仅供参考。
***KuppingerCole不为任何供应商、产品或服务背书。本讨论基于经许可使用的KuppingerCole研究,仅供参考。
[i]《利用AI红队测试评估AI赋能应用的安全态势》,Forrester Research Inc.,2025年9月29日
[ii]《Forrester AEGIS框架简介:面向信息安全的智能体AI企业Guardrails》,Forrester Research, Inc.,2025年8月3日
关于作者

相关博客文章

三家企业如何借助AI驱动的WAF改进虚拟补丁和运行时安全
了解三家F5客户如何利用AI驱动的WAF加快虚拟补丁部署、将误报减少50%以上,并更有信心地启用阻断模式。

F5 BIG-IP v21.0增强S3工作流的AI数据交付与摄取能力
使用F5 BIG-IP 21.0版优化S3工作流:通过低接触式配置,为AI数据交付、对象存储和RAG管道提供可扩展的安全解决方案。
Everest Group报告:生成式AI行业应用的当前趋势与未来前景
我们很高兴能为全球知名研究机构Everest Group发布的一份重要新报告作出积极贡献。该报告题为《生成式AI应用:审视横向职能中的实际应用与未来展望》,深入分析了各行业对生成式AI(GenAI)的应用情况。报告指出,IT[……]
