安全运营团队如何看待AI?自主权过度

行业趋势 | 2026年3月19日

2025年下半年,AI从决策辅助者转变为决策制定者,安全团队正忧心忡忡地为这种自主性可能带来的后果做准备。至少,这是最新一期F5 AI态度研究所揭示的普遍看法。该研究全面分析了互联网大型网络安全社区Reddit的r/cybersecurity板块中,贡献度排名前500位的用户对AI的看法。

在上一次分析中,从业人员主要关注影子AI问题和第三方AI服务的数据安全,但到2025年下半年,关注重点转向了企业自身部署的AI被赋予过多自主权和访问权限的问题。

与这种担忧相伴的,是人们日益质疑:与这些风险相比,AI究竟能带来多大实际价值。从业者并非主张让全球“AI列车”戛然而止。但随着自主智能体的引入,对专门防护措施的需求已达到前所未有的水平。

根据F5的情绪分析,“过度自主权”现已成为安全专业人员提及最多的担忧。2025年下半年,Reddit r/cybersecurity社区中对此问题的提及次数较上半年增长了1,300%。
根据F5的情绪分析,“过度自主权”现已成为安全专业人员提及最多的担忧。2025年下半年,Reddit r/cybersecurity社区中对此的提及次数较上半年增长了1,300%。

过度自主权取代影子AI,成为首要担忧

根据F5的情绪分析,2025年下半年,Reddit的r/cybersecurity社区中提及“过度自主性”的次数较2025年上半年增长至13倍,使其成为安全专业人员最关注的问题。与此同时,AI系统在关键工作流中正获得更大的决策自主权和更多工具访问权限,并可广泛访问敏感数据。“过度自主性”泛指AI系统采取超出预期范围或监管范围的行动。它不仅体现了人们对自主AI智能体潜在影响的预先担忧,更常见的是AI对关键工作流产生的直接或间接影响。

随着医疗、金融服务或技术领域不断涌现令人振奋的创新用例,最坏情况所造成的影响范围也在不成比例地扩大。一位从业者以过度依赖AI工具进行摘要为例,说明了这一观点:

“我们可能正步入这样一个时代:恶意行为者不再窃取原始数据,而是转而窃取AI摘要。这些摘要可以详细分析一家公司的使命、短板、漏洞以及不为人知的隐情。”

—r/cybersecurity成员

讨论中最引人关注的自主权过度案例,是7月发生的Replit编码智能体事件。当时正值代码冻结期,一个智能体删除了客户的整个数据库。AI安全故障并不总会像本次事件这样发出明显的“警报”;它们往往只是难以察觉的语义异常,在传统LLM交互中难以缓解,而在可见性更有限的智能体工作流中,带来的挑战更为严峻。

F5的AI舆情研究显示,与2025年上半年相比,下半年安全专业人员对“AI垃圾内容”的担忧增加了一倍,占所有已表达担忧的17%。
F5的AI舆情研究显示,与2025年上半年相比,下半年安全专业人员对“AI垃圾内容”的担忧增加了一倍,占所有已表达担忧的17%。

低质AI内容引发安全担忧

2025年下半年,人们普遍质疑AI在当前、近期乃至长期的价值。同期,人们对“AI垃圾内容”的关注度翻了一番。这类由AI批量生成的低质量内容会污染信息渠道,并增加运营噪声和风险。具体表现包括AI生成的代码质量欠佳、人们对疑似由AI生成的内容愈发不信任,以及对依赖AI可能导致思维能力退化等社会问题的担忧。

“试过我们的下一代零信任AI云铅笔吗?它和普通铅笔差不多,只不过必须订阅才能使用,每月费用为6,000美元。”

r/cybersecurity成员

安全从业人员要求支持AI的应用和功能能够带来可验证、可重复实现的价值。他们并非完全反对采用AI;多年来,他们一直将AI/ML用于威胁检测和分诊,整体满意度较高。此外,他们经常指出,过于冗长的AI生成代码可能会引入漏洞,并导致能够全面理解所维护系统的工程师减少。

这种现象被定义为“不安全设计”,在下半年的提及次数增长至3.1倍。由于这种疲劳感不断累积,以AI能力为卖点的产品会受到更严格的审视,严格程度超过以往成熟度较低的实现可能面临的水平。

AI红队测试提振乐观预期

尽管市场上充斥着承诺过高却表现不佳的AI工具,专用AI红队测试工具的提及量仍增长至原来的2.71倍,其中超过95%都积极认可这种实践已成为一项新的基础要求。正如一位从业者所言:

“攻击者的技能门槛已被彻底打破。我们的防御速度必须比“喝了咖啡”的大语言模型还快。”

r/cybersecurity成员

恶意行为者的入门门槛不断降低,其中许多人还借助自己的AI工具增强能力。防御措施必须跟上攻击者每天开发的新型提示词注入和越狱技术。

为应对这场攻防竞赛而设计的专用红队工具在2025年初面世时反响不一,大多数人质疑其效果能否媲美人工攻击性安全团队。随着相关产品日趋成熟,且对抗技术的广度已远超传统手动测试所能独立覆盖的范围,这种质疑在下半年转而成为推动市场信心的重要因素之一。

F5如何顺应最新趋势

最新态势趋势传递出的一个明确信息是,一切都在快速变化:风险、痛点和需求无不如此。保护AI工作负载是一项复杂的任务,而且每个组织的要求都存在显著差异。

没有任何供应商能够通过开箱即用的方案,充分掌握保护每种过度访问和自主行为场景所需的细微差异与上下文,但借助F5 AI Guardrails,安全团队可以立即防范AI系统面临的常见威胁,并可创建自定义Guardrails,快速根据独特需求调整防御措施。

我们也认同这一观点:AI红队测试不再是可有可无的选择,而是保护AI系统的一项基础要求。依托包含超过130,000种攻击模式的丰富AI漏洞数据库,F5 AI Red Team可帮助团队在攻击者利用漏洞之前发现并修复漏洞。

想进一步了解F5对从业者观点和AI威胁的研究?欢迎观看我们的网络研讨会“与时俱进的AI安全”。

此外,欢迎阅读我们此前发布的博客文章,了解我们对安全专业人员如何看待AI的分析:《安全运营团队如何看待AI》第1部分和第2部分。

分享

关于作者

相关博客文章

AI与网络安全
行业趋势 | 2026/10/02

AI与网络安全

了解AI与网络安全如何协同发挥作用。探索AI和机器学习(ML)如何帮助企业提升安全性和效率,并借助F5为创新做好准备。

智能体AI改变了CISO需要关注的关键问题
行业趋势 | 2026/09/22

智能体AI改变了CISO需要关注的关键问题

随着非人类身份不断增加,F5研究表明,需要提高可见性、加强治理并明确责任,以尽可能降低网络安全风险。

AI经济格局将在数据传输中见分晓
行业趋势 | 2026/08/06

AI经济格局将在数据传输中见分晓

了解为何推理路由、安全性和路径内控制,而非仅靠更快的GPU,将影响每个令牌的成本和AI基础设施的经济效益。

WAF和API发现技术在保护智能体AI应用中的作用
行业趋势 | 2026/05/13

WAF和API发现技术在保护智能体AI应用中的作用

智能体AI系统的功能和集成会在运行时快速变化。要以同样的速度保障其安全,需要通过API发现和Web应用防火墙(WAF)实施切实可行的控制措施。

IT与OT融合:当前趋势及为何必须以安全为先
行业趋势 | 2026/04/29

IT与OT融合:当前趋势及为何必须以安全为先

随着IT与OT系统不断融合,攻击面也随之扩大。了解组织如何实现安全集成,以及F5 ADSP如何帮助大规模保护运营。

保护AI数据管道安全,同时不降低管道运行速度
行业趋势 | 2026/02/18

保护AI数据管道安全,同时不降低管道运行速度

保护AI数据管道并非可选项,这一点毋庸置疑。真正不那么显而易见且更具挑战性的是,如何妥善保护它。