AI已不再停留在实验阶段,而是投入生产环境,为聊天机器人提供支持、辅助决策,并重塑企业的运营方式。但有一个显而易见却常被忽视的盲点:运行时。
训练过程备受关注,但AI真正发挥作用是在运行时。模型在运行时与真实用户和数据交互,并参与决策。这也是重大安全风险出现的环节。
而现实是:大多数企业是在运行时层使用AI,而不是在训练阶段。AI应用正在这一层加速普及,但安全防护往往未能及时跟上。
从黑盒到攻击面
AI运行时不只是部署阶段,更是一个新的攻击面,它持续活跃、难以预测且暴露在外。
原因如下:
- 输入不可预测。向AI模型、应用或智能体提交的每个提示都可能被用于漏洞利用。攻击者可以通过提示词注入、越狱或恶意上下文串联,将看似无害的用户输入武器化。
- 输出内容存在安全隐患。 AI生成的内容可能泄露专有数据、暴露敏感的客户信息,或生成有害或不合规的响应。这些情况可能在数秒内发生,而且往往难以被检测到。
- 模型不会遗忘。一些语言模型会保留训练数据中的详细信息。这种非预期的记忆可能导致数据通过随意输入的提示词外泄。
- 行为缺乏透明度。前沿模型结构复杂,通常如同黑箱,内部运作机制并不透明。这种不可预测性使人们更难预判模型在边缘情况或遭受攻击时会如何响应。
- 安全团队缺乏管控能力。无论是使用模型提供商的API,还是在内部托管开源模型,大多数企业都缺少精细化工具,无法实施策略、监控活动或实时阻止攻击。
归根结底,运行时并非被动状态,而是动态、持续运行,并直接面对实时用户输入。因此,它很容易成为攻击者的目标,也是大多数安全体系中的关键缺口。
企业AI防护新层级
保护运行时AI并非依靠单一控制措施或工具,而是需要针对AI系统在现实环境中的实际使用方式,构建分层且可自适应的安全边界。
首先要在交互点执行策略。企业需要相应机制来检查每条提示词和每项响应,评估提示词注入、有害内容、数据泄露及其他特定于上下文的风险。这些运行时防护机制必须能够动态调整,以应对新出现的威胁和不断变化的合规要求,同时不影响业务运营。
但保护运行时安全不仅要做出响应,还要提前预判。随着攻击者不断开发利用模型行为的新策略,组织需要具备进攻性能力,对AI系统开展红队测试。采用专为AI设计的高级对抗技术,可确保防御措施不仅能应对已知威胁,还能领先于潜在威胁。
最后,组织需要具备可见性。如果无法了解AI的使用情况,包括访问了哪些模型、访问者是谁以及访问目的,就无法有效治理AI的使用。整个运行时层的可观测性是保障安全和建立信任的基础。
这些能力共同构成了一种专为运行时打造的新型安全层,是任何企业放心扩展生成式AI应用规模的必要基础。
从洞察到行动
运行时安全已不再是锦上添花,而是战略要务。对于任何组织的安全负责人而言,问题已不再是是否应保护运行时,而是多快能够落实。
关于作者

相关博客文章

三家企业如何借助AI驱动的WAF改进虚拟补丁和运行时安全
了解三家F5客户如何利用AI驱动的WAF加快虚拟补丁部署、将误报减少50%以上,并更有信心地启用阻断模式。

F5 BIG-IP v21.0增强S3工作流的AI数据交付与摄取能力
使用F5 BIG-IP 21.0版优化S3工作流:通过低接触式配置,为AI数据交付、对象存储和RAG管道提供可扩展的安全解决方案。
Everest Group报告:生成式AI行业应用的当前趋势与未来前景
我们很高兴能为全球知名研究机构Everest Group发布的一份重要新报告作出积极贡献。该报告题为《生成式AI应用:审视横向职能中的实际应用与未来展望》,深入分析了各行业对生成式AI(GenAI)的应用情况。报告指出,IT[……]
