保护AI安全：未来在于运行时

F5 ADSP | 2025年1月09日

AI为企业带来的潜力不可限量，从医疗保健、金融机构到政府等各行各业都希望参与其中。有一点很明确：这种需求短期内不会放缓。保障AI安全对推动其应用至关重要，而目前，这项工作正呈现金字塔式结构。

AI金字塔的顶端

基础模型训练位于AI生态系统的顶端，是少数组织涉足的高门槛领域。这些组织拥有庞大的计算资源，还要应对海量数据集带来的复杂挑战。所需的资金投入极其庞大，即使对行业头部企业而言，其长期可行性也值得审慎评估。在这一阶段，安全至关重要，涵盖从数据采集和预处理，到模型训练、测试和部署的每个环节。保护AI领域的这些核心资产不仅是技术上的必要举措，也是业务上的必然要求。这些公司负责管理整个训练过程中的各个环节，因此具备独特优势来落实这项工作。

中间层：保护运行时，守护广大用户

在顶端之下，大量企业和组织用例正在涌现，准备在运行时利用预训练基础模型的强大能力。AI由此真正走向普及。对这些组织而言，安全工作的重点是保护自身的基础设施和数据，并最终保护其客户和用户。将基础模型视为内部机制不可见的不透明黑盒，是一种审慎的安全策略。无论模型内部多么复杂，这种方法都能最大限度地缩小攻击面，并支持围绕模型和应用实施可靠的安全措施。

底层：覆盖面广，但深度有限

生成式AI的蓬勃发展促使众多公司尝试转型，从保护传统机器学习模型训练扩展到保护生成式AI的整个生命周期，包括运行时。尽管这种广泛覆盖的方法出发点良好，但往往会导致安全解决方案覆盖面广却缺乏深度。试图保护如此庞大而复杂的领域会分散重点，最终无法应对各阶段的具体差异，尤其是至关重要的运行时层。

AI运行时的全方位安全防护

AI创新日新月异，安全解决方案必须具备与所面临威胁相匹配的适应能力和先进性。要以这种方式保护AI，唯一途径是在运行时层实施安全防护，这需要采用涵盖以下三个核心领域的整体方法：

防御： 强大的防御机制至关重要。这包括通过输入验证和清理来防止提示词注入攻击，通过输出过滤来减少有害内容的生成，以及通过运行时监控来检测异常行为。了解具体用例至关重要，因为不同应用有其独特的安全要求。此外，还必须考虑针对整个AI管道的跨环节攻击。
进攻：有效的红队测试对于识别不透明基础模型及基于这些模型构建的应用中的漏洞至关重要。这包括开展对抗性测试、探索潜在攻击途径，以及制定缓解策略。这种主动方法有助于组织提前应对新兴威胁，并确保AI部署的稳健性。
治理、监管与合规（GRC）：应对不断变化的监管环境是AI安全的关键环节。各司法管辖区和垂直行业都有各自的规则和法规。遵循“纸面防御”固然必要，但实施切实可行的安全控制措施，将这些要求转化为实际保护也同样重要。