什么是AI安全？

F5 ADSP | 2023年10月05日

随着ChatGPT于2022年末推出，人工智能（AI）开始成为日常用语，但AI安全仍是一个相当新的领域，人们对其了解不多，也常常忽视或轻视它，即使网络安全专业人士也不例外。现在应当澄清相关歧义或误解，包括AI安全的含义、AI面临的威胁，以及如何在整个企业范围内构建安全的AI环境。

新的攻击面

AI安全是指从战略层面实施可靠的措施和策略，保护组织的AI系统、数据和运营免遭未经授权的访问、篡改、恶意攻击及其他数字威胁。对于部署AI工具的任何组织而言，将安全纳入AI使用策略至关重要，因为数字系统中引入的每个新组件（包括AI驱动的应用）都会扩大可被威胁行为者利用的“攻击面”，使其更有机会渗透或破坏系统。

保护数字基础设施中新增的AI驱动组件，无论是统计模型，还是ChatGPT等大型语言模型（LLM），对于维护系统的完整性、隐私性和可靠性，以及赢得客户信任和维护组织声誉都至关重要。随着越来越多的组织使用AI工具和解决方案开展决策、运营及涉及敏感信息的客户互动，制定稳健的AI安全策略至关重要，这有助于确保这些工具始终可信，并得到妥善保护，以抵御外部威胁或防范内部漏洞。

AI模型风险

人们对大语言模型（LLM）的看法不一，有人认为它只是智能玩具，也有人将其视为强大的工具。然而，现实是，LLM已成为组织关键信息基础设施的最新组成部分，必须将其视为易受攻击的威胁面。早期关于LLM风险的讨论大多集中于识别和应对由人为行为引发的威胁，例如数据丢失和不当使用。但更隐蔽的威胁是针对模型及其数据集的隐秘攻击。此类攻击不仅可能造成越来越严重的损害，其范围、规模和复杂程度也在不断扩大，并且越来越难以检测。本文将概述三类攻击，它们对部署LLM及其他生成式AI（GenAI）模型的企业构成尤为重大的威胁。

越狱攻击和提示词注入

越狱或提示词注入技术试图“诱骗”大语言模型（LLM）提供被认定为危险、违法、不道德或有违伦理，或以其他方式违背普遍社会规范的信息。2023年3月ChatGPT-4发布约两小时后，成功的越狱尝试便诱导该系统提供了一系列令人担忧的反社会活动操作指南。

此后，许多威胁行为者精心设计了措辞严谨、内容详尽的提示，包括角色扮演、预测文本、逆向心理等技术，诱使LLM绕过用于规范其响应的内部内容过滤器和控制措施。针对LLM等生成式AI系统的越狱攻击一旦成功，危险之处在于它会突破用于阻止模型执行恶意命令的防护机制，例如要求模型忽略保护措施或采取破坏性行动的指令。一旦可接受用途与不可接受用途之间的界限消失，模型便不再有其他防护机制来阻止其遵循新指令。

数据投毒

投毒攻击可能以模型、模型的训练数据或贵组织未采取安全防护措施的数据源为目标。投毒攻击旨在扭曲模型生成的结果或预测，导致贵组织依赖有缺陷的结果，做出错误且可能造成损害的决策、传播有误或不正确的信息，或根据模型输出采取其他不明智的行动。

数据投毒攻击以模型的训练数据集为目标。威胁行为者会篡改或操纵数据，或添加恶意、错误、有偏或其他不当数据，从而使模型输出产生偏差。
模型投毒攻击以模型本身为目标。威胁行为者会篡改模型或其参数，使模型产生错误输出。
后门攻击分为两个步骤。威胁行为者首先向模型的数据集中添加恶意数据，以操纵该数据集并制造隐藏漏洞。该漏洞在触发前不会对模型产生任何影响。触发漏洞是攻击的第二步，黑客可借此伺机对贵组织造成损害。