保护AI安全：必须遏制的潜伏威胁

DeepSeek；ChatGPT Deep Research；美国斥资5,000亿美元的 Stargate 计划：如今，AI发展势头迅猛，令人应接不暇。AI曾经只被视为Spotify推荐和Snapchat滤镜背后的引擎，而新一代生成式AI和 智能体AI 正在为众多创新应用场景提供支持，从快速研究到加速诊断和药物发现。

随着智能体AI时代逐渐成熟，这些趋势必将加速发展，智能体将根据人类指令自主执行任务。事实上，波士顿咨询公司近期开展的AI Radar调查显示，在1,803名高管中，31%计划在2025年为AI投入超过2,500万美元。

我们来算一下：近600家公司表示，仅今年就将在AI领域各投入至少2,500万美元，累计达150亿美元。即便如此，这一估算可能仍较为保守。

BCG对19个市场、12个行业的高管开展了调查，其中四分之三将AI列为三大战略重点之一。与此同时，2024年《麦肯锡全球人工智能调查》的1,363名参与者中，72%表示已在至少一项业务职能中采用AI；50%已在两项或更多业务职能中采用AI。

潜伏的威胁

然而，在这个瞬息万变的世界中，每个新用例都会为威胁行为者带来新的攻击面；昨天还安全的事物，明天未必依然安全。尽管威胁已经显现，但企业对AI应用的需求日益高涨，安全考量却未能跟上步伐。

我们与许多CISO交流过。即使正在将AI引入组织，一些CISO对自身面临的风险状况仍不以为意，甚至近乎漠不关心。不出所料，在受到严格监管的行业中，这种态度确实会有所转变。

我们都熟悉早期AI系统中那些广为人知的失败案例：某配送公司的会说脏话的聊天机器人还批评了该公司；编造新闻的新闻聚合器；以及虚构的判例甚至被提交到了法庭。就连Amazon也不得不修复其AI购物助手Rufus，因为它允许用户不受限制地访问其底层LLM。除了品牌受损，Amazon还要承担处理恶意提示词所产生的费用。

其中最严重的一起事件是，Character.AI正面临民事诉讼。一名14岁少年在与该公司的一款角色扮演聊天机器人长时间对话后自杀。据称，该聊天机器人曾询问这名少年是否有自杀计划，并似乎鼓励他付诸行动。

总体而言，这些事件被视为令人遗憾的异常情况。恰恰相反，它们应被视为暴露深层问题的裂痕，警示人们即使没有恶意干预，AI也可能出现问题。一旦有人蓄意为之，潜在危害将成倍增加。

震颤检测

安全社区已经发现活跃威胁的迹象，如同火山喷发前的震动。OpenAI最新威胁报告指出，疑似来自中国的攻击者SweetSpecter曾试图利用ChatGPT协助开展进攻性网络行动，包括向模型询问各种应用中的漏洞，以及寻求不易被拦截的电子邮件附件“合适”名称。

与此同时，该恶意行为者向OpenAI员工的企业和个人账户以及世界各地的政府机构发送了带有恶意软件感染附件的网络钓鱼邮件。这听起来可能只是OpenAI面临的问题，但所有基于基础模型构建应用的人员，以及众多使用模型应用的企业，都应对此保持警惕。

与此同时，最新的HP Wolf Security威胁洞察报告详细介绍了首例检测到的恶意软件活动，其中使用的脚本“极有可能”是在生成式AI的帮助下编写的。脚本的结构、注释以及函数名称和变量的选择均表明，威胁行为者使用生成式AI创建了该恶意软件。

正如HP Wolf团队指出：“这一活动表明，生成式AI正在加速攻击，并降低网络犯罪分子感染端点的门槛。”AI既可用于造福社会，其同样的能力也可能且必将被威胁行为者滥用，造成严重危害。

不断扩大的攻击面

显然，AI有望在未来占据主导地位。去年，全球AI初创企业获得的风险投资达到1,315亿美元，较2023年增长52%。2024年第4季度，按投资金额计算，全球超过一半的风险投资流向了AI企业。

这些新兴企业着眼未来，不断迭代并推出新产品。与此同时，各行各业的组织都面临着释放AI潜力的压力。在这个一切都在变化、没有统一标准且难以预测的世界中，攻击面持续扩大，导致安全态势出现必须解决的薄弱环节。

即使没有积极采用AI的组织，也需要警惕潜在威胁。正如我们所见，AI系统可用于大幅增强网络钓鱼、暴力破解攻击、动态恶意软件和拒绝服务攻击等传统威胁。

新兴的AI安全形势带来了静态威胁、智能体威胁和操作攻击，这些威胁和攻击主要针对运行时AI。直接和间接提示词注入可能操纵AI应用，引发安全和成本方面的担忧。

我们已经知道，目前可用的各类先进模型在一定程度上都可能被“攻破”。随着新版本不断发布、AI应用日益普及，保持警惕必不可少，而非可有可无。

避免危机爆发

AI系统本质上具有动态性，新的漏洞可能会出乎意料地出现，而且这种情况必然会发生。如果缺乏专门的多层安全协议，即使是非常稳健的系统也可能出现问题甚至失效。为保护AI投资，组织必须将防御性安全能力与主动措施相结合，主动识别漏洞。

组织不能等到事后再依赖消防服务，而需要配备能够提前发现火灾隐患的工具。对AI模型和应用开展渗透测试和红队测试，有助于为系统建立安全边界，防止潜伏的威胁转化为实际攻击。

信息很明确：即使AI目前尚未列入您的议程，威胁行为者也已在加速行动，现有的安全问题正受到影响。AI的未来取决于我们能否保障其安全，因此，这并非少数人的问题，而是与所有人息息相关。