探索AI时代的攻击

F5 ADSP | 2025年3月03日

对于已经在应对传统信息安全问题的CISO而言,AI带来了全新的难题。如今,无论是在工厂、实验室还是办公环境中,只要引入AI,或通过AI开放现有技术的访问,就会产生一个刚刚出现的全新攻击面。

我们已经发现,包括ChatGPT、Gemini、Llama和DeepSeek-R1在内的主流AI模型都存在漏洞。随着各组织开始将AI智能体连接到更广泛的系统,威胁行为者也在同步行动,试图将AI作为入侵入口。一旦得手,攻击的影响范围可能会呈指数级扩大。

了解攻击者的运作方式,是在AI时代建立稳健安全态势的关键。分析攻击的各个阶段有助于识别漏洞,并为主动加强防御、避免潜在损害奠定基础。

旧“规则”仍然适用

有组织的攻击者会有明确的目标,即希望通过攻击达成的结果。随后,他们会将重点转向领域。例如,如果目标是危害某个国家,相关领域可能包括医疗卫生、银行系统或空中交通管制。

领域选择对威胁行为者至关重要,因为每个领域都有不同的安全规则、法规和防御措施。金融服务是全球防护较为严密的领域之一,而医疗服务领域的信息安全水平历来较弱。然而,即使在防护严密的系统中,AI也在为攻击者开辟新的入侵途径。

选定领域后,下一步是选择具体的目标。如果目的是对保险公司实施欺诈,可根据规模、所在地和安全标准等属性,从众多目标中进行选择。高调宣扬采用AI却缺乏充分AI安全控制措施的公司,可能会成为攻击目标;率先行动也有其弊端。

研究目标

确定目标后,威胁行为者会转向侦察:哪些可访问资产可以成为攻击目标?这里的关键词是“可访问”。可访问资产通常是人们会与之交互的对象,例如网站、移动应用、ATM和面向公众的服务器。

然而,威胁行为者还会瞄准不易察觉的薄弱环节。组织可能有许多不常使用的网络接入点;如果其中一个因疏忽而仍处于启用状态,就可能被利用来访问关键系统。智能体AI如今也必须纳入考量:随着AI与虚拟和物理实体的连接日益增多,以往无法触及的资产现在是否已可被访问?

对于攻击者而言,漏洞探测是寻找系统入侵途径最简单、最高效的方式。漏洞探测的方法有很多,而AI又开辟了新的途径,包括在推理层进行探测,即AI模型与日常用例交互的层面。

揭示AI的内在构造

接下来会涉及一些技术细节。为了探测AI应用,攻击者不会使用网页聊天界面,而是会在相关网站上使用“查看源代码”功能。点击“网络”选项卡后,他们可以看到在AI应用中输入聊天内容时,该内容所发送到的端点。

攻击者可以通过命令终端而非网站单独访问该端点,并获取原始响应。这样,他们就能查找网站路由未显示的内容,例如可能为进一步实施攻击提供线索的额外元数据。

此时,黑客已取得进展。如果最初识别出6项资产,其中2项显示了有用的元数据,那么他们现在就有了首批潜在的入侵切入点。暂时可以搁置漏洞较少的资产,但如果最初的尝试未能成功,攻击者可能会返回并进行更深入的探查。

丰富的选择

实力强大的威胁行为者通常拥有一整套攻击工具,可以逐步升级攻击。简单来说,他们会先采用成本最低、速度最快的攻击方式,并避免暴露最强的攻击手段;如果用一个兵就能解决问题,国际象棋大师不会轻易亮出最精妙的棋招。

复杂的攻击武器价值很高,但一旦被识别,未来很可能会出现相应的防护措施,使其失去效用。因此,攻击者可能会使用中低级攻击手段,轮流以多个资产为目标,而不会冒险动用其最珍贵的武器。

当然,也有例外:如果目标足够有价值,攻击者可能会选择升级攻击,动用其最先进的武器。

攻击结果

成功的攻击可能产生两种结果之一:外泄或植入。外泄是其中较为直接的一种,指从目标中窃取有价值的内容,例如资金、财务数据或敏感的客户信息。

智能体AI带来了更高的风险。智能体AI系统正越来越普遍地使用模型上下文协议(MCP)。该协议由Anthropic等公司推广,是一种用于连接浏览器和业务工具等应用的开放标准。

浏览器无疑是访问各类系统和服务的窗口,包括电子邮件系统、银行账户和预订引擎。业务工具可以访问专有信息。在这种环境下,任何通过MCP连接到智能体AI的事物都必须被视为一个重大的新攻击面。

插入攻击更难实施,也可能造成更严重的危害。可以将其类比为家中遭到入侵:眼下最担心的可能是丢了什么,但如果入侵者留下了一台摄像头,可以监视您的一举一动呢?

在数字领域,可通过MCP访问浏览器和应用程序的智能体AI,为复杂的插入攻击开辟了新途径。例如,攻击者可能修改日志端点,将日志发送到外部收集器;也可能更改物理安防计划,使其在周末关闭。

威胁行为者还会考虑如何在攻击中进行横向移动。初次入侵可能会获得一台中层管理人员所用笔记本电脑的访问权限,并借此在系统内移动,寻找将权限提升至更高级别的途径。

开源手册

与AI领域的其他方面一样,攻击环境也在快速演变。早期模型的创建者对其内部工作原理秘而不宣,但DeepSeek的开源方式实际上相当于将其R1模型的操作手册公之于众,这对开发者和威胁行为者而言都改变了游戏规则。

自1月下旬发布以来,R1的衍生版本已超过7,000个,其中许多版本的来源实际上无从得知。代码共享有助于推动创新,但威胁行为者无疑也在研究R1的工作原理,寻找攻击现有及未来AI模型的方法。
威胁行为者正是这样思考的,安全社区必须跟上他们的步伐。

显然,要降低潜在风险,必须采取强有力的防御性和进攻性安全措施,包括主动、持续地对AI模型和应用开展红队测试。正如医疗领域一样,预防胜于事后补救。

分享

关于作者

James White
James WhiteAI安全首席技术官 | F5

James White是一位成就卓著的工程师和商业领袖,在企业软件行业拥有近20年的经验。

James White 的更多博客文章

相关博客文章

三家企业如何借助AI驱动的WAF改进虚拟补丁和运行时安全
F5 ADSP | 2026/09/21

三家企业如何借助AI驱动的WAF改进虚拟补丁和运行时安全

了解三家F5客户如何利用AI驱动的WAF加快虚拟补丁部署、将误报减少50%以上,并更有信心地启用阻断模式。

F5旗舰会议AppWorld的四大亮点
F5 ADSP | 2026/03/13

F5旗舰会议AppWorld的四大亮点

错过了今年的F5 AppWorld大会?在此了解F5最新动态。

F5 BIG-IP v21.0增强S3工作流的AI数据交付与摄取能力
F5 ADSP | 2025/11/18

F5 BIG-IP v21.0增强S3工作流的AI数据交付与摄取能力

使用F5 BIG-IP 21.0版优化S3工作流:通过低接触式配置,为AI数据交付、对象存储和RAG管道提供可扩展的安全解决方案。

保险业AI安全
F5 ADSP | 2025/01/01

保险业AI安全

AI正在加速保险公司管理风险、服务客户和检测欺诈的方式。但这些提升效率的工具也会带来严重风险:我们的AI运行时安全解决方案通过红队验证、Guardrails防护和内置可观测性治理AI部署,为保险行业提供安全保障。红队:在影响保单持有人之前验证AI F5 […]

翻译服务的AI安全
F5 ADSP | 2025/01/01

翻译服务的AI安全

企业正利用AI驱动的翻译服务拓展全球业务,应用场景涵盖客户支持、产品文档、跨境合同和营销活动。这些工具有助于缩短产品上市时间并降低成本,但也会带来严重风险:我们的AI运行时安全解决方案通过Guardrails提供实时保护,并通过内置可观测性加强监督,从而保障翻译服务行业的安全[……]

Everest Group报告:生成式AI行业应用的当前趋势与未来前景
F5 ADSP | 2024/06/18

Everest Group报告:生成式AI行业应用的当前趋势与未来前景

我们很高兴能为全球知名研究机构Everest Group发布的一份重要新报告作出积极贡献。该报告题为《生成式AI应用:审视横向职能中的实际应用与未来展望》,深入分析了各行业对生成式AI(GenAI)的应用情况。报告指出,IT[……]