Bots and AI have long been joined at the hip. The earliest CAPTCHA tests, invented to deter bots, were designed as problems that are easy to solve for humans but hard for AI—a distinction that harks back to a 1950 Alan Turing publication on computer intelligence. More recently, security firms, including F5, have deployed AI to detect bots just as bot creators have applied AI to bypass detection and solve CAPTCHA challenges. With generative AI, the linkages between bots and AI continue to evolve, with bots extracting content from the Internet to feed large language models (LLMs) and AI agents—essentially smart bots—interacting with apps in unintended ways. We also see this tight intertwining of bots and AI when we consider the 2025 Top 10 Risk & Mitigations for LLMs and Gen AI Apps.
“攻击者几乎总会以某种形式利用机器人程序扩大针对大语言模型（LLM）的网络攻击规模，因此，缓解机器人程序威胁可以让网络犯罪分子失去一种重要工具。”
机器人当然不是利用LLM漏洞的唯一手段。LLM安全是网络安全领域一个复杂且快速发展的方向，我无意将这一挑战简单归结为单一原因或解决方案。尽管如此，我们知道，攻击者几乎总会以某种形式利用机器人来扩大网络攻击规模，因此，缓解机器人威胁可以削弱网络犯罪分子的一项重要工具。为了解为何机器人威胁缓解对于LLM安全的重要性不亚于其对Web、移动应用和API安全的重要性，下面我们将逐一分析2025年OWASP LLM十大安全风险，并探讨攻击者可能如何利用机器人来利用每个漏洞。
1. 提示词注入
A 提示词注入攻击旨在以恶意方式改变大语言模型（LLM）的行为。根据OWASP的说法，这可能导致模型“违反准则、生成有害内容、允许未经授权的访问或影响关键决策”。为了通过提示词影响模型行为，攻击者很可能需要注入大量提示词，向模型大量灌入有害提示词，以尽可能扩大危害，或找到能够实现预期结果的提示词。要输入足够多的恶意提示词，攻击者需要使用机器人实现自动化。
2. 敏感信息泄露
在竞相构建能够为员工和客户创造业务价值的大语言模型（LLM）的过程中，组织会使用其专有的海量数据存储来训练模型。然而，这些数据存储可能包含敏感信息，包括个人数据和商业秘密。攻击者几乎肯定会试探这些模型，企图泄露这些敏感数据。由于攻击者可能并不确切知道自己要寻找哪些数据，也不知道如何通过特定提示获取这些数据，因此可能会采用暴力破解方法，发出大量提示，希望其中某个提示能够泄露有价值的敏感信息。为了对模型发出大量提示，试图扩大攻击规模的攻击者会部署机器人。
3. 供应链
与任何信息系统一样，LLM也依赖训练数据、基础模型和部署平台等要素。这意味着，攻击者可以通过破坏LLM的供应链来入侵LLM。为破坏这些依赖项，攻击者可能会利用机器人程序向数据存储中注入虚假信息，使用凭据填充或实时网络钓鱼代理攻破身份验证系统，并探测授权漏洞。
4. 数据和模型投毒
在数据投毒攻击中，攻击者会操纵预训练、微调或嵌入数据，以引入漏洞、后门或偏差。OWASP指出：“这种操纵可能会危及模型的安全性、性能或合乎道德的行为，导致有害输出或能力受损。”攻击者可通过多种方法操纵数据，而机器人是多种攻击类型中的常用工具，包括破坏身份验证或授权，以及通过缺乏机器人防护的应用程序将虚假数据插入数据存储。
5. 输出处理不当
输出处理不当是指未检查LLM模型的输出是否可能危害依赖该输出的系统。供应链以及数据和模型投毒漏洞涉及LLM模型上游系统遭到入侵，而输出处理不当则会影响下游系统，即依赖LLM模型输出的系统。根据OWASP的说法：“成功利用输出处理不当漏洞，可能导致Web浏览器中出现跨站脚本（XSS）和跨站请求伪造（CSRF），还可能导致后端系统遭受服务器端请求伪造（SSRF）、权限提升或远程代码执行。”
换个角度来看，攻击者会利用LLM攻击依赖其输出的其他应用。攻击者可能会通过向应用输入精心构造的内容来利用此漏洞，也可能尝试通过自动化方式进行暴力攻击，测试多种输入变体，以找出会生成有害输出、进而危害下游应用的输入。自动化工具会尝试迫使模型生成恶意输出，并测试该输出是否对应用造成了预期的不良影响。要大规模开展此类探测，需要使用机器人程序。
6. 过度自主权
过度代理是通过基于LLM的系统实施的一种权限提升。该漏洞源于基于LLM的系统以提升后的权限运行，使其能够调用函数或与其他系统交互。攻击者并不知道基于LLM的系统在哪些方面拥有提升后的权限，也不知道如何利用这种权限提升，因此很可能会使用自动化方式输入多个提示词，试图触发并利用权限提升。
7. 系统提示词泄露
基于LLM构建的应用通常会向LLM提供系统提示词指令，以引导模型按照应用要求运行。实际上，系统提示词可能包含机密信息，例如数据库连接字符串、专有代码、知识产权或企业应妥善保护的其他内容。系统提示词泄露则是提示词注入的一种特定形式，会导致应用无意中泄露其系统指令。
通过提示词诱使LLM泄露这些机密并非易事，而攻击者几乎肯定会开发自动化脚本，以便更有效地探查系统提示词中嵌入的敏感数据。
8. 向量和嵌入弱点
LLM应用通常通过增强上下文来改善模型输出，这些上下文采用检索增强生成（RAG）技术提供给模型。通过RAG提供给LLM的内容并非原始文本，而是经过预处理的向量，其中嵌入了元数据和内容。根据OWASP的说法：“向量和嵌入在生成、存储或检索方式上的弱点，可能会被恶意行为（无论有意还是无意）利用，从而注入有害内容、操纵模型输出或访问敏感信息。”换言之，攻击者可以针对RAG内容及其处理过程发起攻击，进而攻击LLM系统。
企业会实施自己的流程并界定RAG内容的范围，以满足组织的特定需求。这意味着相关内容及其缺陷将因组织而异。从攻击者的角度来看，发现这些缺陷并非易事，因此必然需要使用机器人进行自动化探查。
9. 虚假信息
当大语言模型（LLM）生成虚假或误导性信息时，依赖这些信息的系统可能发生故障，进而导致安全漏洞、声誉受损和法律责任。大语言模型可能因产生幻觉，或因训练数据存在偏差和缺失而生成错误信息。
试图利用幻觉的攻击者很可能会自动执行提示和响应分析。例如，通过自动执行代码生成流程，即使用LLM生成大量计算机代码，攻击者可以发现其中对实际并不存在的软件库的引用。随后，攻击者可以在LLM虚构的相应代码仓库中创建恶意软件库。如果LLM生成的代码未经过充分审查，该恶意库就会被嵌入发布的产品中。
攻击者同样可以利用机器人操纵训练数据，故意输入海量数据，使模型产生偏差。
10. 无限制资源消耗
OWASP列出的第十项LLM漏洞是“无界消耗”，它与OWASP API漏洞“不受限制的资源消耗”以及OWASP自动化威胁“拒绝服务”高度相似。攻击者发出的请求数量远超预期，导致推理服务遭遇拒绝服务、性能下降和额外成本。OWASP指出：“LLM对计算资源的需求很高，尤其是在云环境中，因此容易遭到资源滥用和未经授权的使用。”为使使用量超出预期，攻击者几乎肯定会利用机器人扩大请求量。
实施机器人防护
许多组织面临着尽快将AI功能推向市场的压力，而LLM的安全影响尚未得到充分了解。因此，应考虑在基于LLM的应用以及向LLM模型提供数据的应用前部署机器人防护。攻击者能够发起的攻击越多，得手的可能性就越大。F5提供了一项尤为有效的机器人防护服务，即F5 Distributed Cloud Bot Defense。该服务本身基于AI构建，可帮助组织在对抗使用机器人和自动化手段攻击LLM应用的攻击者时占据优势。
了解详情，了解 Distributed Cloud Bot Defense。
相关博客文章
Thingbot正转变为攻击平台
Lori MacVittie重点介绍了F5 Labs对2018年1月至6月全球物联网设备攻击的研究，并指出了其中令人警醒的影响。物联网设备不仅持续遭到利用，还被转变为攻击平台，这意味着攻击者可以更充分地利用这个必然增长的市场。
借助F5全新Quick Start，在AWS上快速开展业务
在AWS re:Invent开幕前，我们很高兴与大家分享F5与AWS之间全新的Quick Start集成。F5的Tom Atkins将介绍该服务如何启动、配置和运行在AWS上部署工作负载所需的计算、网络、存储及其他AWS服务。