大语言模型（LLM）安全是指用于保护LLM、其训练和推理数据以及依赖LLM的应用程序的策略、控制措施和技术。传统应用安全侧重于固定代码路径和已知漏洞，而LLM安全还必须考虑模型如何适应上下文并理解自然语言。
LLM安全：保护数据、模型和应用
LLM正迅速成为企业数字化转型的基础组成部分。由LLM驱动的应用（如聊天机器人、虚拟助手、文档摘要、代码生成和决策支持）正在大规模提升生产力并加速创新。然而，LLM的快速普及也带来了一个全新且复杂的安全领域：LLM安全。
与传统软件不同，LLM并不遵循固定规则，而是理解自然语言，并根据上下文调整响应。对于处理敏感数据、身处受监管行业或依赖AI驱动自动化的组织而言，LLM安全因此成为一项关键问题。如果缺乏适当的防护措施，LLM应用可能使企业面临数据泄露、合规失效、知识产权损失，以及提示词注入等新型攻击技术带来的风险。
LLM安全专注于在整个生命周期内保护数据、模型和AI赋能的应用。随着企业从试验阶段转向生产规模部署，要安全地实现生成式AI的价值，必须了解LLM安全风险并采用经过验证的缓解策略。
要点总结
- 大语言模型（LLM）安全可应对传统应用安全无法充分缓解的风险。
- 常见威胁包括提示词注入、数据泄露、不安全输出和过度自主。
- 有效的LLM安全需要对输入、输出、数据和基础设施实施分层控制。
- F5可在混合云和多云环境中实现一致的LLM应用安全防护。
什么是LLM安全？
LLM安全是指用于保护LLM及依赖LLM的应用程序的实践、策略和技术。LLM会响应非结构化语言输入，即使面对相同的提示词，也可能生成不同的输出。这种特性称为非确定性，因此LLM容易受到操纵和滥用。
除了监控、审计和人工监督等额外治理措施外，LLM安全还涵盖四个主要领域：
- 保护训练和推理数据
- 维护模型完整性
- 控制输入和输出
- 保护部署环境和API
由于大语言模型（LLM）会影响决策、自动执行任务并直接与用户交互，因此LLM应用安全将模型视为高风险组件。要保护这些模型，需要持续评估，而非仅进行一次性测试，以确保模型在使用方式不断变化时仍能安全且可预测地运行。欧盟《人工智能法案》等新兴法规要求组织对AI系统实施风险管理、日志记录和人工监督，因此LLM安全不仅是技术最佳实践，也是合规要求。
为什么LLM安全至关重要
企业正以前所未有的速度采用大语言模型（LLM），以提高效率、改善客户体验并推动创新。这些系统通常会处理敏感数据、生成对外可见的内容，或触发下游操作。
如果缺乏适当的控制措施，LLM可能会遭到基于语言的攻击利用，泄露专有信息，或生成不安全的输出，进而损害运营或声誉。许多LLM安全风险并非源于传统漏洞利用，而是源于对提示词、上下文的隐蔽滥用，或对响应的过度信任。
对于企业高管和安全负责人而言，保障LLM安全是管理企业风险的关键。完善的LLM安全实践有助于组织负责任地扩大AI应用规模，同时保护知识产权、履行监管义务并维护客户信任。
LLM的主要安全风险和漏洞
大语言模型及相关应用的风险特征与传统应用大不相同。LLM能够理解自然语言、生成概率性输出，并且经常充当用户、数据与系统之间的中介，因此会产生传统安全控制措施无法充分应对的新攻击面。
此类框架（如OWASP 大型语言模型应用十大安全风险）强调，LLM在规模化应用时会带来独特的安全风险。OWASP指出，除了传统软件面临的风险外，LLM在处理语言、集成外部数据源以及与下游系统交互的方式上也存在漏洞。这些威胁包括提示词注入、不安全的输出处理、训练数据投毒、敏感信息泄露、模型自主权过大，以及资源耗尽导致的拒绝服务。该框架强调，LLM是影响重大的组件，需要专门的治理、持续监控，以及符合现代应用和API标准的多层防护。
了解这些类别有助于企业设计有针对性的缓解措施，使其符合现代应用和API安全实践，并应对LLM安全特有的风险范围。
提示词注入
当攻击者精心构造输入，试图覆盖系统指令或操纵模型行为时，就会发生提示词注入。攻击既可能通过用户提示词直接实施，也可能嵌入文档或网页等外部内容中间接实施。
由于LLM优先处理语言理解，提示词注入可能绕过防护措施、暴露敏感数据或触发非预期操作。攻击者经常利用自动化工具和机器人大规模探测这些弱点，通过发送大量精心构造的提示词或请求来发现可利用的行为。
不安全的输出处理
LLM会生成文本、代码和命令，而下游使用这些输出的系统往往过于轻易地信任它们。当应用程序未经验证或清理便直接执行或显示模型输出时，就会出现不安全的输出处理。
这种疏忽可能导致注入漏洞、跨站脚本（XSS）、未经授权的系统命令，或不准确或不安全信息的传播。要实现可靠的大语言模型（LLM）应用安全，必须在验证前将模型输出视为不可信内容。
训练数据投毒与供应链风险
LLM依赖海量数据集和第三方组件。如果训练或微调数据遭到恶意篡改，模型可能会习得带有偏见的行为、隐藏后门或不安全的响应。同样，遭入侵的开源模型或插件也会带来供应链风险。
确保大型语言模型安全，需要验证数据源、维护数据溯源信息，并持续评估模型依赖项。
敏感信息披露和数据泄露
LLM可能会无意中泄露在训练期间学习到的，或通过提示和上下文窗口提供的敏感信息或专有信息，包括个人身份信息（PII）、凭据或机密业务数据。防止数据泄露是保障LLM安全的核心，尤其是在受监管的环境中，违规可能造成严重后果。
自主性、过度依赖和LLM输出滥用
赋予LLM过高的自主权，例如允许其在无人监督的情况下触发工作流或做出决策，可能导致错误和滥用。过度依赖LLM可能会传播不良信息和错误推理。在这些情况下，攻击者可能会滥用LLM开展网络钓鱼、社会工程攻击或生成恶意代码，从而加剧威胁。
DoS攻击、资源耗尽和模型窃取
LLM端点是资源密集型且成本高昂的资产。攻击者可能通过大量提示词请求滥用这些端点，造成流量泛滥或成本增加。薄弱的访问控制还可能导致模型被盗或未经授权的复制。
LLM安全最佳实践与缓解措施
LLM的使用涵盖从设计、开发到部署和持续运营的整个过程。由于LLM通过自然语言进行交互、生成动态输出，并且通常与敏感系统集成，仅依靠传统安全控制措施并不足够。
有效的LLM安全最佳实践应结合技术防护措施、治理流程和人工监督。组织必须假定提示词可能被操纵、输出可能被滥用、依赖项可能遭到破坏。目标并非消除风险，而是在支持安全、规模化创新的同时，降低故障发生的可能性及其影响。
以下缓解措施为保护由LLM驱动的应用提供了一种面向企业的实用方法，并与新兴的AI风险管理框架保持一致，例如美国国家标准与技术研究院的《人工智能风险管理框架（AI RMF 1.0）》，该框架强调
输入和提示词过滤/攻击面控制
应对LLM的所有输入（包括用户提示、检索到的文档、系统上下文和元数据）进行严格限制和清理。输入面控制可减少遭受提示注入、间接提示攻击以及外部内容中嵌入的恶意指令的风险。
通常建议的做法包括：将可信数据源加入允许列表、移除隐藏或不可打印的指令、限制提示词的长度和复杂度，以及将用户输入与系统提示词隔离。这些控制措施是降低一种常见LLM安全风险的基础。
输出验证、清理和安全处理
绝不能盲目信任LLM的输出。生成的文本、代码、查询或命令在执行、存储或向用户显示之前，必须经过验证。如果缺少防护措施，输出可能会造成注入漏洞、泄露敏感数据或引发不安全操作。
企业应采用内容过滤、架构验证和上下文感知检查，确保输出符合安全和策略要求。将模型响应视为不可信数据，是大语言模型（LLM）应用安全的核心原则。
保护数据和训练管道
训练和微调数据（包括数据审查、源代码控制和审计）会直接影响模型行为。使用未经审查或治理不善的数据集，会增加数据投毒、偏差以及意外记忆敏感信息的风险。建议从可信存储库获取数据、实施版本控制、记录数据血缘，并持续审计变更。完善的数据治理有助于保障LLM安全并满足监管合规要求。
供应链安全、可信组件和软件物料清单（SBOM）
LLM应用通常依赖第三方模型、开源库、插件和外部API。每项依赖都可能带来供应链风险。通过软件物料清单（SBOM）维护组件清单、定期开展安全审查并监控漏洞，有助于组织降低因依赖项遭入侵或过时而面临的风险。
最小权限及受控的插件和代理使用
LLM智能体和插件应遵循最小权限原则运行。模型只能访问执行预期功能所必需的数据、工具和操作。执行代码、修改记录或发起交易等高风险操作应要求明确批准或额外验证。这有助于降低提示词遭到篡改或模型出现意外行为的可能性。
监督、输出检查与依赖限制
尽管AI不断发展，人的判断仍不可或缺。过度依赖LLM输出可能会增加错误、虚构内容或不安全决策。企业应针对敏感用例强制实施人在回路审核，提供有关正确使用LLM的培训，并明确规定哪些自动化决策必须由人工验证。
监控、日志记录和事件响应
持续监控提示词、输出、使用模式和性能，有助于及早发现滥用、异常或新出现的威胁。日志记录可支持取证分析并满足合规要求。《欧盟人工智能法案》等法规要求特定AI系统具备可追溯性，并开展事件后分析，因此日志记录和监控对于合规与安全都至关重要。
组织还应针对LLM相关事件制定专门的事件响应流程，确保问题发生时能够快速遏制并修复，从而为LLM的长期安全奠定基础。
LLM应用安全：安全集成LLM
应将LLM驱动的应用纳入安全开发实践，而不是将其视为独立系统。与API和微服务一样，模型应进行版本控制、访问控制和测试，并通过受管控的持续集成和持续交付（CI/CD）流水线进行部署，以确保变更可追溯、可审计且可回滚。
LLM应使用定义明确的API，并采用与高价值服务相同的安全措施加以保护。F5可增强LLM工作负载的应用交付和安全控制，确保在混合云和多云环境中一致执行相关策略。
F5® BIG-IP和F5® Distributed Cloud Services通过流量管理、访问控制和检查，帮助组织保护LLM API。API发现、身份验证、速率限制和机器人程序缓解等功能可保护LLM端点免遭滥用、DoS攻击和自动化攻击。这些措施可防止资源耗尽，并阻止未经授权访问成本高昂的推理服务。
F5® Distributed Cloud Web App and API Protection (WAAP)通过检测注入攻击、恶意提示词和异常请求模式，提升LLM安全性。它会监控流量以发现异常活动，这些活动可能表明存在提示词注入、数据外泄或滥用LLM驱动的系统功能。
F5® BIG-IP® SSL Orchestrator®支持在涉及敏感数据或外部系统的环境中解密和检查加密流量，使安全工具能够检测隐藏的威胁。这种可见性对于在不影响性能的情况下监控生产环境中的LLM输入和输出至关重要。
Distributed Cloud Services可在混合云和多云环境中提供集中式策略管理、可观测性和策略执行。安全团队能够持续了解LLM流量、异常情况和指标，从而更快地检测和响应威胁。将LLM嵌入现有架构，可避免形成孤立的AI孤岛。F5助力实现可扩展且具有韧性的AI安全防护，以适应不断变化的业务需求和威胁，并将纵深防御原则应用于AI工作负载。
LLM安全总结
LLM可带来显著的业务价值，但也会引入陌生且不断演变的风险。保障LLM安全不能仅依靠单点解决方案，还需要采取融合技术防护、治理和人工监督的整体策略。
通过了解常见漏洞并采用LLM安全最佳实践，企业可以在保护数据、模型和应用的同时，更有信心地扩大AI计划的规模。优先保障大语言模型安全的组织，将更有能力以安全、可持续的方式推进创新。
常见问题：LLM安全
LLM安全面临哪些主要风险？
提示词注入、数据泄露、不安全的输出处理、训练数据投毒和过度自主性是常见风险。
什么是提示词注入攻击？
这是一种利用精心构造的语言输入操纵大语言模型（LLM），使其绕过安全防护措施或泄露敏感信息的攻击。
企业如何提升LLM安全性？
通过实施分层控制措施，例如输入过滤、输出验证、最小权限访问和监控。