生成式AI可以通过学习现有数据中的模式和示例，自主生成文本、图像或音频等新内容。它利用深度学习模型生成多样且符合语境的输出，模拟人类的创造力和解决问题的能力。
生成式AI带来的机遇与隐忧
个人和组织将生成式AI广泛用于内容创作、自然语言处理和数据合成等用途及应用。在内容创作方面，它可以协助生成诗歌、学术论文和营销材料，以及图像、视频、音乐和计算机代码等各种内容。在自然语言处理领域，生成式AI可以增强聊天机器人和语言翻译功能，并支持合成海量数据，为产品设计、开发和原型制作提供创意。组织内部署生成式AI应用，可以为员工提供支持，帮助他们做出更明智、更有依据的决策并提高运营效率，进而提升盈利能力并推动业务增长。
然而，生成式AI也会带来重大的安全和伦理问题，包括可能产生偏见、增强网络攻击能力以及引发隐私风险。例如，生成式AI可以使用大型语言模型（LLM），这些模型基于从互联网系统抓取的内容进行训练，包括在线书籍、帖子、网站和文章。生成模型从训练数据中学习；如果所用数据存在偏见，模型可能会在输出中延续甚至放大现有偏见。
此外，生成式AI可能会无意中生成误导性或虚假信息（称为“幻觉”），导致错误信息传播。恶意行为者还可能利用生成式AI传播和调整宣传内容，进而引发社会动荡。如今，恶意行为者通常会利用生成式AI制作深度伪造内容。这类内容看似真实，但经过篡改，可能具有误导性或恶意。深度伪造内容可用于身份盗用、社会工程或网络钓鱼攻击、传播虚假信息，或制作对个人和社会构成威胁的欺骗性内容。
暗网市场目前提供一种名为FraudGPT的AI工具，可用于编写鱼叉式网络钓鱼电子邮件、创建难以检测的恶意软件、生成网络钓鱼页面、识别存在漏洞的网站，甚至提供黑客技术教程。
用于训练大语言模型（LLM）的内容可能在未经同意的情况下被访问并用于模型训练，其中还可能包含个人信息、敏感信息以及受版权保护或专有的内容。由于AI生成内容时会从这些内容（包括其中的隐私信息）中提取信息，因此其输出确实可能无意中泄露敏感数据或隐私信息。
生成式AI供应商可能不会提供相应途径，让个人或组织确认其个人信息或专有信息是否已被存储或用于训练，也可能无法依据欧盟《通用数据保护条例》（GPDR）等政府法规中的“被遗忘权”或“删除权”规定，请求删除这些信息。LLM训练通常还涉及汇总和使用来自不同地区或国家/地区的数据，这可能导致数据主权法规受到影响。
生成式AI应用的类型
生成式AI在各类组织和行业中有多种应用。审慎地将生成式AI融入适当的工作流程，有助于企业获得竞争优势。这些应用包括：
- 书面内容创作。生成式AI可以自主生成类似人类撰写的文本，用于文章、博客、个性化消息、营销活动广告文案等多种用途。虽然AI生成的内容通常需要人工审核，但它可以按所需风格和篇幅生成初稿、总结或简化现有书面内容，并提供内容大纲，从而协助内容创作，简化人工写作流程。
- 图像和视频创作。生成模型可以根据文本或视觉输入合成或修改图像和视频，并按照指定的场景、主题、风格或地点，创作独特且逼真的视觉内容。这些视觉素材可广泛应用于媒体、设计、广告、营销、教育和娱乐等商业领域。生成式AI还可以为游戏和虚拟环境创建角色和逼真的场景。
- 增强客户支持自动化。生成式AI有助于开发高级聊天机器人和对话式智能体，使其能够开展更自然、更贴合上下文的对话，尤其适用于预定义回复可能不足以满足需求的情况。自适应对话式智能体可以动态生成内容，例如即时提供产品推荐，或根据特定用户偏好定制回复。这些具备上下文感知能力的聊天机器人和智能体有助于企业节省时间和资源，同时改善客户体验并降低支持成本。
- 代码生成。使用生成式AI生成代码，可以提高软件开发流程的效率和生产力。它能以多种方式辅助代码开发，包括自动补全代码（在开发人员输入时提供代码补全建议）、检查代码质量和错误及缺陷，以及自动推进遗留代码的现代化改造。自动代码生成有助于快速构建原型，让开发人员能够迅速验证想法并测试不同的编码方案，从而提高软件开发工作流的效率。生成式AI还让非技术人员也有机会编写代码：用户只需用自然语言描述代码应实现的功能，生成式代码工具便会自动创建代码。
什么是生成式AI安全？
生成式AI安全是指为应对基于生成式AI的应用在开发、部署和使用过程中可能面临的安全风险与挑战而采取的一系列实践和措施。随着这些技术日益普及和成熟，相关安全问题愈发重要，尤其是AI工作负载已成为网络犯罪分子的主要攻击面。
如需深入了解部署和管理生成式AI应用所涉及的安全风险，请参阅《OWASP大型语言模型应用十大安全风险》。该文档旨在提高对相关漏洞的认识，提出修复策略，并帮助改善LLM应用的安全态势。
生成式AI基础设施面临的安全风险
尽管生成式AI看起来功能极其强大，甚至近乎神奇，但它使用了与传统工作负载相同的部分基础设施、接口和软件组件，因此也面临相同的风险，例如注入攻击，以及绕过薄弱身份验证和授权控制的攻击。要确保复杂的生成式AI模型有效运行，需要可靠、高性能且安全的基础设施。
基础设施攻击还包括“拒绝服务（DoS）”攻击，即攻击者通过耗尽CPU、内存或存储等硬件资源，干扰生成式AI工作负载的运行。这类资源耗尽攻击可能导致性能下降或系统不稳定，影响AI系统的可用性和可靠性，并削弱模型学习和响应用户提示词的能力。
未经授权访问AI系统基础设施也会对生成式AI工作流构成重大威胁，可能影响系统的机密性和完整性。入侵系统基础设施可能导致数据窃取、服务中断或恶意代码注入等恶意活动。这不仅会危及AI模型和数据的安全，还可能导致生成和传播不准确或有害的输出。
生成式 AI训练数据的安全风险
任何生成式AI应用都始于训练数据，机器学习模型利用这些数据识别所需模式、进行预测并执行任务。要让大语言模型（LLM）具备强大能力，其训练数据需要涵盖广泛且多样的领域、体裁和来源。然而，无论是采用现成的预训练模型，还是使用自定义数据集训练的定制模型，模型训练过程都容易受到操纵和攻击。
对抗性攻击是指恶意行为者故意操纵输入数据，以误导生成式AI模型或损害其性能。OWASP将这一过程称为训练数据投毒。这还包括通过操纵数据引入漏洞、后门或偏差，从而可能损害模型的安全性、有效性或合乎道德的行为。这些漏洞还会形成攻击向量，恶意行为者可利用这些攻击向量，在未经授权的情况下访问敏感信息。模型供应链一旦遭到入侵，可能导致输出存在偏差或不可靠、隐私泄露，以及未经授权的代码被执行。由于GenAI应用采用庞大的插件生态系统，这一问题尤其值得关注。
生成式AI模型面临的安全威胁
生成式AI应用采用LLM，基于训练数据集、神经网络和深度学习架构生成输出，以响应用户提示。AI模型是识别现有数据中模式、结构和关系的基础，并据此生成新的输出。
AI模型容易受到多种攻击，包括提示词注入以及其他输入威胁。这些威胁通过输入精心构造的提示词来操纵LLM，使模型忽略先前的指令或执行非预期操作。提示词注入是导致AI模型生成错误信息和虚假内容的常见原因之一。
生成式AI应用也容易受到以下漏洞的影响，例如服务器端请求伪造（SSRF），攻击者可利用此漏洞发起非预期请求或访问受限资源；以及远程代码执行（RCE），攻击者可利用此漏洞使应用在底层系统上执行恶意代码或其他操作。
多模态AI和API攻击面
向多模态AI（即能够同时处理文本、音频和视频的系统）的转变，加上不断扩大的插件和集成生态系统，显著拓展了威胁边界，并带来了新的AI威胁。攻击者可以利用这些新功能以及工具之间增强的连接性，滥用业务逻辑、窃取数据、利用供应链漏洞，或侵入企业系统。当AI系统能够访问专有信息、敏感的内部数据库、业务工具和应用、云环境或运营基础设施时，这些风险尤为严峻。
多模态AI和API连接能力的持续演进，正给负责保护AI系统的人员带来更大压力。
生成式AI安全实践指南
保护生成式AI系统需要采用多层安全方法，其中应包括可靠的身份验证和授权协议，并实施严格的访问控制，确保只有授权人员才能访问系统的关键组件。组织可以实施主动的漏洞管理，包括定期更新软件和持续监控，以便及早检测并防范入侵企图。为抵御DoS攻击，应在系统中构建冗余机制，包括使用备份服务器和故障安全协议，以确保处理能力持续可用。LLM也可能遭受拒绝服务攻击，因为用户提示会生成令牌，而LLM的上下文窗口大小固定，攻击者可能会以此为目标，试图耗尽系统资源。
组织应实施严格的审查流程，以验证训练数据的供应链，并且仅选择来自可信来源的预训练模型。低质量数据和训练数据中的偏差可能会妨碍模型学习准确的表征并生成可靠的结果，因此，在将数据输入生成式模型之前对数据进行预处理对于有效应用生成式AI至关重要。在许多受监管行业中，模型微调也十分重要。数据清理、归一化和增强以及偏差检测与缓解等技术有助于防止错误和数据投毒。
实施严格的访问控制、加密方法和安全部署实践，包括网络隔离和正确配置防火墙，以保护生成式AI模型免受潜在安全威胁。为防止提示词注入，可采用以下技术：提示词清理、输入验证和提示词过滤，确保模型不受恶意构造的输入操纵。采用安全编码实践、开展全面的代码审查，并利用代码沙箱等运行时防御措施，有助于降低未经授权执行代码的风险。提示词注入是生成式AI应用面临的严重且复杂的风险之一。
优化生成式AI模型
由于生成式AI处理可能会占用大量资源，优化生成式AI模型以提升性能和效率，是提高模型速度、可扩展性和能源效率的重要一步。
多云环境能够跨分布式环境连接AI工作负载和生态系统插件，因此已成为AI应用的基础。多云网络（MCN）可根据生成式AI工作负载的计算需求灵活地动态扩缩资源，包括图形处理器（GPU）等硬件加速器。通过将不同云提供商的资源整合到数据处理中，可以优化性能并尽可能减少延迟。跨多个云区域部署生成式AI模型，可实现处理能力的地理分布，从而降低延迟并缩短响应时间，这对于分布式实时或交互式AI应用尤为重要。边缘AI正逐渐成为改善用户体验的重要方法。生成式AI模型的区域化分布还可帮助组织按照数据主权要求存储和处理数据。
容器编排平台Kubernetes已成为运行生成式AI工作负载的行业通用标准。它提供在容器中运行和扩展AI模型所需的基础设施，有助于确保高可用性和高效利用资源。Kubernetes充当编排器，负责管理AI应用中各类组件的部署和监控，确保能够高效管理和扩展AI模型、数据处理管道及其他服务。由于Kubernetes存在多种实现方式，同时还需要统一配置工作负载、安全引导流量并分发推理请求，因此MCN和入口控制器至关重要。
API为AI应用的各个部分提供连接纽带，用于交换数据和指令，使不同组件和服务能够相互通信。例如，生成式AI插件生态系统通过API调用实现连接。Kubernetes Ingress解决方案提供内置的负载均衡、速率限制和访问控制功能，可在多个Pod之间安全地分配流量，从而提升AI工作负载的整体处理性能。
如前所述，API是连接AI应用各个部分的纽带，可用于交换数据和指令，使不同组件和服务能够相互通信。Kubernetes Ingress解决方案提供内置的负载均衡、速率限制和访问控制功能，可在多个Pod之间安全地分配流量，从而提升AI工作负载的整体处理性能。
生成式AI优化面临的挑战
生成式AI优化通常需要在输出速度与质量之间进行权衡。实现高质量输出通常需要更复杂、资源消耗更大的模型和计算，而性能优化可能需要简化模型，从而影响生成内容的质量。更复杂的模型还可能需要更长的训练时间，并导致推理速度下降，进而影响训练过程的速度和实时应用的性能。
对于必须适应动态环境的生成式AI模型而言，这一问题尤为突出。此类模型可能需要持续优化，因而更难兼顾质量与性能。除GPU外，通用中央处理器（CPU）和数据处理器（DPU）也可用于执行处理任务，这凸显了智能流量管理和资源池化的重要性。
核心优化技术：剪枝、量化和迁移学习
优化生成式AI模型时，需要均衡考虑并综合运用多种因素。
模型剪枝是指识别并移除模型中冗余或不太重要的参数，以减小模型规模和计算需求，目标是在保持性能的同时使模型更加紧凑。量化通过以较低的位精度表示数值来降低生成式AI模型的内存需求和计算复杂度，例如将浮点数转换为精度较低的定点数或整数表示形式。这有助于降低内存需求，并提高模型部署和存储的效率。
迁移学习是一种机器学习技术，将针对某项任务训练的模型调整为执行另一项相关任务，从而显著减少训练所需的时间和计算资源，对深度复杂模型尤其如此。迁移学习有助于高效复用知识，无需大量计算资源即可针对特定应用优化生成式AI模型。
将模型训练和推理分布到多个处理器、设备或云环境中，可利用并行处理能力优化模型训练和用户体验。此外，根据硬件的具体能力（例如模型运行所用的特定CPU或GPU）调整模型架构和训练流程，可以优化训练和推理流程，从而提升性能；如果能在靠近用户的位置执行推理，效果尤为明显。
优化技术的资源优势
- 模型剪枝：剪枝后，模型体积更小，所需内存和计算资源也随之减少。这有助于降低推理成本并提升性能。过度剪枝可能会降低准确率。
- 量化：量化可以显著降低内存使用量并提高推理速度。通过量化进行优化，可使模型在配置更精简、成本更低的硬件上运行。
- 迁移学习：与从头开始训练相比，采用迁移学习所需的训练数据、时间和计算能力更少。
- 分布式学习：分布式学习通过将工作负载分散到多个系统，帮助团队加快大型模型的训练。
借助F5赋能生成式AI
生成式AI有望带来显著的竞争优势，但组织要在不引入风险的前提下充分发挥其价值，就必须采取必要措施，在多样化的分布式环境中优化并保护AI工作负载。这不仅需要提高AI工作负载的效率，还需要管理复杂的Kubernetes生态系统，以无缝且安全的方式集成API，并有效管理多云网络。
F5确保处于AI就绪各阶段的企业都能在所有环境中观察、保护和治理AI交互，并可随着AI格局的演变调整防护措施。 F5 AI Security Platform 为AI应用、模型、智能体及连接它们的API提供适应性防护，帮助企业持续管控AI风险。团队可以持续了解员工如何使用AI，针对具体部署测试模型和应用中的漏洞，并根据所面临的威胁，将发现和测试结果转化为相应的运行时防护措施。
F5 AI Guardrails 支持企业为应用、模型和智能体定义并部署数据安全、威胁管理和治理措施。团队可以使用AI Guardrails保护系统，应对提示词注入和越狱攻击等不断演变的威胁。AI Guardrails还可用于阻止数据泄露、执行合规策略、拦截未经授权的输入和输出，并确保所有AI交互均清晰可见。
与此同时， F5 AI Red Team支持组织持续测试AI系统中的漏洞和薄弱环节。AI Red Team的发现可转化为新的AI Guardrails策略，从而形成持续的安全闭环。
F5还可优化现代AI工作负载的性能和安全性，确保生成式AI模型和数据在整个分布式应用环境中得到一致的分发和保护，包括数据中心、公有云、私有云、多云、原生Kubernetes和边缘环境。F5提供统一的底层数据结构，支持大规模训练、优化、部署和管理生成式AI模型，确保流畅的用户体验，并支持AI驱动型应用实时决策。
F5提供一套集成式安全、交付和性能优化解决方案，可降低生成式AI的复杂性，同时提供可预测的扩展能力和性能，并通过统一界面实现集中可视化和管理。
- F5 Secure Multi-Cloud Networking (MCN) 可降低在云、多云和边缘等分布式环境中管理和部署AI工作负载的复杂性，同时避免点对点连接解决方案带来的复杂性和管理开销。
- F5 Distributed Cloud Network Connect通过基于SaaS的工具，为任何环境或云提供商提供第3层连接，包括本地数据中心和边缘站点。该工具可提供端到端可见性，自动配置链路和网络服务，并支持在所有站点和提供商之间创建一致的、基于意图的安全策略。
- F5 Distributed Cloud App Connect是一项服务，可为分布在多个云区域、云提供商和边缘站点的AI工作负载提供应用间连接和编排。
- F5 Distributed Cloud App Stack采用跨环境统一的生产级Kubernetes，轻松部署、管理和保护AI工作负载，简化AI工作负载的生命周期管理，并支持跨资源池将推理任务分配到合适的处理器（CPU/GPU/DPU），甚至可分配到边缘处理器，以充分提升性能。
- F5 NGINX Connectivity Stack for Kubernetes是一款集入口控制器、负载均衡器和API网关功能于一体的工具，可为在Kubernetes中运行的AI/ML工作负载提供快速、可靠且安全的通信，帮助大规模提升正常运行时间、保护能力和可见性，同时降低复杂性和运营成本。
- F5 Distributed Cloud Web App and API Protection (WAAP)可保护支持AI特定交互的API，并降低未经授权的访问、数据泄露、业务逻辑滥用以及SSRF和RCE等严重漏洞带来的风险，同时结合管理和执行功能，为API运行时分析与保护提供全面的方法。
- F5 Distributed Cloud Bot Defense基于对设备和行为信号的实时分析，提供高效的机器人防护，识别并缓解自动化恶意机器人攻击，同时快速应对攻击者针对全球数千个高流量应用和AI工作负载不断调整攻击工具的行为，从而遏制恶意行为者利用机器人和恶意自动化手段投毒LLM模型、发起拒绝服务攻击及散布虚假信息。
F5技术通过提高效率、降低延迟并缩短响应时间，帮助组织安全地发挥生成式AI的优势，同时确保流畅的用户体验，并支持在任意位置灵活部署AI工作负载。
生成式AI：常见问题
生成式AI与预测式AI有何区别？
生成式AI用于创建（即生成）文本、图像或代码等内容。预测式AI用于预测未来事件和结果。
生成式AI在企业中有哪些主要应用？
生成式AI可用于多种业务场景，包括编码、内容创作、研究、客户支持和个性化营销。组织使用生成式AI工具，有助于节省时间、减少重复性手动任务，并更深入地理解海量数据。
扩散模型与生成对抗网络（GAN）有何区别？
GAN和扩散模型是使用合成数据训练生成式AI模型的两种主流方法，但二者截然不同。GAN通过生成器网络与判别器之间的对抗博弈来工作：生成器网络负责创建合成数据，判别器则尝试判断数据是真实的还是合成的。两者会随时间推移不断改进，从而生成更逼真的结果。扩散模型则采用两步流程：先逐步向训练数据添加噪声（正向扩散），再通过迭代方式对同一数据进行去噪，以恢复原始数据（反向扩散）。
