AI基础设施详解

F5 Newsroom Staff

AI基础设施是指大规模开发、训练、部署和管理人工智能（AI）及机器学习（ML）工作负载所需的专用硬件与软件系统组合。强大的AI基础设施可帮助开发人员高效创建和部署各种AI及ML应用，包括聊天机器人和虚拟助手、自动驾驶车辆、医学影像分析、精准农业，以及用于防范银行交易欺诈的异常检测。

阅读这篇博客文章，了解AI基础设施的示例和组成部分、AI工作负载的构成，以及AI基础设施与传统IT基础设施的区别。我们还将探讨如何构建、优化和保护AI基础设施。

AI基础设施与IT基础设施对比

首先，为什么AI需要不同的计算基础设施？AI应用处理数据和使用计算资源的方式与传统应用有着根本区别，而传统IT系统并非为满足AI和机器学习工作负载的独特需求而设计。

虽然满足AI需求需要针对AI生命周期量身打造的专用基础设施，但这些要求并未减缓AI和机器学习投资的增长。根据《F5 2025年应用策略现状报告》，96%的受访组织目前正在部署AI模型。此外，在麦肯锡《AI现状》调查中，71%的受访者表示，其所在组织经常在业务职能中使用生成式AI。

AI需要强大的计算能力：AI工作负载会消耗和生成海量数据，而且通常需要实时处理。例如，训练为生成式AI应用提供支持的深度学习模型（LLM）可能涉及数百万个参数和复杂的数学运算。生成式AI对基础设施的要求包括专用高吞吐量处理器、可扩展且支持快速访问的存储、低延迟内存访问以及高带宽网络。

该基础设施必须在AI管道的各个阶段支持AI应用的所有核心组件，确保整个流程的每一步都具备良好的性能、可扩展性和响应能力。首先是数据摄取，即收集数据并将其输入AI模型的过程。此步骤需要强大的流量管理能力和充足的带宽，才能高效处理高吞吐量数据流。

数据摄取完成后，模型训练是使用训练数据集创建新AI模型的迭代过程。基础设施必须提供强大的计算能力，以优化模型，使其在执行特定任务时达到较高的准确率。推理是前端应用与经过训练的AI模型交互的运行时阶段。应用将输入发送给模型，模型随后处理请求并返回响应。

智能体系统让AI不再局限于数据处理和请求/响应交互，而是能够在无需人工干预的情况下主动采取行动。支持智能体AI需要先进的编排和实时决策能力。

许多AI应用在边缘运行，支持传感器、摄像头和工业机械等IoT设备进行分析和自动化。这些实时用例需要经过优化的基础设施，以便在靠近数据源的位置进行低延迟分布式处理。

AI基础设施与IT基础设施有何不同？AI基础设施利用专用硬件和数据平台来促进加速计算，并满足AI工作负载的高强度计算需求。例如，它依赖于图形处理器（GPU），这类处理器针对并行处理进行了优化，而不是使用标准IT系统中通常用于通用工作负载的传统中央处理器（CPU）。

AI基础设施解决方案还包含专用软件，包括机器学习库和框架。这些软件对于开发、训练和部署AI模型至关重要。传统IT技术栈通常不包含这些工具，而是更侧重于企业应用和数据管理。

AI基础设施堆栈通常称为“AI工厂”。这一概念类似于传统制造工厂，后者通过一系列重复且通常自动化的流程生产产品。不同之处在于，AI工厂生产的是智能。引用NVIDIA创始人兼首席执行官黄仁勋的话：“AI如今已成为基础设施，而这种基础设施就像互联网和电力一样，需要工厂。我们如今建设的本质上就是这些工厂。它们并非过去的数据中心……投入能源后，它就能产出极具价值的成果……”

AI基础设施的组成部分

为有效支持AI和机器学习工作负载，组织采用专门构建的AI工厂基础设施架构，其中包括专业的计算、存储和软件能力。

这些计算资源包括：

• GPU。GPU是AI基础设施的基石，可实现并行处理，对于训练和运行复杂的AI模型至关重要。GPU拥有数千个核心，可同时执行多项任务，显著提升性能。NVIDIA是AI基础设施领域广泛采用的GPU供应商之一。
• TPU（张量处理单元）。TPU由Google开发，是针对机器学习和深度学习运算优化的专用AI加速器。TPU具有高吞吐量和低延迟，非常适合大规模AI应用的训练和推理。

数据存储和处理资源包括：

• 可扩展的存储解决方案。由于AI模型需要海量训练数据，数据存储是支撑AI基础设施的基本要素。基于云或本地部署的数据库、数据湖和分布式文件系统必须具备高度可扩展性，才能支持AI工作流所使用数据的规模、多样性和处理速度。
• 数据处理框架。为AI准备数据时，需要自动筛选和清理数据集。Pandas、NumPy和SciPy等工具可自动执行常见的数据准备任务，从而简化这一流程。

机器学习软件资源包括：

• 机器学习库和框架。这些预构建工具包可简化AI模型的设计、训练和部署。TensorFlow和PyTorch等框架提供可复用组件和优化算法，有助于加快开发并降低复杂性。
• 机器学习运维（MLOps）平台。MLOps工具有助于自动执行机器学习任务，并支持从数据收集到模型训练、验证、部署、故障排除和监控的整个模型生命周期。

上述AI工厂基础设施解决方案由集成式系统和工具组成，可支持AI应用的开发、部署和管理，帮助组织更高效、更安全地大规模构建和维护AI模型。

如何构建AI基础设施

许多组织在构建支持AI工作负载所需的基础设施时面临重大挑战，其中包括成本和复杂性方面的考量。参与F5数字化企业成熟度指数报告调查的受访者中，近一半担心构建和运行AI工作负载的成本，另有39%表示，其所在组织尚未建立可扩展的AI数据实践。

要解决成本问题，首先应明确目标并设立专项预算。确定希望通过AI解决的具体挑战，以便集中精力进行战略性预算分配，确保投资产生可衡量的价值并发挥更大作用。目标通常会影响所采用的框架，而框架又会影响所使用的计算类型。用例也会影响AI工厂内部的本地网络架构，以及边缘连接和处理方式。此外，还可考虑采用云存储解决方案。AWS、Oracle、IBM和Microsoft Azure等云服务提供商可提供基于云的AI基础设施，包括成本更低的按使用量付费数据模式，无需对本地基础设施进行大规模投资即可扩展存储容量。

在构建可扩展的AI时，网络解决方案发挥着重要作用。高带宽、低延迟网络可在存储系统与计算资源之间快速传输大量数据。此外，数据处理单元（DPU）专为处理海量数据传输和支持多租户而设计。通过在单一基础设施上运行多个AI工作负载，DPU可支持数据处理的可扩展性。

其他AI基础设施注意事项还包括与现有系统集成。应仔细规划数据在传统IT环境与新AI基础设施之间的流动方式，以确保兼容性、尽量减少中断，并在数据输入AI工厂时验证其完整性。此外，随着AI基础设施不断演进，敏感数据泄露、模型被盗或API漏洞等安全风险也会随之变化。应实施严格的访问控制、加密和监控措施，并确保AI环境符合欧盟《通用数据保护条例》（GDPR）和HIPAA等数据隐私法规。

如何优化和保护AI基础设施

如果缺乏明确的策略和周密的规划，AI工作负载和应用可能会带来重大挑战，包括网络拥塞、延迟增加、性能瓶颈以及安全风险上升。

要优化AI基础设施的性能，请改进流量管理，以支持高吞吐量、低延迟的数据管道，确保训练和推理数据顺畅传输。利用检索增强生成（RAG）技术，使AI模型能够动态访问和引用专有数据集，从而提高响应质量和上下文相关性。实施AI集群感知型编排网络分段，以动态调度GPU和计算资源，并通过AI基础设施自动化减少网络拥塞，提高整体系统效率。

要保护AI基础设施，应优先保障API安全。AI应用高度依赖API，因此应实施强身份验证、速率限制和访问控制策略，以抵御攻击和滥用。检查流向AI模型的实时流量，防范提示词注入、数据泄露和恶意输入/输出行为等提示词层面的威胁。使用Web应用扫描器持续监控新出现的风险，以检测和防御新威胁，以及环境中未经授权的AI工具和影子AI。

F5如何提供帮助

F5可提升整个AI管道中AI基础设施和工作负载的性能、可靠性、可扩展性和安全性。F5面向AI应用和数据交付的解决方案通过安全的加速网络，提供高性能AI网络和流量管理，帮助AI驱动型应用保持快速、可用且可控。F5解决方案可优化AI网络，使数据保持线速传输，并无缝扩展流量，从而实现稳定、经济高效的端到端性能。

F5还提供AI应用和工作负载安全，通过全面的可见性、强大的安全防护和无缝扩展能力保护AI应用、模型和数据。这些能力由统一平台F5 Application Delivery and Security Platform (ADSP)提供支持。F5 ADSP采用自适应分层防御，为高强度工作负载提供一致、全面的安全防护、高可用性和低延迟连接，助力组织依托值得信赖的行业厂商提供的统一强大安全能力，保护其AI投资。

探索F5 AI参考架构，了解如何在混合云和多云环境中构建安全、可靠且高性能的AI基础设施。

关于作者

F5 Newsroom Staff

F5 Newsroom Staff 的更多博客文章