什么是AI数据中心？

AI数据中心是专为大规模运行人工智能（AI）工作负载而建设的设施，采用加速计算、超高带宽网络以及专用供电和冷却系统。

AI数据中心有何不同？

传统数据中心托管多种企业应用，而AI数据中心则针对模型训练、微调和AI推理工作负载等专用计算密集型任务进行了优化。这些任务需要高密度GPU集群、大流量东西向通信，以及数据在AI管道中持续流动。

深度学习、生成式AI（GenAI）和大语言模型（LLM）的兴起，使企业基础设施的规模远远超出传统CPU通用计算环境的承载范围。AI训练需要海量数据和密集计算，因此需要数千个GPU同时运行、具备高容量的太比特级网络，并能可靠访问海量数据集。即使是常规推理，也需要高并发、低延迟和模型感知型路由，而旧有架构无法满足这些要求。

随着企业部署更大规模的模型、将AI融入业务工作流并拓展实时推理用例，AI数据中心已成为保障性能与治理以及支撑企业长期AI战略的基础。

AI数据中心与传统设计主要有五方面不同：

GPU加速计算：AI工作负载需要并行计算，这类计算由GPU、TPU、定制加速器和专用AI芯片提供。这些处理器可提供训练和推理所需的张量级吞吐量。张量运算涉及机器学习和深度学习计算中使用的多维数组，数学复杂度较高。
高密度机架和高功耗：传统机架的功耗可能为8–10 kW。现代AI机架的功耗通常超过40–120 kW，因此对配电、散热设计以及便于接入电网的设施选址提出了更高要求。
下一代互连：训练工作负载会产生大量东西向流量。AI数据中心依靠400–800GbE、InfiniBand（专用的400–800 Gbps高速网络架构）和高性能交换架构，尽可能降低加速器之间的延迟，使训练和推理流水线保持满负荷运行。
更高温、更密集的热分布：GPU集群会形成集中热区，超出传统风冷的散热能力。AI数据中心必须集成混合冷却或先进冷却技术，以维持安全的运行温度。
工作负载编排和模型感知流量：AI带来了新的流量形式，包括模型间通信、向量检索、实时推理以及边缘与云之间的数据流。高带宽、低延迟的网络和网络分段对AI至关重要。有效的流量感知编排、实时监控和策略执行是混合AI部署的关键。流量管理工具成为AI工作负载和模型感知流量的关键运营要素。

AI数据中心的核心组件有哪些？

加速计算基础设施：AI数据中心依赖GPU或加速器集群来执行复杂的并行神经网络计算。由于GPU会并发处理模型，这些系统需要高带宽互连、同步机制，以及NVIDIA Collective Communications Library（NCCL）或消息传递接口（MPI）等分布式训练框架。
高带宽网络：AI工作负载在训练期间会产生东西向网络流量，因为模型参数、数据批次和更新需要在CPU、服务器和存储系统之间共享。这需要使用无阻塞交换架构、InfiniBand或800GbE等低延迟互连技术，并通过流量管理优先处理GPU间流量。
AI就绪型存储：训练和推理依赖快速访问海量数据，但许多企业的基础设施陈旧，且数据就绪度较低。这些企业采用并行文件系统、高吞吐量存储、分层NVMe架构或其组合，但与计算问题相比，存储问题对AI发展的阻碍更大。
冷却和电力基础设施：AI数据中心的GPU持续以高利用率运行，因此比传统数据中心耗电更多、产生的热量也更多。为维持正常运行并避免降频，40 kW以上的机架采用液冷或后门热交换器等专用冷却技术，以及配备现场变电站的专用供电线路或智能配电等先进供电配置。
安全、治理和可观测性：AI系统对敏感资产提出了新的监管和隔离要求，并带来了复杂的多租户GPU池风险，因此AI数据中心需要实施更严格的安全、治理和可见性控制措施，包括模型感知安全、从第4层到第7层的租户隔离、流量检查、API治理、精细化访问控制和运行时可观测性。这些措施可保护AI资产、实施安全访问控制，并确保共享高性能环境可靠运行。

大规模环境下的供电和冷却如何运作？

能源现已成为制约AI应用的主要因素之一。AI机架运行温度更高、密度更大，并持续处于满负载状态。在AI数据中心，冷却通常占总功耗的35%–40%。运营商在设计时必须考虑高功率密度、专用冷却、热分区，以及靠近可靠且经济高效的电力供应地点。

高功率密度：单台GPU服务器的功耗可达3–7 kW。满配机架的功耗可达80–120 kW。这会影响变电站要求、数据中心内部配电和冗余设计（N+1、2N或电网与可再生能源混合供电）。
混合冷却和液冷：仅靠风冷无法满足需求。AI环境通常必须集成直接液冷（DLC），其导热效率约为空气的3,000倍；还需采用适用于极高功率密度的浸没式冷却、可提高系统运行效率的机架冷热通道封闭，以及将余热用于建筑供暖、供热管网等用途的热回收系统。）
热分区：GPU集群会形成局部热区，因此需要进行精细的热监控，并将冷却资源动态分配到特定位置，而不是整个数据中心。
选址策略：受电力条件限制，许多设施选址在水力发电设施或可再生能源附近；条件允许时，也会选在气候较凉爽或电网电力富余的地区。

设计与运营挑战

AI数据中心给计算、数据和运营带来了复杂性：

电力和散热限制：设施通常会先达到电力上限，而非空间上限。GPU在峰值负载下耗电量更高，因此需要谨慎平衡能源、冗余和冷却需求。因此，新建变电站和升级冷却系统等项目需要进行周密规划、获得许可，有时还需重新设计，使扩容成为历时数年的项目，偶尔还会促使采用多区域联合架构。
训练流水线的复杂性：分布式AI训练要求GPU保持高度同步。GPU出现延迟或故障可能会拖慢整个流水线。工程师需要监控性能、网络和作业，以了解架构对处理过程的影响。这会增加运维复杂性，尤其是在工作负载发生变化或数据集快速增长时。
可扩展性限制：AI环境要求基础设施近乎线性扩展，但各层的扩展速度并不一致。大量东西向流量可能导致网络结构饱和，而存储系统难以提供GPU训练所需的数据带宽。这些不匹配往往会形成瓶颈，影响性能。
数据就绪度：所有企业都拥有数据，但大多数数据并不适合用于AI。将原始、非结构化或孤立的数据转换为干净、已标注且一致的训练输入，需要投入大量精力。元数据不一致、数据血缘缺失以及质量未经验证，会延迟数据集的接入，并阻碍AI团队维护可靠的特征管道。“数据可获取”与“数据可用”之间的差距，是AI规模化应用的一大障碍。
安全与治理：模型、检查点（快照）和GPU资源等资产带来了传统控制措施无法应对的风险，因此AI提出了新的安全要求。模型可能在未被察觉的情况下发生漂移，嵌入可能泄露敏感信息，检查点可能包含需要保护的宝贵知识产权。共享GPU环境需要实施严格隔离，以防止跨租户访问。AI工作负载需要治理、运行时检查和模型感知型安全措施，以监控整个管道中的行为。

企业为何投资建设针对AI优化的数据中心？

AI数据中心可带来战略和运营优势：

加快模型训练周期：缩短训练时间，让团队能够更频繁地更新模型，从而加快产品改进，并缩短具有战略价值的AI功能的上市时间。
通过本地化、模型感知型路由降低推理延迟：让推理工作负载靠近数据，并采用能够理解模型行为的路由，可最大限度减少延迟并提升实时响应能力。
可预测的性能：专用AI基础设施可消除共享超大规模环境中常见的“吵闹邻居”效应，确保吞吐量和可靠性保持一致。
掌控数据治理和合规要求：企业可直接监督敏感数据在管道中的流转方式，从而显著简化法规遵循和审计工作。
成本稳定性：固定或预留的基础设施可避免共享云GPU服务因突发用量而产生的费用波动和激增，从而更准确地制定长期预算。
通过专用策略层和流量层保障模型运行安全：专门构建的控制措施可实施访问控制、监控运行时行为并保护模型资产，确保AI服务在整个生命周期内安全运行。

对于CIO和CTO而言，AI数据中心可提供长期韧性，并支持在各业务部门落地应用AI。

企业在部署前应考虑的事项

实用决策检查清单：

工作负载类型：了解环境将支持训练、微调、推理还是检索增强生成（RAG）管道，有助于确定所需性能；峰值并发量则决定必须配置多少容量，才能在负载下保持响应能力。
规模：企业必须预测未来12至36个月的GPU需求和预期模型规模，以便架构能够扩展，而无需进行成本高昂的重新设计或在周期中途更换基础设施。
硬件和架构：选择合适的GPU、互连网络架构和机架密度，可确保系统达到持续运行AI工作负载所需的吞吐量、延迟和功耗特性。
数据管道就绪情况：AI的成功应用离不开干净、已标注且高吞吐量的数据管道，能够持续向GPU供给数据，避免出现瓶颈或需要手动准备数据。
治理与安全：完善的API策略和模型级控制，结合针对推理服务的运行时保护，对于保护敏感资产以及确保运营符合道德规范和合规要求至关重要。
集成：AI环境必须顺畅融入现有的网络、安全和可观测性技术栈，部署模式（本地部署、托管或混合部署）也应符合运营、成本和合规需求。

AI数据中心设计的未来趋势

以下几大趋势正在推动新一代AI设施的发展：

专用AI加速器（ASIC、领域专用芯片）：与通用GPU相比，针对特定AI工作流优化的定制芯片可提高效率，并降低训练和推理成本。
液冷和浸没式冷却：随着功率密度不断提高，当风冷已无法承受相应热负荷时，液冷和浸没式冷却成为切实可行的选择。
机架级系统取代服务器级架构：AI部署正转向集成式机架级设计，将计算、网络和存储整合为一个高带宽单元。
DPU加速的网络与卸载：DPU现可处理网络、安全和数据传输任务，从而释放GPU资源用于纯AI计算，并提升整体管道性能。
主权AI区域扩展：各国和受监管行业正在建设AI设施，确保数据、模型和计算资源完全位于当地司法管辖范围内。
集成到核心架构中的模型和数据感知型流量管理与L7路由：AI网络正在整合可识别模型端点、数据分类和推理模式的路由功能，从而提升各类工作负载的性能和安全性。
用于实时调优训练和推理作业的AI驱动可观测性：实时遥测和模型感知分析可帮助运维人员检测瓶颈，并随着工作负载的变化优化GPU利用率。

AI数据中心｜常见问题

为什么AI数据中心需要不同的硬件？AI工作负载依赖并行处理，因此需要传统的CPU中心型环境中没有的GPU和高带宽互连。
为什么功耗如此之高？加速器会显著增加每台服务器的功耗，而且AI工作负载通常会持续以100%的利用率运行。
如何进行冷却管理？通过液冷、热交换器以及专为高密度机架设计的动态热分区进行管理。
AI数据中心与高性能计算（HPC）相比有何异同？两者的架构相似，但AI数据中心更注重大规模数据管道、推理吞吐量和模型治理。
所有企业都需要AI数据中心吗？不一定。许多企业会根据规模和治理需求，使用混合式、托管式或专用GPU服务。
流量管理和安全工具如何为AI提供支持？这些工具可确保推理请求得到快速、可靠且安全的路由，保护API路径，实施治理，并为各项AI服务提供可观测性。

总结

AI数据中心是大规模采用AI的基础。它们整合专用硬件、高性能网络、模型感知安全和智能流量管理，以支持日益复杂的训练和推理工作负载。随着企业扩展AI项目，高效、安全地运营这些环境的能力将成为核心差异化优势。

如需了解详情，请访问f5.com/solutions/ai-delivery-and-security。