行业正迈入AI基础设施的新阶段。
第一波生成式AI浪潮的重点是构建和训练模型。下一阶段的重点是规模化运行AI。企业、超大规模云服务提供商和新一代新型云服务提供商正在构建我们所说的“AI工厂”。这些环境旨在尽可能高效、可靠且安全地生成令牌。
在这些环境中，每毫秒的延迟和GPU利用率的每一个百分点都至关重要。
The Tolly Group的测试显示，与传统负载均衡解决方案相比，在NVIDIA BlueField DPU上运行的F5 BIG-IP Next for Kubernetes可将令牌吞吐量提高多达40%，首次生成令牌的时间缩短61%，请求延迟降低34%。
GPU是现代数据中心成本最高的组件之一。如果请求路由效率低下或GPU利用不足，组织实际上会浪费计算容量和资金。
然而，许多AI部署仍依赖传统的轮询负载均衡。这种方式在不了解GPU基础设施实时状态的情况下分发请求。它适用于传统Web应用，但无法满足AI推理的需求。
GPU 感知型基础设施的重要性
AI推理环境与传统应用架构存在根本差异。
推理集群由多个GPU资源池组成，用于运行大语言模型及其他AI工作负载。在任意时刻，每个GPU处理的工作负载可能存在很大差异，具体取决于队列深度、模型执行时间、生成的令牌长度和内存利用率等因素。
盲目分配流量时，请求很容易被路由到已处于繁忙状态的GPU，而其他加速器却未得到充分利用。这会导致响应延迟增加，基础设施利用效率降低。
因此，AI基础设施需要具备工作负载感知能力。
F5认为，基础设施层必须不断演进，才能根据环境中的实时状况智能分配AI推理请求。
The Tolly Group的独立验证
为深入了解GPU感知型负载均衡的影响，我们委托独立技术验证机构The Tolly Group，将我们的方法与传统负载均衡解决方案进行对比评估。
结果令人瞩目。在The Tolly Group的测试中，在NVIDIA BlueField DPU上运行的F5 BIG-IP Next for Kubernetes实现了高达：
- 令牌吞吐量提升40%
- 首个令牌生成时间缩短61%
- 请求延迟降低34%
这些改进以广泛使用的开源负载均衡解决方案为基准进行衡量。
测试中有一个值得关注的发现：对于较小的模型，这些优势更加明显，因为高效的流量分配可能会对系统性能产生更大的影响。
使用DPU卸载基础设施处理任务
该架构的另一个重要方面是基础设施卸载。
在当前许多部署中，流量管理功能与AI工作负载一同直接在服务器CPU上运行。这意味着宝贵的CPU资源被基础设施任务占用，而非用于应用工作负载。
通过在NVIDIA BlueField DPU上运行F5 BIG-IP Next for Kubernetes，可将流量管理功能从服务器CPU卸载到DPU。
在The Tolly Group的测试中，两者差异显著。在Nvidia BlueField DPU上运行的BIG-IP Next for Kubernetes大约需要2个CPU核心，而传统的基于CPU的负载均衡大约需要12个核心。
这意味着CPU利用率降低约80%，从而可将这些CPU资源用于其他工作负载。
AI基础设施的未来
随着AI工厂规模不断扩大，基础设施效率将成为决定AI部署能否成功的关键因素之一。
组织需要最大限度提高GPU利用率、尽可能降低延迟、提升令牌吞吐量，并确保基础设施安全和隔离。要实现这些目标，需要基础设施能够理解AI工作负载的动态特性，而支持GPU感知的负载均衡和DPU加速基础设施，是迈向这一未来的重要举措。
F5相信，智能基础设施将在支持新一代AI工厂方面发挥核心作用。经The Tolly Group验证的结果，标志着我们朝这一方向迈出了令人振奋的一步。可在此处获取完整报告。
此外，别忘了访问F5 BIG-IP Next for Kubernetes网页。
关于作者
相关博客文章
三家企业如何借助AI驱动的WAF改进虚拟补丁和运行时安全
了解三家F5客户如何利用AI驱动的WAF加快虚拟补丁部署、将误报减少50%以上，并更有信心地启用阻断模式。
F5 BIG-IP v21.0增强S3工作流的AI数据交付与摄取能力
使用F5 BIG-IP 21.0版优化S3工作流：通过低接触式配置，为AI数据交付、对象存储和RAG管道提供可扩展的安全解决方案。
Everest Group报告：生成式AI行业应用的当前趋势与未来前景
我们很高兴能为全球知名研究机构Everest Group发布的一份重要新报告作出积极贡献。该报告题为《生成式AI应用：审视横向职能中的实际应用与未来展望》，深入分析了各行业对生成式AI（GenAI）的应用情况。报告指出，IT［……］