未受管理的AI基础设施所带来的隐性成本

F5 ADSP | 2026年1月20日

AI基础设施团队正在进行组织历史上规模较大的技术投资之一。一些组织已将GPU集群投入生产，另一些仍在为上线做准备。无论处于哪种阶段，面临的挑战都相同。AI基础设施部署后，系统不稳定、效率低下和流量控制不佳会迅速造成价值损失并带来运营风险。

一旦出现问题，影响会立即显现。服务速度变慢，容量下降，团队不得不紧急恢复片刻前还在正常运行的系统。即使尚未得到充分利用的环境也面临风险。早期的不稳定、配置错误或流量分布不均，都可能削弱人们对这些平台的信心，而这些平台原本应为未来增长提供支持。

“F5 BIG-IP Next for Kubernetes将AI推理视为一个系统性问题。网络、负载均衡和安全功能集成到统一数据平面中，可适应实时状况。这样，推理平台便可随需求增长而扩展，同时保持稳定性。”

随着AI平台投入生产，许多组织发现，一味提高GPU负载并非总能解决问题。当利用率上升时，未受管理的流量、负载不均和突发的需求激增可能导致GPU进入不稳定的运行状态。恢复通常无法立即完成，算力可能长时间不可用，而反复承压会逐渐增加运营风险。

当GPU投资达到数千万美元时，这些事件就不只是技术上的不便，更是业务问题。

因此，在讨论AI效率时，话题往往会转向token。

简单来说，令牌是AI模型处理或生成文本时使用的单位。令牌可以表示单词的一部分、完整单词或标点符号。当用户提交提示词并由AI系统生成响应时，系统会逐个生成令牌。一段时间内生成的令牌数量，可以直接衡量AI平台完成了多少有用工作。

Token之所以重要，是因为它将基础设施性能与实际成果联系起来。每秒生成的Token越多，就能服务更多用户、加快响应速度，并从相同的底层GPU投资中获得更大的潜在收入。因此，Token已成为管理层衡量AI效率的常用简明指标。

但令牌并非根本原因，而是结果。

令牌问题是基础设施健康状况的下游结果

推理流量与传统应用流量的行为模式截然不同。请求持续时间长、突发性强，所消耗的GPU时间也存在很大差异。当流量在理论上均匀分配、实际却分配不均时，GPU会在空闲和过载状态之间波动。

在持续负载下，这些不均衡会不断加剧。队列不断增长，延迟急剧上升。重试不仅无法缓解压力，反而会使压力进一步增大。在生产环境中，要从这些状况中恢复，通常并非重启进程那么简单。重置GPU往往涉及重新加载驱动程序、重新初始化互连网络、协调调度器以及预热应用程序。在此期间，推理容量实际上处于不可用状态。

在实际环境中，这一恢复窗口并非以秒计，而是会占用相当长的运维时间。即使集群仅损失部分容量，也可能导致服务可用性长时间下降，尤其是在工作负载需要重新平衡和预热的情况下。

许多团队需要认识到，令牌吞吐量取决于基础设施的运行状况。稳定性和流量控制决定了GPU是将时间用于创造价值，还是用于从过载中恢复。

持续保持推理效率，关键在于基础设施

实际AI部署带来的一个明确启示是，峰值基准测试结果并不能准确预测生产环境中的性能。真正重要的是在实际负载条件下保持持续、可预测的表现。

生产推理平台能否成功，取决于其能否做到以下几点：

应对不均衡的突发需求，同时避免形成热点
在流量波动时保持延迟稳定
持续稳定提供吞吐量，而非仅在短时基准测试中表现稳定

在受控性能测试中，在NVIDIA BlueField 3 DPU上运行并由其加速的F5 BIG-IP Next for Kubernetes展示了基础设施行为如何直接影响推理效率。该平台利用实时CPU、GPU、主机和网络遥测数据制定流量决策，与传统数据平面方法相比，实现了可衡量的性能提升。

DPU可进一步提升这些性能，但底层流量管理带来的优势广泛适用于各种AI推理环境。

在这些测试中，AI推理工作负载的令牌吞吐量最高提升47%，首个令牌生成时间最多缩短86%，端到端延迟最多降低45%。

这些性能提升无需更改模型或GPU硬件。通过优化整个基础设施中的流量分配和管理方式，GPU能够在负载下更稳定地运行，从而实现这些提升。

具体而言，这些改进可以减少停滞的请求，降低因重试而加剧的负载，并将更多时间用于有效的推理工作，而不是从不稳定状态中恢复。

这些结果记录在F5经验证的大规模AI推理性能测试中。该测试评估了持续负载下的真实推理流量，并测量了多种数据平面实现的令牌吞吐量、首个令牌生成时间和端到端延迟。测试结果进一步印证了一个关键观点：基础设施的运行表现对AI持续性能起着决定性作用，而不仅仅影响峰值基准测试结果。

结论很明确。智能流量管理通过预防不稳定状况，而不是在问题发生后再作出响应，从而提高持续令牌吞吐量。对于大规模运行AI的组织而言，这可以直接避免停机、延长GPU使用寿命，并保全原本可能因效率低下和恢复事件而损失的数百万美元基础设施价值。

智能流量管理如何改变GPU行为

许多AI平台仍依赖静态规则或简单的轮询方式来分配推理流量。这些方法假定所有请求的行为相似，并且所有GPU在负载下的响应方式相同。随着规模扩大，这一假设很快便不再成立。

部分推理请求很快即可完成，另一些则会长时间占用GPU资源。如果在分配流量时不了解系统的实时状况，部分GPU会过载，而其他GPU仍未得到充分利用。这种不均衡是导致生产AI环境不稳定的常见根本原因之一。

F5 BIG-IP Next for Kubernetes不依赖静态假设，而是根据实时遥测数据做出流量决策，从而应对这一挑战。它持续评估CPU、GPU、主机和网络信号，了解哪些位置仍有可用容量，哪些位置的负载压力正在上升。部署在NVIDIA BlueField DPU上时，此逻辑会随流量以内联方式运行，将网络和安全处理从主机CPU卸载，从而减少对共享资源的争用。

这不仅能加快即时响应，还能让系统长期保持更稳定的运行状态。GPU可以将更多时间用于有效工作，减少从过载状态中恢复所需的时间。这种一致性有助于维持更高的令牌吞吐量，同时避免硬件进入不稳定的运行区间。