最近，无论是在董事会会议室、财报电话会议上，还是在接连不断的评论文章中，人们都在热议一个观点：AI经济效益的下一次重大提升，不能仅靠速度更快的芯片。
这一观点有充分依据，但其启示更为广泛。每个token的成本首次大幅下降，源于芯片和软件领域多项进步的叠加：更快的加速器、更完善的内存系统、更低精度的格式、PagedAttention、连续批处理、键值缓存优化，以及vLLM等推理框架。整个行业从每个加速器中释放有效算力的能力显著提升。
随后，业界开始寻找下一个可以采用同样方法的领域，并将目光投向了数据路径，尤其是存储。这项工作至关重要，但也只是整个问题的一半。
数据路径只是其中一半
AI工厂中的存储不再只是被动保存数据。模型从中加载，检查点从中恢复。在延迟压力下，检索增强生成也依赖存储。当规模达到一定程度时，上下文层和缓存层可能会扩展到GPU和系统内存之外，因为使用加速器重新执行已完成的计算成本高昂。
但AI的经济效益取决于两个相互关联的流。一个是为模型提供输入的数据流动，包括字节存储在何处、获取速度有多快，以及必须以多高的频率移动。另一个是推理请求的传输路径：从用户、应用或智能体发出，经过流量管理和策略执行，进入模型服务器，再返回请求方。
第二种流动承载的是传输中的数据。与计算和存储相比，许多生产环境对这一环节的衡量仍不充分，优化也不到位。下一轮效益提升和资源浪费将在这一环节见分晓。
Token税
在GPU节点上，主机中央处理器并非处于空闲状态。它负责运行网络功能、终止传输层安全连接、实施策略、处理东西向流量、生成遥测数据，以及在接口与加速器之间传输数据。这些工作都不会直接生成令牌。一旦主机中央处理器成为瓶颈，有效推理输出就会减少。
不妨将其称为“令牌税”：基础设施开销会占用主机资源，并在无形中降低节点的经济产出。解决之道并不总是采用速度更快的主机处理器。在大规模部署中，可将适合卸载的网络、加密、流量管理和安全功能迁移到路径中已有的可编程基础设施上。
在F5委托开展的The Tolly Group独立测试中，部署在NVIDIA BlueField-3 DPU上的F5 BIG-IP Next for Kubernetes与测试的CPU托管替代方案相比，令牌吞吐量最高提升40%，首个令牌生成时间缩短61%，请求延迟降低34%。
其财务影响显而易见。如果在满足所需服务级别目标的前提下，固定规模的基础设施可生成1.4倍的可销售令牌，则每个令牌的基础设施成本将降低约29%。在有需求的情况下，每个加速器带来的收入也可能增加。与简单宣称网络速度更快相比，这一业务价值主张更具参考意义。
路由已演变为调度
传统负载均衡会分发请求。当各请求大致可以互换时，这种方式行之有效。但大语言模型推理打破了这一假设，因为请求的成本取决于上下文长度、输出长度、缓存状态、模型选择、队列深度以及当前的加速器负载。
- 与上下文很长且响应也很长的请求相比，提示词较短且补全内容简短的请求成本可能低几个数量级。
- 命中热键值缓存的请求可以避免成本高昂的预填充重新计算。
- 当预填充密集型请求和解码密集型请求落在同一加速器上时，可能会相互干扰。
- 对于无状态检查，排队等待8个请求的模型服务器与没有请求排队的模型服务器可能看起来同样正常。
流量管理器如果无法了解这些状况，其设计机制必然会导致不当的流量分配决策。这会产生两方面的成本：一是用户感受到的延迟，即首个令牌生成时间；二是企业因重复工作而承担的重新计算成本。
因此，AI工厂中的路由不再只是一项网络功能，而是在网络中作出的调度决策。它可以利用任何调度器都需要的相同输入：模型服务器的实时状态、队列深度、加速器遥测数据、缓存局部性，以及推理框架提供的运行时信号。
安全性也是一项成本函数
谈及AI工厂的安全性时，通常会从风险角度展开，包括提示词注入、数据泄露、智能体越权以及监管风险。这些风险确实存在。F5研究发现，88%的组织表示至少面临一项与AI相关的运营或安全挑战。
从单位经济效益来看也是如此。在模型执行前拦截请求，可避免不必要的推理支出。如果仅在生成完整响应后才评估请求，策略生效前就会消耗计算资源。再考虑抓取流量、重试风暴、智能体陷入循环或反复尝试越狱等情况，策略执行位置不仅会影响风险，也会影响成本。
原则并不是将所有控制措施都集中到一处。某些保护措施需要在应用或模型层面进行更深入的评估，而这些控制措施本身也会产生计算成本。目标是在实际可行的情况下尽早采用成本最低的有效控制措施，然后在能够带来价值的环节进行更深入的检查。
智能体流量使这一问题更加突出。智能体会重试、扇出，并调用工具，而工具又会调用模型，模型还会继续调用其他模型。由此产生的机器级高速流量，并非面向人类操作规模设计的速率限制所能承受。故障并不总是表现为安全漏洞，有时只是带来一笔高额账单。
商业层缺失
如果运营方无法按租户、模型、用户和应用统计令牌数量，就很难进行定价、计量和成本分摊，也难以确保公平使用或维持利润率。基础设施或许能提供出色的功耗和运行状况遥测数据，但对收入归属的可见性可能有限。
多租户环境会使问题更加复杂。如果共享GPU基础设施缺乏有效隔离和按租户核算机制，一个租户的突发负载可能导致另一租户违反服务级别协议。AI集群中的“吵闹邻居”不只是性能方面的困扰，还可能导致客户流失。
推理路径能够跨用户、应用、模型和租户观察请求与响应，因此提供了最一致的全局视角。模型服务器和计费系统仍然重要，但推理路径才是能够一致实施计量和策略执行的环节。
推理服务平面
综合考虑这些问题，第三个架构平面便清晰可见。计算平面由各方纳入预算的GPU和加速器组成。数据路径涵盖存储、检索、缓存和内存。推理服务平面负责管理请求如何到达加速器、如何根据系统实际状态进行调度、哪些请求会在消耗不必要的算力之前被阻止、如何计量，以及由谁付费。
这一层已经存在，但往往只是各种组件偶然拼凑而成：这里一个负载均衡器，那里一个API网关，再加上服务网格、Web应用防火墙、遥测数据收集器，最后用电子表格汇总。它很少被设计成一个具备共享遥测数据、一致策略和明确执行点的统一系统。
F5 BIG-IP Next for Kubernetes可在主机或NVIDIA BlueField DPU上运行。它可在整个推理路径中提供Kubernetes原生流量管理、安全、多租户策略、可观测性、智能负载均衡和令牌治理。
在应用层，F5 AI Gateway为提示词、响应、模型和工具提供模型与智能体治理、路由、缓存、计量、安全控制和可审计性。
架构方向比任何单一产品都更重要：清晰定义策略，在最有效的位置实施策略，并在基础设施层和应用层之间共享遥测数据。这样，运维人员可以减少盲区，避免不同团队各自维护不一致的控制措施。
有针对性地设计路径
下一次AI基础设施评审应关注三个问题：已配置的加速器容量能产出多少有效token？不直接产生token的工作会消耗多少主机处理资源？如果拒绝请求在执行管控前已进入模型执行阶段，会产生多少成本？
整个行业的关注点正从容量转向转化效率，即从拥有多少基础设施，转向能够从中可靠地获得多少产出。AI经济效益的下一次重大提升，不会仅靠更快的芯片或存储来实现，而要将推理路径视为一个经济系统。
计算平面已经购置。数据路径正在优化。推理服务平面的竞争格局仍未确定。
如需了解详情，请阅读AI性能报告。
关于作者
相关博客文章
WAF和API发现技术在保护智能体AI应用中的作用
智能体AI系统的功能和集成会在运行时快速变化。要以同样的速度保障其安全，需要通过API发现和Web应用防火墙（WAF）实施切实可行的控制措施。
