流量调度决定请求的去向、在系统中的流转方式，以及由哪些资源处理哪些工作负载。在传统应用交付中，流量调度可确保高效利用基础设施，并在服务器、服务和区域之间顺畅分配流量。但AI带来了新的流量类型、依赖链和计算压力。如果缺少能够综合考虑模型规模、计算资源可用性、智能体行为和数据本地性的现代流量调度策略，组织可能会面临本可避免的性能下降、成本上升，以及整个交付技术栈脆弱性增加等问题。
传统流量调度以工作负载可预测且服务器能力相对一致为前提，并假定任何后端实例都能处理任何有效请求。但在AI系统中，资源的能力、成本和可用性差异显著，这一假设不再成立。如果不优化流量调度，组织将面临路径过载、容量利用不足以及导致整个系统性能下降的瓶颈。
AI转型
AI工作负载并非可以互换。在一种GPU类型上运行的模型，换到另一种GPU类型后，表现可能不同，甚至可能完全无法适配。延迟会因批处理大小、令牌吞吐量、模型变体和提示词复杂度而异。智能体会串联多个工具和服务，使流量根据上下文和推理路径流经技术栈的不同层。
流量调度变得更加复杂，因为决策时必须考虑以下因素：
- 特定模型的硬件要求
- 可变的推理成本
- 区域数据限制
- 嵌入和向量存储带来的数据引力
- 智能体不可预测的扇出行为
在AI系统中，最合适的后端并不只是“负载最低的后端”，而是“能够正确、合法且高效地执行这种特定类型AI任务的后端”。传统流量调度无法做出这些区分。
对性能的影响
不合理的流量调度会从多个方面影响性能。流量可能被路由到GPU容量不足的后端，导致令牌生成速度下降、延迟增加。如果调度决策忽略数据局部性，请求可能会不必要地跨区域或数据层传输，从而延长响应时间。
如果流量调度未考虑工作负载类型，智能体产生的流量就会被发送到不合适的模型层级。例如，简单任务使用规模过大的模型，复杂任务却使用规模过小的模型。这会降低效率和吞吐量。随着越来越多的AI服务进行横向扩展，不一致的流量调度会直接导致延迟波动和处理瓶颈。
对可用性的影响
AI工作负载会将系统推向极限。未经优化的流量调度可能导致特定GPU节点或推理集群突然过载，进而触发限流、冷启动，甚至彻底故障。智能体遇到响应缓慢的端点时，通常会重试或升级请求，因此不当的流量调度会间接增加流量，加剧可用性问题。
如果流量调度无法感知区域容量或数据驻留要求，可能会无意中将请求路由到资源受限的区域，导致局部服务中断。如果流量调度未纳入针对模型健康状况、GPU饱和度或每秒令牌数下降等AI指标优化的健康检查，那么在不健康的后端本应从轮询中移除后很长时间内，流量仍会继续流向这些后端。
对可靠性的影响
AI工作负载依赖稳定、可预测的路由来确保输出一致。如果流量调度不一致或未考虑工作负载的性质，系统行为将难以预测。两个相同的请求可能会被路由到性能特征不同的模型变体，从而导致延迟不稳定和响应偏移。
对于智能体工作流，不可靠的流量调度可能会中断相互依赖的操作链。如果某个环节被路由到响应缓慢或过载的后端，重试和重新规划会波及整个处理流程，进一步加剧下游风险。未经优化的流量调度还会增加调试难度，因为当流量被路由到不同位置时，故障将更难复现和诊断。
缓解流量导向未优化问题的实践建议
要有效缓解AI时代的流量引导问题，关键在于两点：对流量进行分段，避免工作负载相互冲突；以及使用可实时调整的可编程流量引导逻辑，以应对模型负载、智能体行为和数据本地性方面难以预测的变化。
首先进行流量分段。将交互式请求、批处理作业、智能体生成的流量和高负载推理任务分配到不同的路由通道。不同的工作负载对性能特性有不同要求。例如，延迟敏感型任务需要快速且负载较轻的后端；批量或探索性智能体工作流则可以接受较低的优先级或延迟处理。流量分段可隔离干扰性强或突发的AI流量，避免其压垮面向用户的路径或共享服务。
接下来，引入可编程流量引导规则。静态流量引导策略假定后端配置一致且请求模式可预测，因此在AI负载下难以为继。可编程能力让交付层能够根据实时状况路由流量，包括GPU饱和度、令牌吞吐量、队列深度、模型类型，甚至提示词大小。当模型运行状况下降、某个区域的嵌入存储过载，或某类请求需要特定硬件配置时，可编程逻辑会立即调整路由。这有助于保持AI管道的响应能力，并防止出现级联式性能下降。
最后，使流量导向与数据本地性保持一致。将推理和检索任务路由到距离其嵌入数据或结构化数据最近的区域或计算池。这样可以降低延迟并避免不必要的跨区域流量，尤其适用于串联多个检索和推理步骤的智能体工作流。
这些缓解措施之所以有效，是因为它们将受控行为（通过分段和速率限制实现）与自适应智能（通过可编程性实现）相结合。AI工作负载的行为难以预测；可编程流量引导可确保环境无需依赖可预测的行为也能保持稳定。
结论
AI已使流量从基本可预测转变为动态、多变且往往会自我放大的形态。基于静态策略和统一后端构建的传统流量调度方法，无法跟上这类工作负载的变化：它们会在执行过程中改变形态，跨越多种资源类型，并根据模型的实时行为作出响应。未经优化的流量调度不仅会降低系统速度，还会在不易察觉的情况下削弱整个技术栈的性能、可用性和可靠性。
采用适当的流量调度策略，即使AI工作负载日益复杂，并在应用行为中发挥越来越核心的作用，组织也能保持稳定。优化的流量调度可作为关键控制点，在压力下维持性能，在流量激增期间保持可用性，并在AI不再遵循传统流量规律的环境中确保可靠运行。
详细了解全球组织面临的十大应用交付挑战。
关于作者
Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师，在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构，还是探索可扩展系统的极限，她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前，她曾担任技术编辑，并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位，著述颇丰，出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏，并且对奶酪有着毫不掩饰的鲜明见解。
Lori Mac Vittie 的更多博客文章相关博客文章
