流量控制对于保持应用稳定始终至关重要。它可以平抑流量峰值、防止过载，并确保应用在共享基础设施中保持可预测的行为。
有效的流量管理一直是提供流畅用户体验的关键，尤其是在应用扩展以支持更多用户和更动态的工作负载时。因此，它被列入了我们的十大交付挑战清单。
流量控制不足，例如缺少适当的速率限制、流量节流和缓存机制，可能会（而且确实会）导致后端服务过载、易受分布式拒绝服务（DDoS）攻击以及资源使用效率低下等问题。
这些问题并不会因AI而改变，依然存在。但AI系统还会以传统控制机制从未考虑过的方式产生流量。智能体、推理链和推理管道会使请求成倍增加、负载加重，并表现出不可预测的行为。如果缺少能够识别AI特有模式的现代流量控制机制，组织将面临性能下降、可用性降低和可靠性减弱等问题。
AI转型
AI带来了动态、自主且会自我放大的流量模式。单个提示词可能会在模型端点、向量存储、知识库和微服务之间触发数十次内部调用。智能体可能会重新规划、重试或升级任务，从而产生不可预测的突发流量。由于模型差异、批处理策略或上下文推理不同，相同的输入可能会引发不同的下游行为。
这种不可预测性会使静态流量控制失效。原本可控的流量会演变成概率性流量风暴，而依赖固定限制或传统请求指标的系统很快就会失去对负载的控制。
对性能的影响
AI驱动的工作负载给性能带来巨大压力。推理任务消耗的计算资源远多于典型的API请求，而扇出调用链会进一步成倍增加负载。当智能体触发并发操作或等待响应缓慢的下游资源时，延迟会出现大幅波动。波动加剧会使客户端逻辑、缓存策略和SLO计算所依据的假设不再成立。
如果缺少可感知AI流量特征的流量控制，系统将面临响应时间延长、延迟峰值难以预测以及吞吐量下降等问题。当底层流量由自主决策而非确定性请求流驱动时，性能调优将只能依靠猜测。
对可用性的影响
AI流量可能比人为驱动的流量更快地降低可用性，因为单个智能体就可能无意中触发拒绝服务状况。智能体递归循环、边界约束不当的计划或配置错误的推理链，可能在数秒内使共享服务不堪重负。推理端点或向量数据库过载会形成瓶颈，并在整个环境中引发连锁影响。
静态速率限制或端点限流等传统故障保护机制无法理解AI请求背后的操作链。因此，这些机制无法控制影响范围，即使负载并非恶意，也可能导致服务中断或部分服务故障。
对可靠性的影响
当AI智能体的行为不一致，或其执行路径在不同调用之间发生变化时，可靠性会受到影响。流量模式会随模型输出、上下文或环境状态而变化。下游依赖项可能会承受不可预测的突发负载，导致难以追踪的间歇性故障。
重试和重新规划会加剧这一问题。当智能体遇到延迟或错误时，可能会升级操作、叠加流量，或执行替代工作流。传统可靠性模式以流量稳定为前提，而AI会产生不断变化的负载特征，需要更精细的控制。
缓解流量控制不足的实践建议
有效的缓解措施仍然很简单：速率限制和流量分段。AI时代的不同之处在于应用这些措施的位置和方式。
速率限制是第一道防线。它将不受约束、自我放大的智能体行为控制在基础设施可承受的范围内。不要笼统地计算“每秒请求数”，而应在网关或交付层按租户、智能体类别和端点实施限制。限制单个智能体在一个时间窗口内可发起的调用次数，以及可同时运行的工作流数量。这样，如果智能体陷入循环、规划失误或过度扇出，就会触及硬性上限。影响将被限制在局部：只有该智能体会减速或受到限流，而不会波及整个环境。速率限制之所以有效，是因为它允许您选择故障模式：单个工作负载出错，始终好过所有工作负载发生级联故障。
流量分段是第二项关键控制措施。AI工作负载不应与交互式用户流量或核心系统功能直接争用资源。应将其置于不同的路由、队列中，甚至使用独立的计算资源池。为交互式流量设置更高的优先级和更严格的延迟目标；将批量或实验性智能体流量置于优先级较低的通道，并实施更严格的速率限制和更深的缓冲。当智能体流量激增时，会优先消耗自身的预算和容量，从而确保面向用户的路径和关键API不受影响。流量分段可以防止“吵闹邻居”行为：单个频繁通信的智能体或租户无法挤占登录、支付或运维仪表板所需的资源。
限流与流量分段相结合，可为运维留出余地。它们可以防止AI流量压垮共享资源，确保关键服务在高负载下仍然可用，并让即使最难预测的智能体也只能在既定边界内运行。流量激增时，仍可能出现限速、响应变慢或任务延后，但可以避免最严重的后果：由于没有人为智能体设限，导致整个系统宕机。
结语
AI并未消除流量控制的必要性，反而使其更加重要。智能工作负载会给基础设施带来动态的非线性压力，只有现代化的自适应流量控制才能应对这种复杂性。有效的控制措施有助于在高负载下保持性能，在突发流量激增时维持服务可用，并在AI驱动型系统具有概率性这一特征的情况下保持可靠性。
实现流量管理现代化的组织将能够安全、大规模地采用AI。依赖传统请求模式的组织则会发现，令其系统不堪重负的并非攻击者，而恰恰是其引入的智能技术。
关于作者
Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师，在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构，还是探索可扩展系统的极限，她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前，她曾担任技术编辑，并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位，著述颇丰，出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏，并且对奶酪有着毫不掩饰的鲜明见解。
Lori Mac Vittie 的更多博客文章相关博客文章
