如果您关注过我近20年来写的任何内容,就已经知道,应用架构会对应用交付产生深远影响。这不仅关乎应用如何构建,还关乎应用如何运行、扩展和发生故障,更重要的是,应用如何通过我们为交付应用而构建的基础设施。智能体架构正在彻底改变这一切。
这一次的演进不仅需要支持新协议或具备新的安全能力,还需要进行分类。
多年来,业界一直在对流量进行分类,但主要目的是阻止流量。我们都曾利用分类来拦截机器人、过滤威胁,并对恶意载荷应用WAF策略。这些只是基本要求。而分类也一直主要局限于安全领域。
但AI正在改变流量,也在改变处理这些流量所需的资源。至于智能体架构,它改变的不只是游戏规则,而是游戏本身。

每个POST都可能是一个请求、一个目标,也可能是一个试图在您的技术栈中逐步推理的AI智能体。它可能会启动编排、触发递归工作流,也可能因一条从200个token扩展到20,000个token的提示词而压垮后端。但基础设施呢?它仍然认为所有POST都一样。
<p>问题就在这里。</p>
现代流量不只是流量,还代表着任务、作业和决策。能否在路由流量之前对其进行分类,决定了应用能否保持快速响应和可用,并最终确保安全。
1. 基于连接的路由(传统方式)
先从熟悉的内容说起。以第4层(L4)路由为基础的传统流量管理模式,至今仍支撑着互联网的大部分运行。此方法依赖以下基本参数:
- L4路由:根据传输层详细信息(如IP地址和端口号)做出决策。
- 基于路径的路由:对URL路径进行有限检查,通常在应用层(第7层)进行。
- 同构池:后端服务器被视为完全相同,不根据专用功能加以区分。
- 负载均衡:在服务器之间均匀分配连接,防止过载。
问题在于,这种模型基本无法理解请求的含义。它将流量视为无差别的数据包,而不是需求各异的不同任务。在当今生成式AI、嵌入式大语言模型(LLM)和基于智能体的框架日益普及的环境中,这种局限带来的风险不断增加,因为如今的流量已不能一概而论。
以两个HTTP POST请求为例:
- 其中一个可能是简单的CRUD(创建、读取、更新、删除)操作,例如更新用户个人资料。
- 另一个操作则可能触发复杂的多智能体工作流,例如由AI驱动的推理循环:调用5次下游工具、写入数据库,并启动一项长时间运行的文本摘要任务。
如果基础设施以相同方式处理这些请求,并采用相同的路由规则、超时设置或后端服务器,就可能引发问题。若将资源密集型AI任务当作轻量级数据库查询来处理,可能会造成瓶颈、故障或性能下降。现代流量需要更智能的管理。
2. 基于分类的路由(当前/过渡阶段)
多年来,我们一直在使用L7路由:匹配路径、检查有效负载、查看标头,以决定将流量发送到哪个池。这就是基于内容的路由。它很实用,但只能告诉您请求包含什么,却无法说明请求为何存在。
要继续向前发展,我们需要基于上下文进行分类。
- 在L7及更高层运行,但不局限于有效载荷检查。
- 根据意图、复杂性和成本对流量进行分类。
- 这是摘要生成任务,还是用户登录?
- 它是否具有递归性、由AI生成或对延迟敏感?
- 资源池不仅按容量区分,还按功能区分。
- 路由决策不仅考虑格式,还会考虑用途。
这让我们不再将流量视为“待提供的内容”,而是将其视为“待处理的工作”。这样便可根据请求试图实现的目标,实时决定请求应发送到何处、应如何确定优先级,以及应应用哪些策略。可以称之为基于意图,也可以称之为上下文感知。如何称呼其实并不重要,因为这种转变确实存在:请求已不再只是事务,而正逐渐成为调用、触发器,以及封装在HTTP中的目标。
这些都与以下内容直接对应:应用交付十大要点第4项(流量控制)、第5项(流量引导)和第6项(延迟管理)。因为无法理解上下文,就无法控制、引导或优化流量。
3. 基于任务的路由(新兴)
这正是我们前进的方向,尤其是在智能体系统和递归规划器逐渐进入生产环境的背景下。我们不再只是提供内容,而是在管理目标。这将带来根本性的变化。
在这种模型中,单个请求并不总是对应单个响应,而是可能触发一系列较小的任务。其中一些任务可能并行运行,另一些则可能需要等待其他任务完成。此时,不仅要路由流量,还要编排任务。
与其将其视为管道,不如将其看作工作流。您管理的是一份步骤清单,其中每个步骤都会推动结果的实现。有些步骤可以立即执行,有些则需要依次等待。但所有步骤都需要根据能力、策略和当前负载进行协调、观测和调度。
此时,传统路由逻辑开始失效。当每个请求都可能演变为多步骤、多智能体流程时,静态路径和统一策略已无法满足需求。所需的系统不仅要知道将数据包发送到哪里,还要理解任务是什么、任务需要什么,以及由谁或什么来处理最合适。
关键在于:如果没有分类,这一切都无从实现。如果基础设施不了解请求试图完成什么,就无法对其进行智能路由。这并非遥远的未来,而是正在显现的现实。分类正是推动我们从请求路由迈向真正协调的桥梁。
为何这很重要
需要明确的是,这并不是要添加更多元数据,也不是要构建更复杂的路由表,而是要转变我们看待现有流量的方式。
分类让我们不再只是被动响应请求,而是在路由或扩缩容之前先理解请求,避免将递归智能体循环与静态资源获取同等处理而导致故障。
它不再只用于安全,也不只是关注请求中包含的内容。更重要的是理解请求的含义、意图、负载大小,以及它会影响哪些下游系统。
正因如此,分类并非某种新兴趋势,而是必不可少的要求。要让流量管理不断演进,以应对我们正在构建的世界,分类是必要的一步。在这个世界中,智能体、任务、工作流和实时编排不再是边缘用例,而是得到广泛部署。
不了解,就无法管理。分类是理解的起点。
关于作者

Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师,在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构,还是探索可扩展系统的极限,她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前,她曾担任技术编辑,并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位,著述颇丰,出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏,并且对奶酪有着毫不掩饰的鲜明见解。
Lori Mac Vittie 的更多博客文章相关博客文章
2023年应用策略现状:成本与复杂性是推动多云网络发展的首要因素
多云网络解决方案可在核心、云和边缘环境之间实现无缝、安全的互联,为解决当今混合IT面临的挑战提供支持,因而备受业界关注。
