应用架构每次发生重大转变，都会迫使网络随之调整。这并不是什么新观点，更谈不上具有革命性。这种情况过去曾反复出现，而且每次都遵循相同的模式：一种新的主流应用类型出现后，“网络”会随之调整以提供支持，因为这些应用需要现有技术栈无法提供的能力。如今，AI推理正带来同样的压力。
推理不是训练，不是实验，也不是数据科学实践。推理是生产环境中的运行时行为，其运作方式类似于应用层级。它涉及用户、流量模式、延迟敏感性、故障模式、成本限制和安全风险。将其视为后端服务或专用工作负载，并未准确反映实际情况。
推理是一种新的应用类型。
我们的年度研究清楚地揭示了这一现实。近80%的组织正在自行运行推理. 只有少数组织完全依赖公共AI服务。大多数组织都在自己的环境中跨多个云运行推理，并同时运行传统应用和API。他们已经需要应对推理时的路由、可用性、性能和安全问题。
这正是关键所在。这些问题出现在推理期间，而不是推理之前或之后，更不是在训练期间。
传统交付技术不足以应对这种情况。负载均衡假设后端可以互换。运行状况检查假设可用性只有可用或不可用两种状态。静态流量导向假设行为可预测。当请求的成本、质量、延迟和风险会因提示词、令牌和模型行为而异时，这些假设均不成立。
因此，换言之，“网络”必须再次变革。
新型网络栈
数十年来，人们一直用数据包和协议来描述网络栈。第2层和第3层处理数据包，第4层至第7层处理会话、协议和应用。这种框架之所以适用，是因为应用会通过协议表达意图和目的，而推理并非如此。
推理通过提示词表达意图和目的。
正因如此，一个新的主导层正在兴起：第8层，即提示词层。
先等等，Lori，您可能会想。我们长期以来一直根据部分有效载荷进行路由，那么这次有什么不同？
感谢提问！
这种差异其实非常深刻，尤其是因为在推理过程中，URI并不映射到“函数”，而要确定调用的内容，则需要从……提示词中提取意图。这正是基于有效载荷的流量导向未能上升为新层级的根本原因。它并未彻底改变游戏规则。推理呢？推理不仅改变了游戏规则，还会不断重写规则。
现在，关键在于，在“提示词层”，路由决策不再仅仅基于IP、端口、URI，甚至也不只是基于部分有效载荷，而是取决于谁在提问、提问的内容、成本有多高、风险有多大，以及所需的结果质量。我们的最新研究发现，结合输出审核和令牌控制，应用交付和安全在技术栈的这一层能够发挥显著作用。再加上模型路由（同样属于第8层），大多数组织已经认识到，这对于保障AI推理安全并实现规模化至关重要。
提示词检查、令牌控制、输出审核和模型路由并非可选功能，而是在生产环境中运行推理的基本要求。
不必担心，其下各层并不会消失，就像L4-7成为协议栈顶层时，L2-3也没有消失一样。它们只是成为基础。数据包路由仍然重要，协议处理也仍然重要。
但毫无疑问，价值如今已转移到第8层。
对推理的响应印证了这一转变
应用交付控制器之所以出现，是因为面向数据包构建的网络无法支持应用。API网关之所以出现，是因为面向Web应用构建的网络无法支持API。如今，推理支持正在兴起，因为面向API构建的网络无法支持自主型、概率型且成本可变的应用。
市场反应印证了这一转变。围绕模型路由、推理网关、令牌治理和提示词控制，初创企业正不断涌现。超大规模云服务提供商也在内部低调构建相同的能力。
企业的响应印证了这一转变。90%的组织正在使用推理服务，其中70%使用两种或更多不同的推理服务，包括自行运营的服务。这些组织正在实施多模型战略、探索智能体AI，并在运营中采用AI驱动的自动化。
这并非炒作，而是结构性转变。
推理并非又一种普通工作负载。仍以数据包和协议为核心的架构可以继续运行，但难以高效扩展。止步于API的网络堆栈将难以管控自主系统。
推理将控制点上移至技术栈更高层。其余变化不可避免。
关于作者
Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师，在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构，还是探索可扩展系统的极限，她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前，她曾担任技术编辑，并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位，著述颇丰，出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏，并且对奶酪有着毫不掩饰的鲜明见解。
Lori Mac Vittie 的更多博客文章相关博客文章
恶意软件包正在摧毁我们的行业
尽管AI和自动化技术加剧了供应链滥用，开源生态系统仍缺少用于登记恶意软件包的中央注册库。该生态系统需要一种可信的方式来报告和跟踪安全失陷事件。
