今年上半年，推理部署模式和新兴的AI应用架构都已开始趋于标准化，让我们能够更清晰地了解其未来对网络、应用交付和安全等各方面的影响。根据近期以AI为重点的研究结果，我们确信，推理既会部署在本地和云端（自主管理模式），也会通过云提供商的产品（云托管模式）以及服务（推理即服务模式）来使用。
然而，新兴的AI架构高度依赖检索增强生成（RAG），这种技术将数据源（知识图谱和向量数据库）纳入应用架构。研究表明：“在利用生成式AI的企业中，70%使用工具和向量数据库来增强基础模型。”（Databricks，2024）
这种架构模式会带来四方面的影响。
- 增加企业中的现代应用工作负载数量。
- 大幅增加了需要保护的API数量。
- 提升了东西向数据路径的战略重要性，使其对应用交付和安全技术更为关键。
- 在应用架构中引入新的层级，即推理层。早期AI技术栈将其称为“模型”层，但在运行AI应用时，区分训练中的模型（开发过程）与运行中的模型（运行过程）有助于提升清晰度。
需要注意的是，组织在AI架构方面面临的挑战中，有90%并非新问题。为满足可观测性、速率限制和路由等方面的要求，只需在大多数企业已有能力的基础上进行增量调整。
据我估计，在交付和保护AI应用所需的全部能力中，只有10%是全新的，而且几乎都与提示词以及AI应用流量的非结构化特性有关。正是这10%催生了提示词安全、提示词管理和提示词优化等新的应用服务，以及与数据安全相关的功能。F5已通过与Portkey和Prompt Security的合作，展现出满足这些需求的决心。
这也正是AI网关开始出现的领域。目前，不同提供商对AI网关的定义及其面向市场提供的能力各不相同。但与API网关类似，AI网关通常会将安全和应用路由能力整合到一个统一的战略控制点，供组织集中管控。不过，这类产品中的能力大多是在现有能力基础上，针对AI流量新增的增量能力，其余能力则早已存在。
在我看来，真正值得关注的是这个新层级，因为它将需要现有及新的应用交付和安全能力。
事实上，新层级的引入正在推动一种新的数据中心架构应运而生，其基础设施能够提供大规模运行AI推理所需的计算、存储和网络资源。AI网络架构、AI工厂或其他任何名称所指的事物，正是在这一层级涌现。无论如何命名，这种新的基础设施架构都具备在新硬件系统上运行现有基础设施架构的能力。这就是所附示意图中清晰标示的第4项。
不过，#2处也需要一些新功能。这里的桥接采用相当标准的南北向数据路径，显然需要扩展、保护和路由API流量（没错，这个API用于推理，但它仍然是API）。在这个环节，我们可能会看到新的负载均衡算法，或者至少会在现有算法中加入新的决策标准。
例如，令牌数量和上下文窗口对于了解性能以及特定请求给接收系统带来的负载尤为重要，更不用说令牌数量对成本的影响。因此，不难看出，这些变量可能会成为#2处任何负载均衡或流量路由决策的考量因素。
第4点或许最有意思，因为它让我们回到了利用硬件从服务器卸载网络任务的时代。没错，这正是“让服务器专注于服务”架构方法的回归。在当今环境中，这意味着将DPU作为一个整体系统，用于部署应用交付和安全功能，让推理服务器的CPU专注于推理。我们以前见过这种模式，它将有效解决推理服务扩展（进而影响性能）方面的各种问题。
AI架构对应用交付和安全的影响既平常又重大。说它平常，是因为面临的挑战大多相同；说它重大，是因为它在架构中增加了可供组织从战略层面应对这些挑战的环节。
业界如何应对这些看似平常却又影响深远的变化，将塑造应用交付与安全的未来。
关于作者
Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师，在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构，还是探索可扩展系统的极限，她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前，她曾担任技术编辑，并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位，著述颇丰，出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏，并且对奶酪有着毫不掩饰的鲜明见解。
Lori Mac Vittie 的更多博客文章相关博客文章
2023年应用策略现状：成本与复杂性是推动多云网络发展的首要因素
多云网络解决方案可在核心、云和边缘环境之间实现无缝、安全的互联，为解决当今混合IT面临的挑战提供支持，因而备受业界关注。