本篇博文是AI数据交付系列文章的第六篇。
当数据到达模型时，人工智能管道的工作并未结束。从许多方面来看，最艰巨的工作才刚刚开始。
数据经过摄取、转换并交付用于训练或推理后，组织仍需将其整合到AI应用中，并面向用户、合作伙伴和系统大规模交付这些应用。如今，这些应用能够显著提升客户体验、实现工作流自动化，并为实时决策提供信息支持。因此，可用性、性能、安全性和治理仍是应用交付领域重点关注的问题。
要可靠地交付AI应用，仅靠先进的模型或基础设施还不够，还需要一个控制层，以智能管理AI流量、保护稀缺资源，并适应高度动态的环境。
在这方面，应用交付控制器（ADC）仍发挥着核心作用
AI应用交付为何与众不同
传统应用通常处理持续时间短、可预测的请求，而AI应用的运行方式则大不相同。我走访世界各地，与许多AI应用开发者交流后，发现这些对话中存在一些共性。
AI流量通常具有突发性且分布不均。请求可能包含大量提示词和上下文。响应可能会持续以流式方式传输，而不是一次性全部返回。单个请求可能会扇出并调用多个服务，包括检索系统、嵌入服务和下游工具。在后台，推理工作负载会消耗GPU等成本高昂且容量有限的资源。
AI应用还引入了新的会话概念。会话数据不再保存在单台服务器中，而是包含在提示和响应所传递的上下文中。虽然这减轻了推理服务器的负担，但也意味着应用交付层需要具备高度智能化的能力。如今，应用交付控制器（ADC）已成为应用不可或缺的一部分。
AI系统中的故障也很少是非此即彼的。推理集群可能仍在运行，但某些节点已过载；检索服务可能响应缓慢；某个区域可能已达到容量上限，而其他区域仍正常运行。如果缺少智能交付控制，这些局部故障会迅速导致用户体验下降和成本上升。
大规模部署时，AI应用交付会成为一个系统性问题，而不仅仅是网络问题。
作为AI应用控制平面的ADC
ADC在客户端与AI服务之间提供集中式控制平面。它不仅转发流量，还会主动管控AI应用的使用方式。
诸如F5 BIG-IP之类的平台可管理混合环境和云原生环境中的AI流量，在持续执行策略的同时，实时适应不断变化的条件。F5 BIG-IP既是ADC，也是F5 Application Delivery and Security Platform的核心组件。
在F5 AI参考架构中，BIG-IP是AI应用的入口。它负责协调对模型端点、检索服务和支持API的访问，确保流量得到高效路由、适当保护和持续观测。
面向AI工作负载的智能流量管理
AI应用交付对流量管理提出了新的要求。简单的轮询负载均衡已无法满足需求。（我们在本系列上一篇博客文章中探讨了为何AI存储需要采用新的负载均衡方法。）
ADC可根据后端运行状况、地理位置邻近程度、容量和语义策略智能引导请求。请求可路由至特定模型版本、推理池或区域，使团队能够通过金丝雀部署或分阶段发布安全地引入新模型。当后端性能下降时，无需等到完全中断即可自动重定向流量。
当后端资源稀缺且成本高昂时，这种方法至关重要。组织无需为应对流量峰值而过度配置GPU，而是可以利用ADC级控制来平滑流量，将请求从繁忙节点转移，并保障整个系统的稳定性。
AI入口的安全与治理
每个AI应用端点本质上仍是应用端点，而且往往容易成为网络犯罪分子的目标。
随着AI应用日益普及，新型滥用行为也不断涌现。成本耗尽攻击、自动化抓取、提示词洪泛以及未经授权访问高级模型，正成为普遍关注的问题。仅依靠模型本身无法应对这些风险。
ADC为实施安全和治理控制提供了天然的执行点。在流量到达AI服务之前，可以一致地应用身份验证、授权、速率限制、API保护和模型保护措施。这有助于降低风险，同时保留应用团队所需的灵活性。
更重要的是，ADC可以成为落实治理目标的理想位置。组织无需重写应用或重新训练模型，即可实施租户级配额、优先处理关键工作负载，并确保AI使用符合政策和预算限制。
交互式AI性能优化
随着AI的交互性不断增强，用户对性能的感知也愈发明显。
延迟骤增、响应停滞和流式传输中断会立即削弱用户信任。ADC通过管理长连接、卸载TLS开销以及高效管理流式传输协议，帮助优化性能。ADC可以及早检测后端饱和，并在用户察觉性能下降之前重新路由流量。
通过将交付相关事务与应用逻辑分离，团队可以随着工作负载的变化动态调优性能。
服务发现与Kubernetes集成
大多数AI应用都在Kubernetes上运行，其中的服务会动态扩缩容，端点也会频繁变化。
ADC与Kubernetes集成，可自动发现服务、实时跟踪扩缩容事件，并在Pod或服务出现和消失时将流量路由到正确的Pod或服务。Kubernetes提供支持推理智能的构造，F5可加以利用。借助此集成，F5可将一致的交付和安全策略扩展到集群之外，覆盖混合云和多云环境。
对于AI工作负载，这种外部控制平面尤为重要。它将流量管理和策略执行与各个集群解耦，即使AI服务快速、独立扩展，也能实现集中式可见性和治理。
为何选择F5交付AI应用
F5将流量管理、安全和可观测性整合到一个经过实践验证的平台中。对于AI应用，这意味着可预测的性能、更有力地保护成本高昂的后端资源，并在不同环境中实施一致的治理。
F5通过在交付层发挥作用，帮助组织安全扩展AI，同时不减缓创新步伐。团队可以引入新模型、支持新用例并扩展至多个云，同时持续管控成本、风险和可靠性。（了解详情，了解F5及其在AI应用交付中的作用）。
从精炼燃料到可靠交付
此前，在AI数据交付系列文章中，我们将AI之旅比作石油管道的开采过程，其中，数据摄取、转换和交付如同制备燃料。数据经过提取和精炼，已可投入使用。
AI应用交付是这一旅程的最后一步。它如同分配网络，确保精炼后的燃料能够安全、高效且大规模地输送到发动机。泵、阀门、计量和监控与精炼能力同样重要。
应用交付控制器为AI提供这一控制层。随着需求增长，它们可以调节流量、防止过载、执行策略并维持服务水平。缺少应用交付控制器，即使是先进的模型也难以持续创造业务价值。
在规模化应用中，AI能否取得成功，不仅取决于模型具备哪些能力，还取决于这些能力能否可靠交付。
F5可在任何位置交付和保护AI应用
要详细了解F5的AI数据交付解决方案，请访问AI Data Delivery and Infrastructure Solutions网页。
F5对AI的关注不止于数据交付。了解F5如何在各种环境中保护和交付AI应用。
欢迎阅读AI数据交付系列中的其他博客文章：
关于作者
相关博客文章
WAF和API发现技术在保护智能体AI应用中的作用
智能体AI系统的功能和集成会在运行时快速变化。要以同样的速度保障其安全，需要通过API发现和Web应用防火墙（WAF）实施切实可行的控制措施。
