下一个AI基础设施挑战，或许不只是获取更多GPU，而是让每个已部署的GPU发挥更大价值？
随着各组织推动AI从实验阶段走向生产环境，这一问题正变得愈发重要。
早期AI项目通常从获取计算资源开始。团队需要GPU算力来测试模型、构建应用并验证价值。但随着AI服务扩展到更多用户、应用、租户和模型，基础设施面临的挑战也随之变化。
生产环境中的AI面临的不只是算力问题，还包括效率、治理、路由和成本问题，而且正日益成为一个业务问题。
这正是近期发布的F5 BIG-IP Next for Kubernetes 2.3.0所关注的重点。
在此版本中，F5针对生产规模的AI推理增强了AI优化能力。BIG-IP Next for Kubernetes 2.3.0将关键的AI流量优化能力融入云原生、生产就绪型基础设施，帮助组织减少冗余AI计算、提高GPU利用率、在不同模型和服务之间智能路由请求，并管理不同用户和租户的令牌消耗。
“AI的未来不能仅靠原始算力赢得，而将属于那些能够让每个请求更智能、每个令牌的使用更可控、每个GPU发挥更大效能的组织。F5 BIG-IP Next for Kubernetes 2.3.0可帮助客户迈出下一步。”
此版本还扩展了对新一代NVIDIA加速网络平台的支持，包括在x86系统上支持ConnectX-8 SuperNIC，以及支持以SuperNIC模式运行的ConnectX-7和BlueField-3。
AI流量正成为关键控制点
随着AI进入生产环境，流量管理的作用已远不止提供连接。
单个请求可能会生成数千个token。不同用户或应用可能会反复发出相似的提示词。部分请求可能需要使用当前能力较强的模型，而其他请求则可能更适合使用成本较低的模型或专业AI服务。
每个AI请求都需要做出决策：应将其发送到哪里？由哪个模型处理？成本是多少？会占用多少基础设施容量？又由谁来决定？
这些决策需要以一致、智能的方式在靠近流量的位置完成。BIG-IP Next for Kubernetes 2.3.0有助于构建更智能的控制点，在AI请求消耗昂贵的计算资源之前优化其处理方式。因为在生产环境中的AI领域，竞争的关键不只是模型，更是围绕模型构建的整个系统。
为更动态的AI工作流做好准备
随着AI应用从单一的提示与响应交互向更动态的智能体工作流演进，这一点变得更加重要。
在这些环境中，AI流量可能会在智能体、工具、推理服务和应用组件之间流转，构成多步骤流程的一部分。这对流量控制、身份上下文、策略执行、会话连续性和韧性提出了新的要求。
对组织而言，这意味着：生产环境中的AI基础设施不能只负责连接应用和模型，还需要提供统一的控制点，以便在日益分布式的工作流中，对AI交互进行路由、治理和身份验证，并确保交付。
BIG-IP Next for Kubernetes 2.3.0将增强的AI优化功能引入云原生、可用于生产环境的基础设施，帮助奠定这一基础。此版本改进了AI请求的缓存、路由、负载均衡、治理和加速方式，帮助组织为AI流量日益分布式、自主化且对业务愈发关键的未来做好准备。
减少冗余AI计算
改善AI经济效益最直接的方法之一，是避免反复执行成本高昂的相同计算。
随着AI应用日益普及，用户和应用程序经常会生成相似或重复的提示。如果不进行优化，即使已经生成过类似的响应，每个此类请求仍可能消耗额外的推理容量。这会造成浪费。而在AI规模下，浪费会迅速推高成本。
BIG-IP Next for Kubernetes 2.3.0推出语义AI模型缓存，并已正式发布。该功能有助于减少相似或重复提示词所需的冗余GPU计算，改善令牌经济性，同时降低延迟并提高GPU效率。
在生产规模下，冗余的AI计算可能会产生大量不必要的成本。此版本通过提高流量层的AI推理效率，帮助应对这一挑战。
提升GPU利用率并优化模型选择
传统负载均衡并非为应对现代AI推理的复杂性而设计。
AI工作负载带来了新的变量，包括GPU利用率、队列深度、模型可用性、后端性能和基础设施容量。仅将流量发送到下一个可用端点还不够。应根据实时状况，将AI请求定向到更合适的可用资源。
BIG-IP Next for Kubernetes 2.3.0推出智能AI负载均衡功能，现已正式发布。该功能利用实时遥测数据和基础设施感知能力，动态分配AI推理流量，帮助优化GPU利用率、减少队列瓶颈并缩短响应时间。
此版本还正式推出大语言模型（LLM）路由集成功能，可根据成本、性能、模型专长或运营要求等策略，在不同LLM和AI服务之间进行智能路由。
大多数组织不会仅使用单一模型来运行生产环境中的AI。合适的模型取决于具体用例、性能要求、业务策略和成本结构。
性能更强大的模型并不一定更合适。有时，更明智的AI决策是选择性能、速度和成本效益都足以满足任务需求的模型。这需要基础设施能够通过策略来支持相关决策。
管控令牌消耗
Token正日益成为衡量AI基础设施经济效益的重要单位之一。
Token会影响成本、容量规划、租户使用量和性能，也是人们对AI的热情开始面对财务现实的环节。
BIG-IP Next for Kubernetes 2.3.0将令牌治理作为正式发布的功能推出，提供令牌监控、计量和速率限制。这有助于组织更有效地管理AI基础设施成本，并对用户、应用和租户实施使用策略。
对于业务领导者，这有助于提高AI使用情况的透明度。对于平台团队，这提供了一种切实可行的共享AI基础设施治理方式。
在生产级AI环境中，组织可通过令牌治理，规范管理现代基础设施中增长较快的成本驱动因素之一。
提升基础设施灵活性
AI基础设施正在快速演进。一些组织正转向基于DPU的架构，另一些组织则利用新一代网络加速技术优化x86系统。许多组织正在分阶段推进现代化改造，兼顾性能、成本和运营就绪度。
BIG-IP Next for Kubernetes 2.3.0扩展了硬件支持，新增对x86系统上ConnectX-8 SuperNIC的支持。此版本还支持以SuperNIC模式运行的ConnectX-7和BlueField-3。
这为组织优化AI流量处理性能和CPU效率提供了更大的灵活性。对于尚未准备采用DPU的团队，SuperNIC支持提供了另一种提升基础设施效率的途径，同时可继续与新一代NVIDIA网络平台保持一致。
AI基础设施现代化并非一步到位。组织需要既能满足当前需求，又能为未来逐步采用更先进的加速架构保留升级路径的方案。
为何重要
BIG-IP Next for Kubernetes 2.3.0体现了组织在AI基础设施运营方式上更广泛的转变。
AI发展的第一阶段侧重于获取算力，下一阶段则侧重于掌控算力。
随着AI服务投入生产，团队需要统筹设计性能、成本效益、策略和信任机制。他们需要在请求占用高成本基础设施之前对其进行优化，管理不同租户和应用的使用情况，在模型和服务之间智能路由流量，并为当前及未来的AI性能加速提供支持。
这正是BIG-IP Next for Kubernetes 2.3.0增强型AI优化的价值所在。
此最新版本有助于组织提高AI基础设施的效率和可控性，并为生产环境的大规模部署做好更充分的准备。
AI的未来不能仅靠原始算力来赢得，而将属于那些能够让每个请求更智能、每个令牌更可追溯、每个GPU发挥更大效能的组织。F5 BIG-IP Next for Kubernetes 2.3.0可帮助客户迈出下一步。
如需了解详情，请访问F5 BIG-IP Next for Kubernetes网页。
关于作者
相关博客文章
三家企业如何借助AI驱动的WAF改进虚拟补丁和运行时安全
了解三家F5客户如何利用AI驱动的WAF加快虚拟补丁部署、将误报减少50%以上，并更有信心地启用阻断模式。
F5 BIG-IP v21.0增强S3工作流的AI数据交付与摄取能力
使用F5 BIG-IP 21.0版优化S3工作流：通过低接触式配置，为AI数据交付、对象存储和RAG管道提供可扩展的安全解决方案。
Everest Group报告：生成式AI行业应用的当前趋势与未来前景
我们很高兴能为全球知名研究机构Everest Group发布的一份重要新报告作出积极贡献。该报告题为《生成式AI应用：审视横向职能中的实际应用与未来展望》，深入分析了各行业对生成式AI（GenAI）的应用情况。报告指出，IT［……］