您是否遇到过这种情况：使用AI应用起草内容或生成图像，输入请求并按下回车键后，却只能一等再等？好不容易收到响应，却既慢又答非所问，还充斥着无关细节？
尽管这种体验令人沮丧，但真正值得关注的是幕后发生的一切。提供这些AI体验的企业，要么必须自行构建高度优化的基础设施，要么依靠GPU即服务和LLM即服务提供商来完成这项工作。
对这些提供商而言，让一切在表面上看起来简单，实际上是一项艰巨的挑战。他们在幕后承担着重任，既要让GPU保持高效运行，又要缩短响应时间并控制令牌用量，从而为我们带来快速、可靠的体验。
“智能与可编程性的结合……不只是为了提升性能，更旨在帮助提高AI基础设施的可预测性、适应性和成本效益。”
更复杂的是，在AI基础设施领域，唯一不变的就是变化。模型快速演进，工作负载可能在毫无预警的情况下激增，而新的安全、合规或路由需求往往在版本发布周期结束前就已出现。
因此，智能且可编程的流量管理并非“锦上添花”，而是必不可少。
借助部署在NVIDIA BlueField-3 DPU上的F5 BIG-IP Next for Kubernetes 2.1，我们将流量管理提升到新的水平，结合智能负载均衡与更强的可编程性，满足AI基础设施的独特需求。
更智能的负载均衡，加速AI
传统负载均衡会均匀分配流量。这种方式非常适合Web应用，但对于AI而言，均匀分配并不总是高效的。小型提示词不能与包含大量token的大型请求采用相同的处理方式，否则可能导致GPU过载、推理管道停滞或资源闲置。
BIG-IP Next for Kubernetes 2.1利用实时NVIDIA NIM遥测数据，让负载均衡更加智能。这些数据包括待处理请求队列、键值（KV）缓存使用情况、GPU负载、视频随机存取存储器（VRAM）可用容量以及整体系统运行状况。BIG-IP Next for Kubernetes 2.1能够智能、快速地将每个请求路由到适合的处理目标。
效果显而易见：
- 利用率越高，单个令牌的成本越低。优化GPU利用率可释放CPU周期，并减少GPU空闲时间，从而让每台服务器支持更多租户，并减少过度配置。
- 响应更快，用户更满意。 缩短首个令牌生成时间（TTFT）和响应延迟，可带来更流畅的体验，减少重试并提高使用量。
- 优化变现方式，构建可扩展的收入模式。 实时实施基于令牌的配额控制和分层机制，明确变现边界，并使定价模式更具可预测性。
与时俱进的可编程能力
智能化提升效率，而可编程性让您掌握控制权。借助F5 iRules增强BIG-IP Next for Kubernetes 2.1的可编程性，让客户能够自主掌控并即时调整，无需等待下一次功能发布。
如今，这意味着可以使用LLM路由（跨模型和版本实时引导请求）、令牌治理（直接在数据路径中实施配额和计费）以及MCP流量管理（扩展并保护AI智能体之间的模型上下文协议流量）等功能。
而这仅仅是开始。可编程性的真正价值在于其灵活性：随着新模型、服务级别协议和合规要求不断涌现，提供商可以自行制定策略，不受开箱即用功能的限制。
BIG-IP Next for Kubernetes 2.1将智能与可编程性相结合，不仅着眼于性能，还旨在帮助提升AI基础设施的可预测性和适应性，同时提高成本效益。
无论AI云服务提供商交付的是用于计算的GPU容量、AI模型，还是两者兼有，现在都可以在避免过度建设的同时扩展规模，以更简单的方式实现商业变现，在不影响速度的情况下保障安全，并且无需重写即可进行定制。
对提供商而言，这意味着可以减少处理突发问题所耗费的时间，将更多精力投入创新与增长。对客户而言，这意味着获得更快速、更精准、更可靠的响应。这些幕后基础设施优势让每次AI交互都顺畅自然，并带来吸引用户持续使用的AI体验。
想了解AI感知型流量管理如何运作？
观看这些简短演示，了解BIG-IP Next for Kubernetes如何为AI工作负载提供支持：
使用BIG-IP Next for Kubernetes实现AI令牌报告与安全防护
使用BIG-IP Next for Kubernetes扩展和管理MCP流量
还可以在F5 AI解决方案页面了解更多信息。
关于作者
相关博客文章
Thingbot正转变为攻击平台
Lori MacVittie重点介绍了F5 Labs对2018年1月至6月全球物联网设备攻击的研究，并指出了其中令人警醒的影响。物联网设备不仅持续遭到利用，还被转变为攻击平台，这意味着攻击者可以更充分地利用这个必然增长的市场。
借助F5全新Quick Start，在AWS上快速开展业务
在AWS re:Invent开幕前，我们很高兴与大家分享F5与AWS之间全新的Quick Start集成。F5的Tom Atkins将介绍该服务如何启动、配置和运行在AWS上部署工作负载所需的计算、网络、存储及其他AWS服务。