企业领导者深知，需要将AI置于核心位置。但要做到这一点并不容易。AI可能很复杂、成本高昂且存在风险，而相关技术和生态系统也在快速演进。
首先，采用一刀切方法的趋势正在明显转变。预测式AI/ML、生成式AI以及如今的智能体AI，都在针对特定行业和应用进行调整。随着专用AI模型不断涌现，AI格局日益多元化。
如今可以明确看出，AI应用需要量身定制的基础设施。这类基础设施不仅要针对性能、成本和能源效率进行优化，还要能够跟上AI模型、应用和智能体需求的快速演变。模型上下文协议（MCP）就是一个典型例子。这项强大的创新在短短几个月前还不存在。
随着各组织竞相利用生成式AI以及日益普及的AI智能体，一些组织正在建设专用数据中心，另一些则转向专业提供商，由其部署云规模基础设施，以支持多个大语言模型（LLM）。这些平台通常称为“AI工厂”或Neocloud，其在加速计算、网络和存储方面投入巨大，所有基础设施均为满足AI工作负载对高性能和大规模处理能力的严苛要求而专门构建。
构建自主可控且可扩展的AI和LLM推理基础设施，需要应对四项关键挑战：
- 延迟和性能，快速响应的AI至关重要，尤其是在交互式用例中。没有人愿意盯着加载图标，等待AI完成思考。
- 数据安全与隐私：LLM经常处理敏感数据。确保推理过程安全且保护隐私至关重要；由于云环境和本地环境采用不同的安全规则和合规要求，这项工作也更加复杂。
- 监管合规：随着AI在各行业的应用不断扩大，欧盟《通用数据保护条例》（GDPR）等法规对数据使用、模型选择、透明度和公平性提出了严格要求。妥善应对这些要求至关重要。
- 模型管理与集成：AI模型需要持续管理，包括版本控制、监控和更新，并且必须顺畅集成到现有系统中。这并非即插即用，但尽管AI模型面临安全挑战，MCP等协议正让集成变得更加容易。
部署适合任务需求的芯片
F5正与NVIDIA合作，助力AI工厂和云规模AI基础设施满足现代AI的需求。今天，在NVIDIA GTC Paris 2025上，我们将发布新的创新成果，为部署在NVIDIA BlueField-3 DPU上的F5 BIG-IP Next for Kubernetes带来新功能。这些功能以我们在GTC San Jose 2025上推出的增强性能、多租户和安全能力为基础。作为F5 Application Delivery and Security Platform的一部分，F5 BIG-IP Next for Kubernetes原生运行于NVIDIA BlueField-3。这是一款专为数据移动和处理而设计的高性能可编程处理器。
通过卸载网络处理、存储管理和安全操作（例如加密和流量监控）等任务，DPU可以释放宝贵的CPU周期和GPU资源，使其专注于AI训练和推理。这有助于减少瓶颈、提升性能并缩短延迟，让AI工厂能够更快速、更高效地运行，生成更多令牌。
DPU位于网络接口卡上，负责管理服务器之间以及外部客户、用户或代理与AI工厂之间的数据流，并大规模编排网络和安全功能。部署在NVIDIA BlueField-3 DPU上的F5 BIG-IP Next for Kubernetes已于4月正式发布。
将AI提示词路由到合适位置，以获得理想结果
近几个月来，大语言模型（LLM）发展迅速，目前在规模、成本和特定领域的专业能力方面提供了广泛选择。为每个提示选择合适的模型，不仅能获得更好的响应并满足监管合规要求，还能优化资源消耗、成本和延迟。
通过今天集成NVIDIA NIM微服务，组织现在可以智能地将AI提示请求路由到最合适的LLM，或精准路由到适合各项任务的模型。例如，轻量级节能模型可以处理简单请求，而更复杂、规模更大或专业性更强的提示则会被路由到更大型或特定领域的模型。
这种方法可帮助AI工厂更高效地利用计算资源，将推理成本降低多达60%。模型提供商和模型用户都能从中受益，以更低的成本更快获得更优质的响应。
以少换多：缓存可消除重复计算并提高令牌输出量
除GPU外，NVIDIA还在软件层面持续创新，以应对AI推理中的关键挑战。NVIDIA Dynamo和KV缓存就是很好的例子，两者均包含在NVIDIA NIM中。NVIDIA Dynamo为推理引入了分离式服务，将GPU计算密集型的上下文理解（预填充）与内存带宽密集型的响应生成（解码）分配到不同的GPU集群。通过高效处理调度、路由和内存管理，这种方式可提高GPU利用率，并简化跨数据中心扩展。KV缓存可优化模型上下文的存储和访问方式。它将常用数据保留在GPU内存中，并将其余数据卸载到CPU或存储设备，从而缓解内存瓶颈，无需额外硬件即可支持更大的模型或更多用户。
BIG-IP Next for Kubernetes新增了一项强大功能，即支持KV缓存，可加快AI推理速度，同时减少时间和能源消耗。结合NVIDIA Dynamo基于GPU内存使用率等少量明确指标和其他条件进行的智能路由，该功能可显著缩短首个令牌生成时间（TTFT）、提高令牌生成量，并最终提升提示词处理吞吐量。DeepSeek已实现10至30倍的容量提升。
客户可以利用F5的可编程能力扩展和调整F5 BIG-IP的功能，以极高性能满足其具体而独特的需求。
推动MCP投入运营并确保其安全，助力打造安全且自主可控的智能体AI
对于大多数组织，尤其是拥有复杂遗留系统的金融服务、电信和医疗保健等大型企业，智能体AI极具吸引力。这些AI智能体基于大语言模型（LLM）构建，可在复杂的数据库、服务器、工具和应用中进行操作，以检索准确信息，从而提升效率并获得更深入的洞察。
MCP由Anthropic于2024年11月推出，正在改变AI系统与现实世界中的数据、工具和服务交互的方式。MCP服务器充当标准化连接器，使AI模型能够实时访问API、数据库和文件系统，从而突破静态训练数据的局限并高效执行任务。随着MCP的应用日益广泛，这些服务器需要具备负载均衡功能的高级反向代理、强大的安全防护、身份验证、数据和工具授权，以及与Kubernetes的无缝集成。这使MCP成为主权AI基础设施的关键支柱，为智能体AI提供安全保障和能力支持。
BIG-IP Next for Kubernetes部署在NVIDIA BlueField-3 DPU上，作为MCP服务器前端的反向代理，可扩展并保护MCP服务器，同时验证请求、对数据进行分类，并检查数据的完整性和隐私性，从而保护组织和大语言模型（LLM）免受安全威胁和数据泄露的影响。此外，F5的可编程能力有助于轻松确保AI应用符合MCP及其他协议的要求。
如果token是新的货币，就应准确计量、妥善治理并明智使用
在近期发布的财报中，一些大型组织已开始披露每季度生成的token数量、增长情况及其相关收入。这反映出客户日益增长的需求：像管理预算一样跟踪、管理和控制token使用量，避免出现公共云有时会产生的意外成本。
因此，BIG-IP Next for Kubernetes现已提供新功能，可在整个组织范围内计量和管控令牌消耗。客户提出需求，我们会认真倾听并用心落实。
构建安全、快速、主权可控且灵活的AI工厂
随着各行业发展AI工厂、各国家/地区构建主权AI，AI智能体不断涌现，基础设施、生态系统和应用必须具备灵活性与适应性。高效部署AI的组织将能更快行动、更好地服务客户并降低成本。但要释放这一潜力，AI必须在不减缓创新步伐的前提下，保持安全性、可扩展性和成本效益。
这正是F5发挥作用之处。去年3月，我们交付了性能、多租户和安全能力。如今，借助BIG-IP Next for Kubernetes，我们正在推动能够跟上AI发展速度的创新。
我们的承诺：每美元、每瓦特可处理更多token。立即试用，亲自感受不同。
参加GTC Paris 2025？
F5是NVIDIA GTC Paris 2025的金牌赞助商。欢迎莅临G27展位，了解F5 Application Delivery and Security Platform如何为安全的高性能AI基础设施提供支持，并参加F5与NVIDIA联合举办的会议“安全始于设计：构建可信AI工厂”。会议将于6月12日（星期四）欧洲中部夏令时间10:00举行。
要详细了解部署在NVIDIA BlueField-3 DPU上的F5 BIG-IP Next for Kubernetes，请参阅我之前的博客文章。此外，请务必阅读我们针对今日公告发布的新闻稿。
F5对AI的关注不止于此，了解F5如何在任何环境中保障AI应用安全并实现应用交付。
关于作者
相关博客文章
Thingbot正转变为攻击平台
Lori MacVittie重点介绍了F5 Labs对2018年1月至6月全球物联网设备攻击的研究，并指出了其中令人警醒的影响。物联网设备不仅持续遭到利用，还被转变为攻击平台，这意味着攻击者可以更充分地利用这个必然增长的市场。
借助F5全新Quick Start，在AWS上快速开展业务
在AWS re:Invent开幕前，我们很高兴与大家分享F5与AWS之间全新的Quick Start集成。F5的Tom Atkins将介绍该服务如何启动、配置和运行在AWS上部署工作负载所需的计算、网络、存储及其他AWS服务。