Kimi K3可能会成为AI领域的又一个“斯普特尼克时刻”。它带来的重要启示不只是开放权重模型可以接近专有模型的前沿水平。构建模型只是这场竞赛的一半，另一半是高效提供模型服务。K3既改变了交付前沿智能所需的基础设施，也改变了相关服务实现盈利的经济模式。
Kimi K3是一款拥有2.8万亿参数的混合专家模型。处理每个token时，其896个专家中仅激活16个，但在如此规模下，高效分配这些专家成为首要的系统挑战。Moonshot AI建议采用超级节点配置，通过高带宽通信域连接至少64个加速器。
模型或许是开放的，但要以可靠、快速且经济高效的方式提供推理服务，才是真正的技术和商业挑战所在。
对于GPU提供商而言，模型能力与服务交付之间的差距既带来风险，也蕴含机遇。随着用户、企业和自主智能体采用前沿规模的开放模型，这种压力只会进一步加剧。这一转变正在改变GPU提供商的商业模式。要取得成功，不仅要获得加速器，还要将其整合为服务，以提供可预测的延迟、实施租户边界隔离、保留主机容量，并让每个机架创造更多客户价值。
“Kimi K3表明，高效生成令牌只是挑战的一部分。F5 BIG-IP Next for Kubernetes可帮助提供商安全、可靠且有利可图地交付这些令牌。”
最小单元变得更大
GPU云市场很大程度上围绕碎片化容量构建，包括单个GPU，以及由1个、4个或8个加速器组成的小规模资源配置。这些配置仍适用于较小的模型、开发、微调和许多企业工作负载，但不足以将K3作为统一的前沿规模端点高效提供服务。
按每个参数4比特计算，仅权重就需要约1.4 TB的存储空间，这还不包括运行时内存、KV缓存及其他服务开销。因此，K3促使提供商采用更大规模的有保障GPU配额、高带宽纵向扩展域、NVIDIA GB200 NVL72等机架级系统、拓扑感知式放置、分离式预填充与解码，以及持续的KV缓存管理。
这使最小可行服务单元从单个GPU提升为紧密协同的超级节点。此前按小规模增量租用的容量可能需要重新整合为规模更大的专用资源池。权重可以共享，但基础设施会更加集中，成本也更高。
纵向扩展只是问题的一半
NVIDIA为此类工作负载构建了日益完善的架构。NVIDIA TensorRT-LLM Wide Expert Parallelism (Wide-EP)将专家分布到多个GPU上，从而改善负载分布，并为KV缓存留出更多GPU内存。解耦式服务将预填充与解码分离，使每个阶段都能独立扩展；同时，NVIDIA Dynamo推理框架负责协调请求路由、GPU分配、KV缓存放置和高速缓存传输。
这些技术可优化GPU纵向扩展互连架构中的模型执行和东西向通信。但每个推理请求仍必须进出服务环境。系统必须接收来自用户或智能体的请求，对其进行身份验证和安全防护，将其分配给相应租户并路由至可用端点，同时对其进行观测和计量，并按照服务级别目标完成交付。
在机架级部署中，NVIDIA® BlueField® DPU可为南北向流量提供专用基础设施域，涵盖用户请求、令牌响应、遥测、存储访问和集群间通信。随着Kimi K3等模型提高推理吞吐量并增加整体服务流量，DPU日益成为基于Kubernetes实现可扩展、安全AI交付的重要控制点。
隐性的主机开销
主机处理器仍需支持网络、代理、安全、Kubernetes服务、请求处理、遥测，以及围绕GPU工作负载的其他功能。基础设施每占用一个CPU核心，模型服务软件、编排系统或维持高成本GPU高效运行的服务就少一个可用核心。
部署在NVIDIA BlueField DPU上的F5 BIG-IP Next for Kubernetes通过将L4-L7流量处理、加密和安全功能迁移到DPU，解决了这一挑战。在第三方测试中，传统HAProxy部署占用了约12个主机CPU核心，而NVIDIA BlueField DPU上的BIG-IP Next for Kubernetes仅使用约2个，使每台服务器可将约10个核心重新用于AI服务环境。
BIG-IP Next for Kubernetes还可在BlueField上提供加速的流量管理、分段、租户隔离、防火墙、DDoS防护和策略执行功能，从而减轻主机CPU的安全和网络处理负担。更广泛的F5服务可通过WAF、API安全和AI安全，将这种防护扩展至端到端环境。
从容量到客户服务
宽专家并行和专家负载均衡可提高内部模型服务效率。BIG-IP Next for Kubernetes则应对另一项不同但互为补充的挑战：将这些容量转化为面向客户的可靠输出。
在第三方测试中，基于NVIDIA BlueField的BIG-IP Next for Kubernetes实现了最高47%的输出令牌吞吐量提升、60%的首个令牌生成时间缩短，以及40%的单令牌成本降低。这些结果基于特定模型和配置测得，不应解读为对Kimi K3性能的声明。客户实际结果会因模型、流量特征、硬件和服务架构而异。
尽管如此，研究结果表明，南北向交付架构可以显著提高输出令牌吞吐量、缩短首个令牌生成时间并降低每个令牌的成本，帮助运营方在相同的GPU环境中提供更可靠且能够创造收入的推理服务。
这种区别对智能体尤为重要。智能体系统会形成由模型调用、工具调用和依赖性决策组成的链条。一个推理步骤开始时的延迟会拖慢后续每个步骤。20 秒的延迟可能会让用户感到不满；如果这种延迟出现在数十次连续的智能体调用中，可能会导致服务无法正常运行。
前沿规模的多租户架构
K3的快速普及凸显了另一项挑战：模型能力的增长速度可能超过用于交付这些能力的基础设施。提供商需要让多个客户共享大型推理服务系统，才能实现可接受的经济效益；但要共享前沿规模的超级节点，仅划分GPU容量还不够。
必须隔离每个租户。必须对流量进行身份验证和管控。必须一致地执行服务策略。运营人员需要了解资源消耗情况，以及某个工作负载是否会导致其他工作负载性能下降。
BIG-IP Next for Kubernetes将Kubernetes原生流量管理、网络分段、租户隔离、策略和可观测性引入加速基础设施路径。这有助于将昂贵的机架从一组不受管理的计算资源转变为安全且差异化的AI服务。
面向推理的服务平面
K3说明了AI工厂为何需要AI服务平面。纵向扩展网络可优化GPU通信。模型服务软件执行推理。调度器负责放置工作负载并分配GPU。AI服务平面负责管理应用、智能体和租户使用基础设施的方式。
BIG-IP Next for Kubernetes是该服务平面的核心流量控制引擎，可提供安全的租户访问、推理流量管理、端点韧性、服务级别执行、使用情况可见性、策略管理和可靠交付。
Kimi K3并不能证明每个AI部署都需要DPU。但它确实表明，前沿推理正逐渐成为一个全栈系统问题，并且恰好形成了使专用基础设施处理在经济层面变得重要的条件。
NVIDIA GB200 NVL72系统专为大型混合专家模型的高效推理而设计。部署在NVIDIA BlueField DPU上的F5 BIG-IP Next for Kubernetes可帮助提供商安全、可靠且经济高效地交付这些令牌。
模型或许是开放的，但提供推理服务的成本并不低。
谁能让机架投入实际运营，将其原始容量转化为可靠的多租户服务，谁就能获得利润空间。
如需了解详情，请访问我们的“F5 BIG-IP Next for Kubernetes”和“AI基础设施解决方案”网页。
关于作者
相关博客文章
WAF和API发现技术在保护智能体AI应用中的作用
智能体AI系统的功能和集成会在运行时快速变化。要以同样的速度保障其安全，需要通过API发现和Web应用防火墙（WAF）实施切实可行的控制措施。
