过去十年间，NGINX Open Source一直是全球广泛使用的Web服务器之一，也是市场份额较高的应用交付解决方案。它为各种规模的项目提供负载均衡和反向代理支持，涵盖小型初创企业、学术研究项目以及一些全球大型Web应用。
正如NGINX已成为应用交付的默认选择一样，它也悄然成为AI应用训练和服务中的关键支柱。Intel OpenVINO Model Server、NVIDIA Morpheus、Meta的vLLM、NVIDIA Triton等主流AI框架、工具包、库和平台均原生提供适用于F5 NGINX Plus（以及NGINX Open Source）的配置，可直接处理gRPC/HTTP代理、SSL/TLS终止、支持健康检查的负载均衡和动态重新配置。许多在Kubernetes集群上运行的AI服务和解决方案都将F5 NGINX Ingress Controller列为管理AI集群进出流量的优选方案之一，适用于模型训练和推理。深入了解便会发现，几乎所有AI应用场景中都有它的身影。
“F5 NGINX已悄然成为AI应用训练和服务中的关键支柱……深入了解后会发现，几乎所有采用AI的场景都在运行F5 NGINX。”
在广泛的AI用例中，NGINX是AI技术栈中的关键支撑。无论是微调基础模型、流式传输大语言模型的令牌输出，还是将请求路由到实时异常检测端点，NGINX很可能已经位于请求路径中。
AI团队为何选择NGINX Plus
- Kubernetes原生入口：目前，大多数AI平台都在Kubernetes上运行，而在Run:ai、KServe和Ray Serve等工具中，NGINX仍是默认或首选的入口。随着AI应用扩展到混合云、多云和边缘环境，NGINX Gateway Fabric以轻量占用和精细流量控制提供Gateway API的Kubernetes原生实现，让AI团队无需增加服务网格的复杂性，即可更好地掌控路由、重试和可观测性。
- 大规模动态发布：AI推理工作负载通常涉及高价值、受GPU资源限制的会话，因此需要谨慎管理版本并确保零停机。NGINX支持动态配置重新加载、加权流量拆分和主动运行状况检查，使团队能够安全发布新模型版本，同时不会中断正在进行的会话，也不会导致GPU队列过载。
- 生产就绪的API处理：Triton、vLLM和OpenVINO等模型服务器依赖gRPC或HTTP/2实现快速的结构化通信。NGINX为这些协议提供成熟的高性能支持，并支持连接复用、会话保持、TLS终止和请求缓冲。这些功能对于处理突发或长连接的AI推理流量至关重要。
- 运维控制：NGINX Plus提供RESTful配置更新、实时上游管理和企业级Web应用防火墙（WAF）等高级功能。对于需要跨集群管理数十乃至数百个NGINX实例的团队，F5 NGINX One提供集中式控制台，用于管理配置、运行状况和安全策略，尤其适合为访问权限和风险状况各异的多种模型类型或AI用例提供支持的团队。
- F5 AI Gateway：专为AI工作负载打造，AI Gateway以安全优先的方式扩展NGINX，助力保护AI流量。它提供可自定义的提示词注入和有害输出防护，并支持速率限制和使用配额，有助于防止在GPU资源受限的环境中发生抓取、流量泛洪或查询失控。可对不同的推理路由应用不同的安全规则，例如，对生成式模型采用更严格的策略，同时对向量API采用更宽松的策略。所有流量均可按令牌或请求级别记录，并传送至可观测性管道，以支持审计要求。
主流AI框架、工具和托管服务均可与NGINX集成
对于许多主流AIOps技术栈、工具和托管服务，NGINX是默认的入口选项之一。
AI框架
NGINX 的使用方式
实际优势
Intel OpenVINO Model Serve F5与Intel的演示在NGINX Plus后端部署模型分片（YouTube）。一个网关可将流量路由到CPU、GPU或VPU后端。NVIDIA Triton Helm图表安装Triton，并搭配NGINX Plus Ingress提供gRPC访问（GitHub）。HTTP/2多路复用有助于保持较高的GPU利用率。NVIDIA Morpheus “How I Did It”指南介绍如何通过NGINX Plus Ingress保护Morpheus（F5 Community），在实时安全推理前端提供TLS卸载和自适应WAF。NVIDIA (XLIO) NGINX在NVIDIA Accelerated IO (XLIO)上部署的指南（docs.nvidia.com），介绍增强型TLS卸载和性能调优，包括支持OpenSSL的构建说明和示例文件。Meta vLLM 官方文档介绍如何通过NGINX在多个vLLM实例之间实现负载均衡（vLLM），支持文本生成端点快速横向扩展。
MLOps团队可以直接采用NGINX产品，其原因与负责管理微服务和API的团队采用NGINX相同，而微服务和API都是AI部署的重要组成部分。NGINX轻量、模块化且可移植，能够在各种环境中处理大量令牌。AI开发人员和机器学习工程师在部署常用AI方案时，可以将NGINX作为其中一部分，并使用由平台团队或MLOps团队配置的容器镜像。NGINX可在大多数常见平台和处理器架构上与硬件加速功能集成。
将NGINX列为默认选项的AI组件覆盖了AI基础设施的各个层面，从底层GPU调度，到上层模型服务、部署编排和企业级治理。这些组件共同展现了NGINX如何支持广泛的用例，包括将流量安全地路由到推理端点、实现可扩展且高效的模型交付、管理多租户集群访问，以及实施版本控制、审计和法规合规方面的运营策略。
- KServe：部署指南假定已有NGINX Ingress Controller域，用于路由推理服务。
- Ray Serve：文档包含有关配置NGINX Ingress Controller以公开仪表板和模型端点的说明。
- Seldon Core v2：生产部署章节介绍了如何通过Helm设置NGINX Ingress Controller，包括金丝雀发布和影子流量场景。
- Run:ai：先决条件中将NGINX列为经验证可用于多租户GPU共享Kubernetes集群的Ingress控制器。
- AWS SageMaker：文档提供了使用NGINX和Gunicorn作为自定义推理容器前端的示例。
- Azure AKS：Microsoft提供托管式NGINX Ingress Controller，作为处理集群内入站流量的内置即用型选项。
- DataRobot：安装说明建议使用NGINX Ingress Controller（v4.0.0及更高版本），为EKS上的Portable Prediction Servers实施基于路径的路由。
NGINX为MLOps铺就便捷之路
这些平台和工具共同覆盖了AI基础设施的完整范围，从底层GPU调度，到上层模型服务、部署编排和企业级治理。它们共同展现了NGINX如何支持广泛的用例，包括将流量安全地路由到推理端点、实现可扩展且高效的模型交付、管理多租户集群访问，以及执行版本控制、审计和法规合规方面的运营策略。这个列表仍在不断扩展，我们也期待看到新一代AI原生企业利用NGINX构建出更多成果。
获取 AI 扩展支持，借助F5 NGINX One。
关于作者
相关博客文章
NGINX Plus R26 正式发布
NGINX Plus R26通过缓存JSON Web密钥集加快JWT验证，并强化TLS握手，从而提升安全性。NGINX JavaScript的新功能包括增强对异步函数的支持，以及实现WebCrypto API。
使用NGINX App Protect DoS保护gRPC应用，抵御严重的DoS攻击
gRPC具备开发人员设计和部署现代应用所需的速度与灵活性，但其开放性也使其极易受到第7层DoS攻击。NGINX App Protect DoS可保护gRPC应用免受此类破坏性攻击。
Ingress Controller 选型指南（第 2 部分）：风险与面向未来的规划
了解选择错误的Ingress控制器可能带来的风险，以及如何从关键方面着手，让您的选择更好地适应未来需求。
NGINX Plus R19 正式发布
NGINX Plus R19扩展了监控功能，不仅提供更多指标，还新增了指标分析方式；增加试运行模式，用于测试限速效果；增强键值存储，以支持IP地址范围；并使限速更加动态。
NGINX现已正式加入F5
NGINX现已正式成为F5的一部分。Gus Robertson现任F5 NGINX业务部门负责人。他阐述了两家公司在人才、文化和愿景方面融合的价值，以及双方将如何携手增强NGINX的开源产品和商业产品。
