使用Ingress Controller扩展、保护和监控Kubernetes中的AI/ML工作负载

NGINX | 2024年2月22日

Ilya Krutov高级产品营销经理 | F5 NGINX

人工智能和机器学习（AI/ML）工作负载正在革新企业的运营和创新方式。Kubernetes作为容器编排和管理的事实标准，是在混合多云环境中运行可扩展的大语言模型（LLM）工作负载和推理模型的首选平台。

在Kubernetes中，Ingress控制器在交付和保护容器化应用方面发挥着重要作用。Ingress控制器部署在Kubernetes集群边缘，是处理用户与应用之间通信的中心节点。

本博客将探讨Ingress控制器和F5 NGINX Connectivity Stack for Kubernetes如何帮助简化和优化AI/ML工作负载的模型服务、实验、监控和安全防护。

大规模部署生产环境中的AI/ML模型

大规模部署AI/ML模型时，Kubernetes的开箱即用特性和功能可帮助您：

加快并简化AI/ML应用发布生命周期。
支持AI/ML工作负载在不同环境之间迁移。
提高计算资源利用效率和经济效益。
提供可扩展性并达到生产就绪状态。
优化环境，以满足业务SLA要求。

与此同时，组织在生产环境中大规模部署、试验、监控和保护AI/ML模型时，可能会面临以下挑战：

日益增加的复杂性和工具泛滥使组织难以配置、运行、管理 Kubernetes 环境并实现自动化和故障排除，无论这些环境部署在本地、云端还是边缘。
糟糕的用户体验，原因是Pod故障和重启、自动扩缩容以及极高请求速率等动态事件导致连接超时和错误。
性能下降、停机，以及因报告数据过于汇总且缺少细粒度的实时和历史指标，导致复杂Kubernetes环境中的故障排除速度更慢、难度更大。
面临网络安全威胁的风险显著增加，因为传统安全模型并非为保护松耦合分布式应用而设计，难以适用于混合多云Kubernetes环境。

企业级Ingress控制器（例如F5 NGINX Ingress Controller）有助于应对这些挑战。借助集Ingress控制器、负载均衡器和API网关功能于一体的工具，无论在哪里运行Kubernetes，都可以大规模提升正常运行时间、保护能力和可见性。此外，还能降低复杂性和运营成本。

NGINX Ingress Controller还可与业界广泛认可的F5第7层应用保护技术紧密集成，帮助缓解面向LLM应用的OWASP十大网络威胁，并保护AI/ML工作负载免受DoS攻击。

Ingress Controller为AI/ML工作负载带来的优势

Ingress控制器可通过以下功能，简化并优化AI/ML工作负载在生产环境中的部署和运行：

模型服务：利用Kubernetes原生负载均衡、自动扩缩容、速率限制和动态重新配置功能，实现应用无中断交付。
模型实验：实施蓝绿部署、金丝雀部署和A/B测试，在不中断服务的情况下推出新版本和升级。
模型监控：收集、呈现和分析模型指标，更深入地了解应用的运行状况和性能。
模型安全：配置用户身份、身份验证、授权、基于角色的访问控制和加密功能，保护应用免受网络安全威胁。

NGINX Connectivity Stack for Kubernetes包括NGINX Ingress Controller和F5 NGINX App Protect，可在本地和云端为运行AI/ML应用的Kubernetes集群与其用户之间提供快速、可靠且安全的通信。它有助于简化并优化任何Kubernetes环境中的模型服务、实验、监控和安全防护，并增强云提供商和预打包Kubernetes产品的能力，以更高水平的保护、可用性和可观测性支持规模化部署。