Ingress Controller：保护Kubernetes中AI/ML应用的关键

NGINX | 2024年2月28日

在Kubernetes中运行人工智能（AI）和机器学习（ML）工作负载的一项关键优势，是可以通过Ingress Controller集中控制所有传入请求。Ingress Controller是一个多功能模块，可充当负载均衡器和API网关，为保护Kubernetes环境中的AI/ML应用提供坚实基础。

作为统一工具，Ingress Controller为实施安全和性能措施、监控活动以及强制执行合规要求提供了便捷的控制点。具体而言，在Kubernetes环境中通过Ingress Controller保护AI/ML应用具有多项战略优势，本文将对此展开探讨。

集中式安全与合规控制

由于Ingress Controller充当Kubernetes集群的网关，MLOps和平台工程团队可以通过一个集中式控制点实施安全策略，从而降低按Pod或服务配置安全设置的复杂性。通过在Ingress层集中实施安全控制，可以简化合规流程，并更轻松地管理和监控合规状态。

统一身份验证和授权

Ingress Controller也是为所有AI/ML应用的访问实施和强制执行身份验证与授权的合理位置。通过增加强大的证书颁发机构管理功能，Ingress Controller也成为构建Kubernetes零信任（ZT）架构的关键。对于运行在高价值专有数据之上的敏感AI应用，ZT对于确保其持续安全性与合规性至关重要。

速率限制和访问控制

Ingress Controller非常适合实施速率限制，保护应用免遭DDoS攻击或过量API调用等滥用行为，这对于面向公众的AI/ML API至关重要。随着模型窃取和数据泄露等新型AI威胁日益增多，实施速率限制和访问控制对于防范暴力破解攻击愈发重要。这也有助于防止攻击者滥用业务逻辑或绕过防护机制，以提取数据以及模型训练信息或权重信息。

Web应用防火墙（WAF）集成

许多Ingress Controller支持与WAF集成，这是保护对外开放的应用和服务所必需的基本能力。WAF可提供额外的安全防护层，抵御常见的Web漏洞以及OWASP十大风险等攻击。更重要的是，经过适当调优后，WAF可防御针对AI/ML应用的定向攻击。对于延迟和性能至关重要的AI/ML应用，需要重点考虑WAF可能带来的额外开销。此外，为了有效保护AI/ML应用，WAF必须与Ingress Controller紧密集成，以支持监控和可观测性仪表板及告警机制。理想情况下，WAF与Ingress Controller可以共享同一数据平面。

结论：在规划AI/ML架构的早期阶段纳入Ingress Controller

鉴于Ingress Controller在Kubernetes上的AI/ML应用部署中至关重要，建议在设计AI/ML应用架构时将其功能纳入考量。这有助于减少功能重复，并帮助选择能够随AI/ML应用需求扩展和发展的Ingress Controller。对于MLOps团队而言，Ingress Controller将成为多项关键平台和运维功能的集中控制点，其中安全性是优先事项之一。