在Amazon EKS中部署可靠的AI工作负载安全防护

NGINX | 2025年9月24日

对于大多数组织而言，Kubernetes是首选平台，用于部署和管理容器化工作负载。但与更加稳定且可预测的典型微服务相比，AI工作负载带来了新的复杂性。如果组织没有意识到这些挑战，可能会面临成本超支、资源利用率低下和安全漏洞等问题，导致AI进程放缓、价值受损并加剧风险。为保护相关投资，组织需要以更智能的方式使用Kubernetes来支持AI。

使用Kubernetes运行AI面临的挑战

AI工作负载不同于传统工作负载。提示词可能是简单的文本查询，也可能是基于多媒体的分析，因此对GPU资源的需求会有所变化。容器入口控制器难以感知GPU的可用情况，默认的轮询分配方式会导致部分GPU负载过高，而其他GPU未得到充分利用。

AI还依赖由分布式服务和API构成的复杂网络，不仅更难管理，攻击面也更大，因而更难保护。正是这种复杂性使AI成为颇具吸引力的攻击目标，网络犯罪分子甚至将AI模型本身用作攻击载体。提示词注入和模型操纵等技术可绕过传统安全机制，从AI中提取敏感数据；攻击者还可能向AI大量发送错误提示词，降低模型响应能力，并进一步消耗资源。传统Kubernetes安全机制并非为应对此类攻击而设计。

要在Kubernetes中实现真正动态、高效且安全的AI，需要采用能够满足AI特定需求并据此分配工作负载的流量管理方案。这包括感知请求复杂度和GPU可用性，并将资源与AI吞吐量之间的非线性关系纳入考量。要保护AI模型，防止其成为未经授权使用和滥用行为的接入点，容器原生安全控制必不可少。

在Kubernetes中安全、优化地交付AI

F5解决方案可弥补Amazon Elastic Kubernetes Service（EKS）部署在运维、安全和性能方面的不足，从而增强其能力。

F5 NGINX Ingress Controller提供可感知AI的入口流量管理和负载均衡，并支持动态重新配置，以便在需求激增和Pod故障期间维持正常运行。相关工具还可支持团队采用蓝绿发布、金丝雀发布策略和A/B测试，让部署和优化工作更加顺畅。

F5 NGINX App Protect提供轻量级Web应用防火墙（WAF）、第7层分布式拒绝服务（DDoS）防护和API安全功能。此产品与NGINX Ingress Controller一同作为F5 NGINX Plus的一部分提供，并可在Kubernetes集群中无缝扩展。

F5为Amazon EKS提供可感知AI的流量管理和保护。

让Kubernetes更好地支持分布式AI

F5 AI Gateway是另一种选择，可帮助在混合多云环境中的Kubernetes上提供AI服务。您可以利用感知AI的流量管理功能，包括语义缓存。该功能可针对相似请求复用提示响应，从而减少重复处理并节省令牌。

分层防护可抵御AI特有威胁，应对OWASP LLM应用十大安全风险，同时防止出站响应泄露敏感数据或产生幻觉。AI Gateway支持OpenAI、Anthropic和Ollama等主流AI平台以及基于HTTP的语言模型，无论部署在何处，都能提供一致的防护。

F5 AI Gateway可简化混合多云环境中的AI交付。

采用AI感知方法，取得更佳成效

通过将F5解决方案与Amazon EKS结合实施，可实现智能流量管理，从而缩短模型响应时间，并防范AI特有的威胁。此外，还可带来以下优势：

AI感知型工作负载分配。最短响应时间负载均衡和主动运行状况检查可将AI请求定向到响应速度最快的服务。
全面的可观测性。F5解决方案可呈现提示词数量、令牌用量、推理延迟和模型性能统计信息等关键指标，为优化工作提供支持。
流量保护。速率限制可防止资源滥用，熔断机制可隔离故障，请求缓冲有助于应对流量激增。
AI专属威胁缓解。内置防护措施可阻止针对AI模型的攻击，同时防止敏感数据泄露。
身份管理和访问控制。支持JSON Web Token、OpenID Connect和基于角色的访问控制（RBAC），确保只有获得授权的用户和服务才能访问AI端点。