多云可扩展性与灵活性为AI工厂提供支持

F5生态系统 | 2024年11月11日

在F5的AI工厂系列文章中，我们介绍并定义了AI工厂，探讨了其组成要素，以及应用交付和安全方案的选择如何影响性能。本系列第5篇文章将探讨多云网络在为AI工厂提供推理服务和支持数据移动方面发挥的关键作用。F5将AI工厂定义为对存储、网络和计算的大规模投入，旨在满足大容量、高性能的训练和推理需求。

F5 AI参考架构图 ›

驾驭分布式架构：位置会影响工作负载性能

分布式互连点是AI工厂的核心，支撑存储、网络和计算基础设施的运行。企业在设计AI工厂时，许多服务可能会部署在同一数据中心内或附近。不过，也有一些服务可能分布在不同地理位置。前端应用、推理服务和所需模型等服务，如果部署在靠近使用位置的地方，可实现更好的性能。此外，检索增强生成（RAG）知识语料库数据也可能包含在内，具体取决于设计是否采用RAG。不过，我们目前将重点介绍前端、推理服务和模型部署。

推理服务和前端应用

根据Google汇总的185个生成式AI实际应用案例（这些案例来自全球领先组织），我们发现，其中许多公司依托战略位置为全球客户提供AI工作负载服务。在考虑最终用户体验时，必须重点关注并精心规划AI工厂的分布式架构。F5的《2024年应用策略现状报告》显示，88%的组织采用混合云模式运营。报告还指出，94%的受访者面临多云挑战。

多层安全：软件定义网络（SDN）带来的启示

那么，如何才能在AI工厂与使用推理结果的实例之间实现安全且经过优化的通信？答案在于网络。要理解其中的原因，不妨回顾一个在服务提供商领域之外大多未受重视的行业热词：软件定义网络（SDN）。SDN对于保障4G和5G等3GPP架构的安全至关重要。3GPP架构之所以能在安全方面取得成功，得益于严格遵循应用隔离原则。

SDN通过实施第2层和第3层零信任原则提供了强有力的解决方案：流量只有经过验证，并由软件定义的确定性路由基础设施处理后，才能路由到应用。这样，应用的每个组件都可以在本地和全球范围内独立扩展，从而优化性能和安全性。此外，SDN按名称而非IP地址路由应用流量，可缓解IP地址重叠等问题，并支持应用和安全解决方案跨不同区域和环境无缝扩展。SDN中的显式路由和隧道机制还能有效抵御潜在攻击，因为未经授权的访问不仅需要拥有SDN内的资源，还必须遵守严格的通信协议。

大型一级电信运营商已在规模化应用中证明了这些原则的有效性，因此，将这些原则应用于AI工厂多云网络（MCN）中规模更大的工作负载是合理的。

如何保障AI规模连接的安全

这听起来很简单，对吧？您可能正在用来阅读本文的智能手机很可能配有GPU、5G连接和密码。这样应该足以保障隐私安全了，对吧？其实不然。下面先来看三个要点。但请注意，这些只是起点。随着您为AI工厂设计并构建威胁态势模型，还会发现更多问题。

首先来谈谈速度。2022年末，生成式AI随ChatGPT首次引发广泛关注时，我们主要关注文本数据。但到了2024年，越来越多的用例开始涉及图像、视频、文本等其他模态，并将多种数据融入数据流，同时根据专业化需求采用应用层模型。在分布式AI工厂架构中，将所有模型部署到每个位置可能并不理想，也未必可行。这可能取决于数据引力、电力引力或计算需求等因素。此时，可以选择高速网络互连来弥合距离造成的差距，并缓解因相互依赖的服务彼此分离而产生的性能问题。

接下来再谈谈模型窃取，这是OWASP大型语言模型（LLM）和生成式AI应用十大风险之一。任何希望利用生成式AI获得竞争优势的企业，都会将自身的知识产权融入系统，例如使用企业数据训练自有模型或对模型进行微调。在这些场景中，AI工厂与其他业务系统一样，通过必须加以保护的模型创造价值。为防止分布式架构中的模型窃取，必须确保该模型、模型更新以及应用需要访问的数据源均已加密并实施访问控制。

最后，再来看看模型拒绝服务，这也是OWASP大语言模型（LLM）和生成式AI应用十大风险之一。随着AI应用逐渐赢得信任，其在关键系统中的使用也日益增多。这些系统可能是为企业带来可观收入的业务系统，也可能是医疗保健等维持生命所必需的系统。前端和推理访问的设计必须确保任何可能的访问路径都具备韧性、受到管控并得到保护。这些访问场景既可能适用于最终用户访问，也可能适用于从推理服务返回核心AI工厂的访问。

内置可见性、编排和加密

安全的多云网络解决方案可提供设计AI工厂架构分布式部分所需的连接、安全性和可见性。F5 Distributed Cloud Network Connect不仅能满足上述需求，还提供独特的客户边缘解决方案。无论是在公有云、自有或托管数据中心运行推理，还是在边缘使用自选硬件，都能实现通用连接。只需简单快速地完成部署，客户边缘即可自行建立连接。

高速连接：F5 Distributed Cloud Services基于全球高速互联网络构建，该网络与全球众多网络建立了对等互联。企业可以确信，其AI工厂能够以极快的速度连接分布式服务。Distributed Cloud Network Connect支持快速配置站点，帮助企业即时交付AI服务。
安全连接：Distributed Cloud Network Connect默认采用安全配置。连接经过加密，并可全面控制哪些对象能够或不能连接到AI工厂和分布式服务。此外，客户边缘还可用于启用前文未提及的其他服务，包括Web应用和API保护（WAAP）。
实现可视化连接：Distributed Cloud Services还提供基于SaaS的控制台，通过内容丰富的数据仪表板，深入呈现网络各处的应用连接运行状况。团队可借此主动发现潜在问题，并在问题加剧前及时处理。

设计AI工厂并非易事。企业希望在确保充分安全防护的同时，尽快获得AI带来的收益。可靠部署AI工厂的多项安全功能，有助于加快创新，并腾出时间专注于真正实现业务差异化和竞争优势的AI工厂要素。如需进一步了解多云网络，请观看我们的Brightboard课程，或探索F5 Distributed Cloud Network Connect。

F5对AI的关注不止于此，了解F5如何在任何环境中保护和交付AI应用。

想进一步了解AI工厂？欢迎阅读AI工厂博客系列中的其他文章：