对象存储的设计初衷是以经济实惠且持久可靠的方式存储数据,而不是成为数据中心内负载最繁重的服务。在AI时代到来之前,这一区别并不重要,因为访问对象存储的流量(例如备份、归档、媒体和应用资产)对性能要求并不苛刻。随着模型训练、微调和检索增强生成(RAG)工作负载的出现,读写模式从偶尔检索转变为持续满负荷运行。
这种转变带来了经济效益方面的问题。GPU集群很可能是基础设施资产负债表中成本最高的资产,而等待数据时,它无法创造任何价值。存储路径中的每次停顿,其成本都会分摊到每小时运行成本几乎高于其他所有系统的硬件上,这意味着各层的重要性已经逆转。如今,存储前端的交付层决定着成本最高的计算资源能带来多少回报;这条路径已不再只是底层管道,而是成为了一项独立的产品。
“一家全球云服务提供商将原有ADC基础设施替换为部署在F5 rSeries上的F5 BIG-IP后,物理占用空间减少了80%,额定吞吐量提升至2.4倍,每额定千兆比特的功耗降至约五分之一,需要修补、认证和排查故障的设备减少了222台。”
一家超大规模存储运营商如何应对
F5的一家客户是一家全球云服务提供商,在数十个数据中心运行兼容S3的对象存储服务。该服务是客户非结构化数据的主要存储库,也日益成为这些客户模型训练流水线的数据来源。每次读取和写入操作在到达索引节点或存储节点之前,都要经过负载均衡层。该层基于Citrix NetScaler设备构建,已成为制约因素。
这些要求并不特殊,只是要在如此大的规模下满足这些常规要求,成本压力极大。该提供商需要以线速终止并重新加密TLS,根据S3存储桶名称在第7层进行路由,并在双活集群中一致地实施速率限制:既要在服务级别应用全局限制,也要针对每个存储桶应用定向限制,避免某个租户的数据摄取作业挤占其他所有租户的资源。此外,还需要跨站点的全局服务器负载均衡,以及面向受监管租户的FIPS支持。事实证明,多租户公平性是交付层的策略问题,因为等流量到达存储节点时,影响已经造成。
“通常,要获得额外容量,就得付出数据中心最稀缺的两种资源:功耗和机架空间。而这一次,额外容量增加的同时,两者反而都减少了。”
该提供商将原有的应用交付控制器(ADC)基础设施替换为 F5 BIG-IP ,并部署在F5 rSeries上。TLS以线速终止并重新加密。请求根据S3存储桶名称在第7层进行路由;存储桶级策略现在只需在一处定义,无需在整个设备集群中重复配置。速率限制只需定义一次,即可统一应用于整个集群,无需逐台设备手动调优。全局服务器负载均衡可引导流量跨站点传输,同时受监管的租户仍可获得FIPS覆盖。
硬件与策略实施方式都发生了显著变化。新基础设施的物理占用空间缩小了80%,额定吞吐量达到原来的2.4倍,每额定千兆吞吐量的功耗降至原来的约五分之一,需要修补、认证和故障排查的设备也减少了222台。通常,要获得余量,就得投入数据中心最稀缺的两种资源:电力和机架空间。而此次在获得余量的同时,这两项资源的占用均有所减少,因此,释放出的容量无需另行采购,可按需使用。在AI容量取决于电力和空间的设施中,该提供商如今拥有了更多这两种资源,而且无需预先决定如何使用。
这正是F5所说的“AI数据交付”。存储与计算之间的路径是一道边界,在此设置控制点,才能对可达性、策略和交付韧性实施管控。这意味着,应将该路径视为经过专门设计的控制平面和数据平面,并满足其自身的性能、安全和治理要求,而不是将其作为事后补充附加到存储阵列上。
即使从不训练模型,这一点为何仍然重要
这位客户面临的情况几乎都不局限于机器学习或前沿模型训练,而这正是关键所在。由于S3基于HTTP运行,只要在对象存储前部署功能完善的代理,F5三十年来为Web流量积累的各项技术能力,从可感知运行状况的智能负载分配和协议检查,到加密卸载和按租户限流,都可直接应用于对象存储。同一个入口既能让训练流水线保持稳定并充分利用带宽,也能让备份窗口更可预测、分析查询更稳定,并防止高负载应用影响其他应用的存储性能。AI数据交付这一工作负载最终让这个入口的重要性不容忽视。
向存储负责人提出的三个问题
在评估贵组织的存储发展路径时,请考虑以下三个问题:
- 当存储节点性能下降时,由什么机制重新路由流量,速度有多快?如果答案是由客户端重试,那么您并没有交付层,而是采用了一种寄希望于重试的交付架构。
- 能否在不改动存储集群本身的情况下,对单个租户或存储桶实施速率限制?如果不能,公平性策略就只是一项建议。
- 您的存储更新预算中,有多少是基于前端入口保持不变这一假设?这家提供商发现,真正能够发挥杠杆作用的是交付层,而非其后的存储。
关键在于,容量和交付需要分别决策。容量需要购买,交付则需要架构设计。随着数据管道成为企业最依赖的工作负载,领先的团队正以一贯用于存储本身的严谨态度来规划存储访问路径。
F5对AI的关注不止于此,了解F5如何在各种环境中保护和交付AI应用。
关于作者

Hunter Smit是F5解决方案与战略产品营销高级经理。他负责F5产品组合的解决方案营销工作,涵盖AI基础设施和应用安全,并推动F5进军新兴的AI数据交付市场。Hunter是Whitworth University商学院顾问委员会成员,并曾担任产品营销兼职讲师。他拥有Whitworth University工商管理硕士学位和管理学工商管理学士学位。
Hunter Smit 的更多博客文章相关博客文章

三家企业如何借助AI驱动的WAF改进虚拟补丁和运行时安全
了解三家F5客户如何利用AI驱动的WAF加快虚拟补丁部署、将误报减少50%以上,并更有信心地启用阻断模式。

F5 BIG-IP v21.0增强S3工作流的AI数据交付与摄取能力
使用F5 BIG-IP 21.0版优化S3工作流:通过低接触式配置,为AI数据交付、对象存储和RAG管道提供可扩展的安全解决方案。
Everest Group报告:生成式AI行业应用的当前趋势与未来前景
我们很高兴能为全球知名研究机构Everest Group发布的一份重要新报告作出积极贡献。该报告题为《生成式AI应用:审视横向职能中的实际应用与未来展望》,深入分析了各行业对生成式AI(GenAI)的应用情况。报告指出,IT[……]
