对象存储旨在保存数据,而非调度高流量。如今,AI改变了这一需求。随着企业将更多数据存入兼容S3的存储系统,用于训练和运行模型,读写请求的增长速度超出了存储系统自身的负载均衡能力。流量恰恰在最关键的位置发生拥塞。一次流量激增就可能导致系统停机,一条缓慢的路径也可能让昂贵的GPU处于闲置状态。因此,存储系统的流量入口如今与存储本身同样重要。BIG-IP部署在S3集群前端,帮助集群保持稳定。它可以阻止攻击、承接流量峰值,并将流量分配到运行正常的节点,而存储平台自身难以有效完成这些任务。
作为F5 Application Delivery and Security Platform (ADSP)的一部分,F5 BIG-IP为Dell、MinIO、Scality和NetApp等主流AI存储供应商提供的S3兼容存储充当数据交付层。无论底层采用哪家供应商的集群,它都能抽象存储端点、规范流量行为并实施一致的策略。
今天,我们将发布两项与持续增强BIG-IP对S3兼容存储的支持相关的消息:今年晚些时候将推出S3原生iRules支持,以及两份关于将BIG-IP与Dell ObjectScale和MinIO AIStor结合使用的部署指南。
这两项进展可实现更智能、更易于部署的控制点,帮助存储基础设施应对AI带来的需求。
如今,S3逻辑以HTTP编写
借助iRules,BIG-IP已能智能管理S3流量,根据存储桶、操作和身份验证方式决定请求的路由目标。客户已在生产环境中日常使用此功能。不过,以前编写此类逻辑时,需要使用原始HTTP术语来表达S3决策,包括解析标头、使用正则表达式匹配URI,以及逐一分析查询参数。这种方法虽然可行,但更容易出错。此外,要编写此类逻辑,并随着规范演进持续更新,还需要熟练掌握AWS签名规范。
iRules即将支持原生S3命令和事件
今年晚些时候,iRules将原生支持S3,届时BIG-IP将提供原生S3命令和事件。同样的逻辑,实现起来更加简单:只需一个表达式,其表述与所执行的检查一致。例如,识别预签名GET请求时,不再需要由4个子句组成的复合HTTP条件,也无需预先了解哪些查询参数包含签名信息,只需一条直接指明操作的语句即可。这项新功能是对S3 TCP/TLS配置文件的补充。该配置文件由我们于去年随BIG-IP v21.0推出。

由此带来几项变化:对于典型的S3逻辑,常见模式下的iRule长度最多可缩短80%。编写者无需再精通HTTP解析或SigV4。在BIG-IP中配置S3策略时更不容易出错。借助这项新功能,存储管理员或安全工程师可以编写并负责管理S3策略。专业能力由最熟悉工作负载的人员掌握。这切实改变了数据管理规则的控制权归属。
(如果您有兴趣抢先体验,请访问f5.com/s3,向我们的产品管理和工程团队表达意向。计划于今年晚些时候正式发布。)
Dell ObjectScale和MinIO的两份部署指南
只有底层基础稳固,可编程性才能发挥作用。今天,我们还发布了两份部署指南,分步说明如何将F5 BIG-IP Local Traffic Manager部署在S3兼容存储集群前端,作为单一的高可用端点。
这两份部署指南分别适用于两家广受欢迎的存储供应商MinIO和Dell,两者均为F5技术联盟合作伙伴。
在MinIO AIStor前端部署BIG-IP。本指南介绍如何在MinIO AIStor集群前端部署BIG-IP,将其作为单一的高可用S3端点。指南包含一个自定义写入仲裁运行状况监控器,仅将流量发送到已准备好接受写入的节点,避免客户端连接到无法完成操作的成员;同时涵盖从网络、池、虚拟服务器到端到端测试的完整流程。(下载部署指南请点击此处。)
在Dell ObjectScale前端部署BIG-IP。本指南介绍如何在32节点Dell ObjectScale集群前端部署BIG-IP,涵盖从rSeries和租户设置到自身IP、路由、池及虚拟服务器的完整流程。指南提供加密和未加密两种路径,便于根据S3流量的安全标准要求选择相应的部署方式。(点击此处下载部署指南。)
存储前端如今已成为关键承载环节
对象存储旨在扩展容量,而非调度如此高强度的流量。这些平台的内置负载均衡能力是根据稳定的企业需求规模设计的。AI改变了这种需求。随着组织将越来越多的数据摄取到S3中,为训练和推理提供支持,读写流量正逐渐超出存储层原生负载均衡的设计承载能力。恰恰在存储与计算之间的数据路径承载最大价值时,流量却变得不均衡并出现拥塞。

正因存在这一缺口,存储系统的入口如今与存储系统本身同样重要。在AI数据交付中,BIG-IP部署在集群前端,充当高性能、高可用的端点,利用存储平台自身无法提供的运行状况感知能力来分配负载,并在数据量增长时保持吞吐量稳定。数据入口已成为承载关键负载的基础设施,应通过合理设计来满足这一需求。
存储前端的优选ADC
这两项公告体现了相同的方向。F5正持续投入BIG-IP,将其打造为专为对象存储构建的交付和安全层,而非在现有基础上进行适配。原生S3可编程性意味着该平台能够理解其所管控的协议。经过验证的部署指南有助于团队更有信心地将该平台投入生产环境。
作为F5 ADSP的一部分,BIG-IP在每个S3集群前为存储、安全和网络团队提供统一控制点,并满足现代数据管道如今所需的工程规范。存储管理员可以编写iRule。
欢迎参加F5 AI Summit。这场时长3小时的线上活动将于6月23日举行。届时,我们将在“可靠性应位于计算与存储之间”专题环节中,深入探讨F5 BIG-IP的S3可编程性。
F5对AI的关注不止于此,了解F5如何在各种环境中保障AI应用安全并实现应用交付。
关于作者

Tanu Mutreja是F5产品管理高级总监,负责企业AI和数据交付产品组合。她曾在AWS、Microsoft Azure、New Relic和F5打造多款开创行业先河的产品,帮助全球企业以负责任的方式构建、部署和扩展AI。她致力于将深层技术架构与产品战略相结合,推动企业级AI的未来发展。
Tanu Mutreja 的更多博客文章
Hunter Smit是F5解决方案与战略产品营销高级经理。他负责F5产品组合的解决方案营销工作,涵盖AI基础设施和应用安全,并推动F5进军新兴的AI数据交付市场。Hunter是Whitworth University商学院顾问委员会成员,并曾担任产品营销兼职讲师。他拥有Whitworth University工商管理硕士学位和管理学工商管理学士学位。
Hunter Smit 的更多博客文章相关博客文章
Thingbot正转变为攻击平台
Lori MacVittie重点介绍了F5 Labs对2018年1月至6月全球物联网设备攻击的研究,并指出了其中令人警醒的影响。物联网设备不仅持续遭到利用,还被转变为攻击平台,这意味着攻击者可以更充分地利用这个必然增长的市场。
借助F5全新Quick Start,在AWS上快速开展业务
在AWS re:Invent开幕前,我们很高兴与大家分享F5与AWS之间全新的Quick Start集成。F5的Tom Atkins将介绍该服务如何启动、配置和运行在AWS上部署工作负载所需的计算、网络、存储及其他AWS服务。