Amazon S3改变了现代基础设施的形态。通过将对象存储与计算分离，S3借助简单的API为应用团队提供了持久且经济实惠的容量；同样重要的是，它还为在一处创建、在另一处使用的数据提供了一个中立的存放点。这种模式已成为AI流水线的支柱：训练集存入存储桶，微调数据集通过带版本的前缀流转，而用于检索增强生成（RAG）的知识语料库则由索引器全天持续拉取。
随着AI基础设施规模不断扩大，仅将应用指向兼容S3的对象存储已无法满足需求；企业需要一个交付层，使数据传输可预测、快速且安全。这正是AI数据交付所要解决的问题：通过适当的底层策略和跨站点韧性，确保正确的数据安全传输至对象存储，并可靠交付给AI模型工厂工作流，从而使训练、微调和RAG工作流按计划推进。在存储前端部署应用交付控制器（ADC）是业务和技术上的必要举措；它可作为控制点，保护对象存储免受流量激增的影响，平稳调节吞吐量以确保集群可靠性，并对混合多云S3部署实施集中治理。
为什么要在数据存储前端部署F5 BIG-IP？
如今的AI存储就像大幅加速的传统Web流量。数据摄取呈突发性（例如并行写入、多部分上传），读取具有随机性，维护则持续不断（例如节点重建、压缩、分层）。这些不可预测的模式要求采用一种将应用与底层存储解耦的架构，使工作负载免受中断和端点波动的影响。如果没有这一专用交付层，企业将面临8个常见问题：
- 本地韧性挑战：单个响应缓慢或正在重建的节点可能会影响作业吞吐量。F5 BIG-IP通过有针对性的运行状况监控来缓解这一问题，例如对金丝雀键执行S3 HEAD/GET检查，并采用策略驱动的负载均衡和连接排空，以确保维护期间长时间运行的传输不中断。
- 手动实现全局韧性：F5 BIG-IP DNS根据运行状况、邻近程度和业务策略，自动将客户端路由到合适的站点。无需更改应用端点，即可顺畅处理集群或区域故障转移。
- 对象和元数据级服务质量及速率限制：BIG-IP根据存储桶、对象类型、大小和标签检查并区分流量。对低优先级请求实施速率限制，以优先处理高优先级请求，避免在拥塞或超额订阅的网络中发生超时和重试。
- 升级风险：存储软件升级可能会中断工作流。BIG-IP通过排空受影响池中的流量，并将流量暂时固定到稳定的系统版本，直至通过运行状况检查，从而支持安全的蓝绿升级或滚动升级。
- 复制流量拥塞：在高需求时段，跨区域同步和集群复制可能遇到瓶颈。BIG-IP可对流量进行优先级排序和整形，确保复制过程不会影响AI模型工作负载的性能。
- TLS安全配置不一致：BIG-IP通过处理卸载、重新加密或直通来集中管理TLS。它可根据需要实施一致的密码套件策略、完全正向保密（PFS）和mTLS，从而简化存储配置，并借助F5 rSeries和F5 VELOS上的SSL加速功能实现透明扩展。
- 后量子密码学（PQC）防护：借助BIG-IP，组织可通过支持传输中的PQC，遵循美国国家标准与技术研究院（NIST）和欧盟《数字运营韧性法案》（DORA）的建议，并保护数据免受未来量子计算机攻击，例如“现在收集，以后解密”攻击。
- S3协议防御：BIG-IP可在S3协议攻击到达后端之前检测并阻止此类攻击，包括注入、权限提升、存储桶接管、凭据或预签名URL重复使用以及账户接管。
BIG-IP v21.0新增S3数据交付配置文件
BIG-IP 21.0版引入了S3 TCP/TLS配置文件，可轻松将虚拟服务器转变为可用于生产环境的S3前端入口。这些配置文件为高带宽路径提供TCP设置，优化HTTP/S3行为以支持分段上传和重试，并实施严格的方法允许列表、可选mTLS等安全防护措施。这简化了从集群设置到AI管道全面运行的过渡过程，将设置时间从数天缩短至数分钟。
AI数据交付实践
以下演示说明了BIG-IP不仅能加快设置，还能带来持久的运营价值。这些演示重点展示了如何将S3数据交付与基础设施变更解耦，如何通过可编程策略动态调整数据交付，以及如何保护数据交付免受集群压力的影响。这些示例共同表明，专用交付层可确保AI管道保持可预测、可扩展且安全。
演示 1：生命周期抽象
此演示重点展示了即使存储环境不断演进，应用也能保持连接并持续运行。通过对端点进行抽象，无需重新配置应用，工作负载即可在集群生命周期变更、供应商变更、版本升级或集群扩容期间保持韧性，同时借助可观测性获取性能和合规性洞察。
演示 2：数据平面可编程性
这里展示了如何在数据平面层动态调整策略和路由。这种灵活性使企业能够实施精细化控制，根据业务需求调整流量模式，并支持在不同环境之间进行风险可控的过渡。
演示 3：热点预防
最后一个演示展示了高级监控和智能负载均衡如何减少热点，并保护高负载下的集群。通过在故障和节点过载影响工作流之前及时检测并避开相关节点，企业可以保持稳定的吞吐量，并保护关键AI管道。
面向从业人员的设计说明
兼容S3的存储集群为可扩展的AI、机器学习和数据驱动型应用提供支持，但也面临一些固有挑战，例如热点形成、节点维护、流量模式变化，以及如何确保高需求工作负载下的韧性。BIG-IP提供灵活且可编程的流量管理功能，有助于高效应对这些挑战。以下是针对S3环境优化BIG-IP，以实现可扩展性、性能和维护隔离的7项关键最佳实践：
- 利用智能负载均衡算法：避免使用轮询负载均衡，因为均匀分配流量可能会在S3集群中形成热点。使用动态比率或最少连接数等自适应算法，根据节点运行状况和工作负载容量智能均衡流量，确保性能可预测。
- 部署灵活的高可用性架构：此配置将维护活动与客户端工作负载隔离，在实现高容错能力的同时避免停机。主动-主动部署支持多台BIG-IP设备同时处理流量，确保持续可用性，并提高高负载工作负载的吞吐量。
- 使用配置自动化：自动化可加快部署、简化扩展，并降低跨环境维护一致配置的复杂性。使用BIG-IP Application Services 3 Extension (BIG-IP AS3)和BIG-IP Declarative Onboarding，实现BIG-IP置备和配置自动化。
- 对S3端点使用高级运行状况监控器：启用自定义运行状况监控器，检查各个S3端点的可用性和性能，例如响应时间、错误率和节点容量利用率。BIG-IP可自动将流量从性能下降或离线的节点重新路由至其他节点，即使在维护期间，也能确保工作负载保持韧性并持续运行。
- 通过TCP/TLS优化提高数据吞吐量：优化TCP配置（如窗口缩放和拥塞控制），提高大型AI/ML数据传输的吞吐量。BIG-IP针对S3调优的TCP配置文件可最大限度降低延迟，确保加密数据传输既安全又快速。
- 利用数据平面可编程性定制流量：自定义编程功能可实现精细的流量控制，满足特定S3工作负载对性能和灵活性的要求。使用BIG-IP的事件驱动型iRules，根据各节点的标头、元数据或维护状态动态路由流量。
- 启用位置感知型请求路由：使用位置感知型路由策略，根据地理距离或延迟，优先将流量路由到相应的存储节点。这有助于减少网络开销，并缩短依赖S3集群的全球分布式工作负载的响应时间。
面向AI数据管道的专用交付层
S3提供通用的持久存储；F5 BIG-IP 21.0版为存储提供专为AI打造的优先交付层。由此构建的高性能数据管道可持续支持模型训练、微调和RAG工作流服务，无需依赖脆弱的客户端逻辑或自定义脚本。BIG-IP v21.0现已推出。如需了解更多信息，请阅读BIG-IP 21.0版发布公告博客。此外，别忘了查看今天的新闻稿。
F5对AI的关注不止于此，了解F5如何在各种环境中保障AI应用安全并实现交付。
关于作者
Hunter Smit是F5解决方案与战略产品营销高级经理。他负责F5产品组合的解决方案营销工作，涵盖AI基础设施和应用安全，并推动F5进军新兴的AI数据交付市场。Hunter是Whitworth University商学院顾问委员会成员，并曾担任产品营销兼职讲师。他拥有Whitworth University工商管理硕士学位和管理学工商管理学士学位。
Hunter Smit 的更多博客文章
Mark Menger是F5解决方案架构师，专注于AI和安全技术合作伙伴关系。他负责开发F5的AI参考架构，推动安全且可扩展的AI解决方案。Mark曾担任全球解决方案架构师和解决方案工程师，参与构建F5安全云架构，并共同开发其分布式四层架构。他是《Solving IT Complexity》的合著者，在应对IT挑战方面拥有丰富经验。此前，他曾担任应用开发人员和企业架构师，专注于现代应用、自动化，以及加快实现AI投资价值。
Mark Menger 的更多博客文章相关博客文章
三家企业如何借助AI驱动的WAF改进虚拟补丁和运行时安全
了解三家F5客户如何利用AI驱动的WAF加快虚拟补丁部署、将误报减少50%以上，并更有信心地启用阻断模式。
F5 BIG-IP v21.0增强S3工作流的AI数据交付与摄取能力
使用F5 BIG-IP 21.0版优化S3工作流：通过低接触式配置，为AI数据交付、对象存储和RAG管道提供可扩展的安全解决方案。
Everest Group报告：生成式AI行业应用的当前趋势与未来前景
我们很高兴能为全球知名研究机构Everest Group发布的一份重要新报告作出积极贡献。该报告题为《生成式AI应用：审视横向职能中的实际应用与未来展望》，深入分析了各行业对生成式AI（GenAI）的应用情况。报告指出，IT［……］