在AWS上快速构建安全的AI训练数据管道

Dave Morrissey首席联盟经理 | F5

贵公司正大力投资AI模型，通过训练和调优获得精准结果。但要实现理想效果，还面临一个关键瓶颈：数据摄取。贵公司需要将海量多模态训练数据（包括文本、图像、音频和视频）从不同存储位置传输到AI模型。如果这一过程效率低下，可能会推高成本并延缓训练任务。挑战在于，许多流量管理解决方案并非为应对AI的动态特性而设计。

首先，数据源分散在混合多云环境中，包括本地数据中心、私有云存储和边缘位置。将数TB甚至数PB的训练数据从这些不同来源传输到AI基础设施，会带来复杂的流量管理场景和高昂的数据传输成本。

其次，GPU利用率低下也是一项挑战。当数据摄取成为瓶颈时，成本高昂的GPU资源会处于闲置状态，导致运营成本上升，模型训练周期延长。需要持续稳定的高性能数据流，才能让这些GPU充分发挥处理能力。

第三，在通过网络传输宝贵的训练数据时，必须确保安全性并满足合规要求。专有数据十分敏感，其中既包括受保护的客户数据，也包括为企业带来竞争优势的知识产权；任何安全漏洞都可能给企业造成灾难性后果。

使用AWS进行AI训练

AWS为AI训练计划提供坚实基础，相关服务包括用于工作流编排的Amazon SageMaker Pipelines、用于实时数据流传输的Amazon Data Firehose，以及用于持续数据复制的AWS Database Migration Service。这些AWS原生服务可处理关键的数据移动任务，并可扩展以支持数千个并发工作流。

不过，尽管AWS服务在数据摄取和模型训练自动化方面表现出色，但面对涉及混合多云环境、严格安全要求和高性能流量优化的复杂场景，您可能还需要AWS之外的扩展能力。

F5助您加速取得成功

此时，F5 Application Delivery and Security Platform (ADSP) 可通过流量管理和安全的多云网络功能补充您的AWS基础设施，帮助您更高效地实现AI训练目标。

作为F5 ADSP的一部分，F5 BIG-IP Virtual Edition（VE）提供智能负载均衡，并针对大型数据传输专门优化TCP，以充分提高GPU利用率。服务器运行状况监控和基于容量的路由等功能可确保GPU持续接收稳定的数据流，减少成本高昂的空闲时间。SSL卸载与FastL4和Fast HTTP配置文件相结合，可进一步加快数据传输，帮助您从硬件投资中获得更多价值。

作为F5平台的一部分，F5 Distributed Cloud Network Connect可在分布式数据源与AWS之间提供安全的第3层连接，帮助解决混合多云连接难题。只需一键配置，即可将本地和云端存储直接连接到AWS，无需复杂的网络配置。如果使用NetApp存储系统，F5可与多种协议无缝集成，包括网络文件系统（NFS）、服务器消息块（SMB）和Amazon S3 API。可通过互联网、专用骨干网或专用F5 Global Network连接数据源。

增强安全性和控制力

F5 ADSP为混合环境中的训练数据提供全面保护，包括分布式拒绝服务（DDoS）攻击缓解、Web应用和API保护、完整的SSL/TLS检查，以及集中式身份验证和授权。这可确保所有环境采用一致的安全策略，同时满足敏感数据处理的合规要求。

F5流量优化功能有助于控制GPU和数据传输成本。智能路由可确保数据在不同环境之间高效传输，高级压缩和缓存功能则可减少带宽消耗。您可以持续监控和优化数据管道，在保持性能的同时避免成本超支。

迈向AI成功之路

将F5应用交付和安全功能与AWS AI开发服务相结合，可构建安全、高效且针对特定需求优化的数据管道。这种集成方法有助于：

• 持续为GPU提供训练数据
• 通过智能流量管理降低基础设施成本
• 在混合环境中保持安全性与合规性
• 随着数据量增长，稳步扩展AI计划

强大的基础设施能够在需要的时间和地点可靠地交付海量数据，从而提高AI训练项目在更短时间内取得成功的可能性。借助F5与AWS的协同合作，您可以专注于开发创新的AI模型，同时确信数据管道基础设施能够可靠、安全且经济高效地运行。

要了解更多信息，请访问F5 on AWS概述页面。

此外，敬请关注本系列的下一篇博客，我们将探讨如何通过API安全保护AWS上的AI创新。

关于作者

Dave Morrissey首席联盟经理 | F5

Dave Morrissey 的更多博客文章