本文是AI数据交付系列博客的第3篇。
生成式AI表面上看似轻松易用，但每个成功模型的背后，都有一条如工业炼化厂般复杂且敏感的数据管道。
AI领域的领导者一再指出，扩大AI应用规模的最大障碍并非模型，而是为模型提供数据的数据流。麦肯锡公司估计，企业对AI就绪型数据基础设施的需求每年增长超过30%，而模型训练环境的数据需求增长得更快。因此，一旦这些数据管道出现问题，即使是先进的GPU也只能闲置。
用一个简单的类比，有助于理解这一挑战。
“可以将AI数据管道比作现代制造业的装配线。原材料（企业数据）在进入装配线之前，必须经过正确的收集、检查和准备。”
随后，这些原材料会经过一系列精细处理，包括清洗、标注、转换和验证，以满足严格的质量标准。最后，成品组件必须在适当的时间高效输送到正确的生产工位。如果任何环节出现不一致、延迟或衔接不当，整个流程都会积压，就像装配线上的一个工位发生故障时，整条生产线都会停滞。
正如原材料必须经过收集、精炼并运送到生产工位一样，企业数据也必须经过摄取、转换和交付，才能用于模型训练和微调，或用于检索增强生成（RAG）。如果任何阶段的数据受到污染或出现延迟，整个AI系统都会受到影响，进而对业务造成负面影响并降低投资回报率。
本文将探讨这三个阶段，并说明F5 BIG-IP和S3兼容对象存储如何支持当今企业所依赖的模型工厂工作流。
阶段1：摄取，采集并整合原始材料
数据摄取是数据进入AI生态系统的环节。企业很少拥有单一可信数据源，其“原材料”分散在各部门系统、云服务、对象存储、SaaS工具、日志、API，甚至外部第三方数据中。这些数据往往采用不同格式，以不同频率传入，完整性也参差不齐。
在此阶段，数据进入集中式或分布式对象存储时，必须经过识别、身份验证、规范化和验证。同时，还会添加元数据、映射架构并执行初步质量检查。如果数据摄取不严谨，后续整个管道都会受到影响。模型漂移（即模型性能随时间推移而下降）、幻觉以及训练作业不稳定，往往源于数据摄取不一致或治理不善。
连接脆弱性也正是在这一阶段成为实际问题。在许多高度分布式的环境中，与远程系统建立的长连接会意外中断。如果缺乏适当的保护措施，这些故障会导致废弃会话在对象存储环境中持续处于打开状态，逐渐消耗资源，并影响环境的可靠性。
F5 BIG-IP通过管理这些连接、防止资源消耗失控，并确保即使源端网络状况不佳，数据传输也能按预期完成，从而提供稳定性。BIG-IP在内置身份验证（包括令牌验证、身份集成和双向TLS）、流量管理、API保护及DDoS防御方面的成熟优势，也有助于保护传入组织的敏感数据。
有了这些防护措施，数据便能可靠地传输至为下一阶段提供数据的S3兼容存储系统。
第2阶段：转换，将数据提炼为可供模型使用的材料
如果说数据摄取是装载原材料，那么数据转换就是精炼厂，将原材料转化为可供模型使用的高质量数据资产。这项工作的复杂程度远超许多团队的预期，很多AI项目也出人意料地在这一阶段受阻。模型工厂环境依赖一致且治理良好的数据；如果数据噪声过多、缺乏一致性、格式不规范或标注质量不佳，训练就会变得不稳定，模型质量也会下降。
转换包括清理、转换和准备数据，使其可用于模型训练、微调或检索增强生成（RAG）。
文档和PDF会转换为结构化文本或向量嵌入。图像和日志会解析为标准格式。缺失值会得到修正。敏感信息会被隐去或加密。系统会记录数据血缘，以便监管机构追溯特定资产的生成或修改过程。在RAG管道中，分块策略、嵌入生成和索引更新也在此阶段进行。
传统上，数据转换在集中式环境中进行，但这种模式正在发生变化。随着数据量激增，在边缘或靠近数据源的位置执行部分转换正变得越来越合理。
F5 BIG-IP采用灵活的部署形态，可部署在更靠近数据源的位置，实现分布式数据扩充和优化。与部署在边缘的灵活S3兼容对象存储配合使用时，组织可以先筛选和优化数据，再将其发送回中央管道。这有助于降低流量成本，并尽可能减少传输不必要或不合规内容的风险。
转换完成后，组织即可获得干净、可信且安全的资产，供下游计算系统使用。
第3阶段：交付，在适当的时间将优化后的数据传输到适当的计算资源
交付是将精炼后的数据提供给依赖这些数据的GPU集群、微调作业、向量数据库或RAG管道的环节。
用户和运维人员会立即感受到数据交付质量的影响。如果数据传输过慢，GPU将因数据不足而闲置。如果路由效率低下，作业排队时间会超出预期。如果访问控制薄弱，敏感数据集可能会暴露。
精心设计的交付阶段可确保数据快速、稳定地从存储系统传输到计算系统。高吞吐量访问路径支持分布式训练作业并行读取对象存储中的数据。智能缓存可提升性能。
自动化工作流可安排训练运行、扩缩资源，并路由语义搜索查询。监控工具可跟踪延迟、吞吐量和性能异常。
安全性在此仍然至关重要。必须在使用时实施访问控制，而不能只在数据摄取时进行控制，以确保每个数据集仅供相应的模型、作业或用户使用。
F5 BIG-IP通过实施策略、验证令牌和监控请求模式来提供支持。它还可优化流量分配，使数据尽可能高效地流向计算资源。
这些功能与可扩展的S3兼容存储结合使用时，可构建一个持续为训练和微调作业提供数据的环境，从而减少GPU空闲时间，并保持可预测的性能。
三个阶段如何协同运作
虽然摄取、转换和交付是不同的流程，但三者共同构成一个持续循环。
数据摄取确保来自企业各处的最新受治理数据进入系统。数据转换将这些数据提炼为适用于训练、RAG索引或微调的高质量资产。数据交付则快速、完整地将这些资产传输至适当的计算资源。
任何一个环节存在薄弱之处，都会拖慢整个流程。此外，管道故障也普遍存在。多方资料显示，总体而言，超过80%的企业AI项目以失败告终；其中许多资料还指出，这些失败中至少有70%至80%归因于数据质量不佳或数据质量不足。
但是，如果管道在BIG-IP等安全且具有韧性的网络服务以及可扩展的S3兼容存储支持下实现端到端顺畅运行，组织就能更快地训练模型、更有信心地进行微调，并以工业级规模运行模型铸造环境。
F5可在任何位置交付并保护AI应用
要详细了解F5的AI数据交付解决方案，请访问F5 AI Data Delivery and Infrastructure Solutions网页。
F5对AI的关注不止于数据交付。了解F5如何在各种环境中保护和交付AI应用。
欢迎阅读AI数据交付系列中的其他博客文章：
关于作者
Mark Menger是F5解决方案架构师，专注于AI和安全技术合作伙伴关系。他负责开发F5的AI参考架构，推动安全且可扩展的AI解决方案。Mark曾担任全球解决方案架构师和解决方案工程师，参与构建F5安全云架构，并共同开发其分布式四层架构。他是《Solving IT Complexity》的合著者，在应对IT挑战方面拥有丰富经验。此前，他曾担任应用开发人员和企业架构师，专注于现代应用、自动化，以及加快实现AI投资价值。
Mark Menger 的更多博客文章
相关博客文章
WAF和API发现技术在保护智能体AI应用中的作用
智能体AI系统的功能和集成会在运行时快速变化。要以同样的速度保障其安全，需要通过API发现和Web应用防火墙（WAF）实施切实可行的控制措施。
