2024年初,我们推出了F5 AI Data Fabric。这是我们构建的一个新平台,旨在利用人工智能的力量为客户创造价值。F5 AI Data Fabric将帮助产品团队更轻松、更安全地在整个产品组合中使用生成式AI。借助AI Data Fabric,我们正在加快整个产品组合采用AI的步伐,为合作伙伴和客户带来切实的益处。
这是本系列博客文章的第一篇。该系列将深入介绍AI Data Fabric是什么、如何运作,以及它如何帮助我们将一些出色的AI赋能新功能推向市场。作为系列开篇,我们将重点介绍为实现快速采用这一目标提供指导的基本原则。
让AI惠及大众
借助AI Data Fabric,我们着手构建一个系统,让产品团队中的更多成员都能使用AI,包括不具备数据科学背景的领域专家。该系统整合了数据处理管道、多个基础Transformer模型、共享模块生态系统、MLOps,以及通过软件开发工具包(SDK)开放的控制平面。
F5 AI Data Fabric 的核心是一个AI 工厂,旨在帮助 F5 利用 AI 快速创新。与成熟的 AI 工厂一样,AI Data Fabric 提供通用且可扩展的基础设施,用于构建和运行 AI 应用。它可以帮助产品团队完成以下工作:
- 生成并标注训练数据
- 训练和微调特定任务模型
- 将这些模型打包并部署到需要运行的任何位置
- 监控模型性能和模型漂移
“F5 AI Data Fabric 本质上是一个 AI 工厂,旨在帮助 F5 利用 AI 快速创新。”
满足客户当前所需
踏上这段旅程之初,我们制定了若干明确的设计目标,以推动采用。我们没有强迫用户改变工作方式,而是选择适应他们现有的工作方式。这意味着帮助用户查找并连接所有数据,支持自助服务、移动性和可移植性,构建促进协作与创新的生态系统,并利用大语言模型(LLM)加快模型训练。
连接任意位置的数据
出色的AI始于数据。F5 AI Data Fabric有助于从F5产品组合中各类产品收集的海量数据中生成洞察。与大多数大规模运行应用的企业一样,我们认识到,数据分布在许多不同的存储中,而非仅位于单一数据湖。我们支持部署在本地以及多个公有云和私有云中的应用和数据源;无论数据位于何处,AI Data Fabric都能连接数据,并为其配置计算资源。统一的数据目录可帮助用户浏览众多数据源,同时让我们的团队能够遵循F5的数据治理策略,确保对数据资产实施适当的控制和审计。借助这一策略,我们无需改变用户的工作方式,即可跨多个数据湖和数据源,从不同应用和产品的数据中生成洞察,并对这些数据进行管理和治理。
支持自助服务
让用户能够为数据附加计算资源只是其中一环。为了推动采用,我们必须审视数据科学用户的整个使用旅程,并找出可以减少阻碍的环节。
AI应用的打包和部署就是一个很好的例子。我们承担了大量繁重工作,为用户减轻负担。AI Data Fabric可以管理Python依赖项,将AI应用与HTTP服务器一起打包到容器中,在API网关中配置相应端点,并根据所需的GPU、CPU和内存要求,将AI应用部署到任何需要它们的Kubernetes环境中。试想一下,通过易于使用的SDK,在一个自动化工作流中完成模型的训练、打包和部署。借助该系统,数据科学家可以在10至15分钟内部署新版AI应用。减少阻碍,有助于数据科学家专注于自己擅长的工作:数据科学。
面向AI迁移与可移植性进行构建
这再次体现了我们如何满足客户的实际需求。所有构建的容器都存储在AI Data Fabric的容器注册表中,用户可以在任何需要运行AI应用的位置进行部署,即使在物理隔离环境中也不例外。
构建生态系统
要加快AI应用,就需要快速协作,并充分利用前人的成果,在此基础上继续构建。AI Data Fabric内置了一个“AI生态系统”,其中包含用于执行常见及复杂AI功能的工具和预构建模块。用户将模块和模型贡献回生态系统,可以切实加速创新。这些模块涵盖预构建的异常检测和分类模型,以及用于执行检索增强生成(RAG)的应用等。
利用LLM加速模型训练
为进一步加快应用,我们将智能体AI的原理应用于F5 AI Data Fabric,最终构建出一个能够训练和部署模型的系统。该系统可让模型对数据进行推理,利用AI分析由此获得的洞察,然后确定并完成任务。简而言之,我们使用大语言模型生成数据,进而帮助训练规模更小、针对特定任务的模型。训练数据标注就是一个很好的例子。这项工作给数据科学家带来了沉重负担,而我们可以帮助减轻这一负担。AI Data Fabric连接训练数据,从中提取含义,再利用AI对提取的含义进行推理以完成标注任务,最后将标注后的数据推送到其他位置。
优势
注重易于采用,对我们的产品团队意味着:
- 效率:AI Data Fabric可加快协作、模型开发和部署。
- 规模:我们可以通过高度自动化的方式控制、管理和维护数千个模型。
- 降低风险:将最佳实践与通用的标准化系统相结合,用于处理数据和运行自有模型,可以显著改善治理、保护客户数据,并有助于确保符合法规要求。
展望未来
我们已使用F5 AI Data Fabric在公司内部支持多个关键项目,包括AI助手、分类器模型训练,以及为Web应用和API保护(WAAP)用例生成特征码。这些强大功能依托AI Data Fabric的基础模型和服务,实现模型训练、微调、部署和推理。
我们非常期待借助F5 AI Data Fabric为客户和合作伙伴创造价值。后续还将分享更多内容,敬请关注未来的文章。届时,我们将详细介绍所采用的部分技术、已经克服的挑战,以及由此支持的具体产品功能。
相关博客文章
Thingbot正转变为攻击平台
Lori MacVittie重点介绍了F5 Labs对2018年1月至6月全球物联网设备攻击的研究,并指出了其中令人警醒的影响。物联网设备不仅持续遭到利用,还被转变为攻击平台,这意味着攻击者可以更充分地利用这个必然增长的市场。
借助F5全新Quick Start,在AWS上快速开展业务
在AWS re:Invent开幕前,我们很高兴与大家分享F5与AWS之间全新的Quick Start集成。F5的Tom Atkins将介绍该服务如何启动、配置和运行在AWS上部署工作负载所需的计算、网络、存储及其他AWS服务。