本篇博文是AI工厂系列文章之一。阅读完本文后，欢迎继续浏览本系列的其他文章。
- 面向AI工厂的检索增强生成（RAG）›
- 优化AI工厂数据摄取的流量管理 ›
- 优化边缘数据源与AI工厂的连接 ›
- 多云可扩展性和灵活性为AI工厂提供支持 ›
- NVIDIA BlueField DPU 对 AI 工厂的强大作用与意义 ›
- AI工厂的API防护：迈向AI安全的第一步 ›
- 网络分段对AI工厂的重要性 ›
- AI工厂打造现代应用的前沿形态：AI应用 ›
2022年11月ChatGPT发布时，我们提出的问题和输入的提示词都很简单：“给我讲一个关于X的故事”和“围绕主题Z，写一段人物A与人物B之间的叙事。”通过这些问题以及当时与GPT-3.5的初步互动，我们试图了解这项新兴热门技术将如何影响日常生活。到了2024年末，AI已成为生活中的得力助手，例如帮助我们调试和编写代码、汇编和汇总数据，以及驾驶自动驾驶汽车。这些都是现代AI工厂的产出，而这一切才刚刚开始。
本文是AI工厂系列文章的首篇，将探讨AI工厂的组成部分，以及不同要素如何协同工作，以规模化生成AI驱动的解决方案。
定义AI工厂
随着AI不断演进，“AI工厂”这一概念应运而生，用于形象地说明AI模型和服务如何创建、优化和部署。传统制造工厂将原材料转化为成品，与之类似，AI工厂需要对存储、网络和计算进行大规模投入，以满足大规模、高性能的训练和推理需求。
“AI工厂需要对存储、网络和计算进行大规模投资，以满足大容量、高性能的训练和推理需求。”
在这些工厂中，由服务器、图形处理器（GPU）、数据处理器（DPU）和专用硬件组成的网络协同运行，处理海量数据并执行复杂算法，以训练AI模型，使其达到较高的准确性和效率。这些基础设施经过精心设计，可满足大规模模型训练及其实时推理部署所需的庞大算力。它们采用先进的存储解决方案来管理和检索海量数据集，确保数据顺畅流动。
负载均衡和网络优化可充分提升性能和资源利用率，避免出现瓶颈并确保可扩展性。通过协调硬件和软件组件，AI工厂能够构建先进的AI模型并持续加以优化，以适应新数据和不断变化的需求。归根结底，AI工厂体现了AI开发的工业化，为支持下一代智能应用提供所需的强大基础设施。
AI工厂为何如此重要？
正如NVIDIA首席执行官黄仁勋在Salesforce Dreamforce 2024上所说：“计算机技术的发展速度从未像现在这样超越摩尔定律。”他接着表示：“我们的发展速度远超摩尔定律，甚至可以说轻松达到了摩尔定律的平方。”
随着AI投资日益成为形成市场差异化和提升运营效率的关键驱动力，规模化部署AI也变得愈发重要。为此，组织需要持续构建和优化模型，并整合知识库与实时数据。AI工厂这一概念强调，AI应是一项持续性投资，而非一次性投入。它为组织推动AI计划落地运营提供了框架，使其能够更灵活地适应不断变化的业务和市场需求。
AI工厂的组成部分
凭借帮助客户大规模部署高性能、安全的现代应用集群所积累的专业经验，F5开发了AI参考架构框架。AI应用代表着现代应用发展的前沿形态，通过API高度互联且广泛分布。该框架旨在应对交付前沿AI应用所面临的关键性能、安全和运营挑战。
七大AI构建模块
在参考架构中，我们定义了构建完整AI工厂所需的七个AI构建模块：
1. 推理
概述前端应用与推理服务API之间的交互，重点介绍如何向AI模型发送请求并接收响应，为更复杂的交互奠定基础。
2. 检索增强生成
通过添加大语言模型（LLM）编排和检索增强服务，增强基本推理功能。具体说明如何从向量数据库和内容存储库中检索更多上下文，并利用这些信息生成上下文更丰富的响应。
3. RAG语料库管理
重点介绍使用检索增强生成（RAG）进行推理所需的数据摄取流程，包括数据规范化、嵌入和填充向量数据库，为RAG调用准备内容。
4. 微调
旨在通过与现有模型交互来提升其性能。无需从头重建模型即可对其进行调整，并重点从推理和结合RAG的推理中收集数据，用于微调工作流。
5. 训练
涉及从头构建新模型，但也可能使用之前的检查点（重新训练）。该过程涵盖数据收集、预处理、模型选择、训练方法选择、训练以及验证和测试。这一迭代过程旨在创建针对特定任务的稳健模型。
6. 外部服务集成
将LLM编排层连接到数据库和网站等外部来源。它会将外部数据集成到推理请求中，但不包括分块和嵌入等文档预处理任务。
7. 开发
涵盖AI应用组件的开发、维护、配置、测试和部署工作流，包括前端应用、LLM编排、源代码控制管理和CI/CD流水线。
这些构建模块共同构成AI工厂的支柱。每个模块都在AI输出的创建、部署和优化过程中发挥着关键作用。此外，对于大多数构建模块，AI工厂计划通常更适合采用自主掌控的实施策略，而不是租用或外包，因此会从下列部署模式中选择自托管。
四种部署模式
对于其中每个构建模块，客户都必须选择合适的部署模式和实施策略（自有、租赁或外包），并确定有助于实现AI计划业务目标的适宜参考架构。以下是4种主要模式：
- AI-SaaS是指采用软件即服务（SaaS）模式部署推理服务，由服务提供商管理基础设施、模型更新和扩缩容。用户通过API与服务交互，无需操心底层维护。对于希望轻松使用和快速集成，同时避免大量额外开销的企业，这种部署模式非常合适。它还支持快速扩展，并可使用最新功能和改进。
- 云托管部署是指使用云服务提供商（CSP）提供的基础设施即服务（IaaS）或平台即服务（PaaS）来管理推理服务。在此模式下，用户负责管理服务，包括配置、扩缩容和维护，同时可利用CSP强大的基础设施和工具。此模式兼具灵活性和可控性，适合有特定要求和技术专长的组织，还可与其他云原生服务和工具无缝集成。
- 自行托管部署需要在自行管理的私有数据中心或托管数据中心内管理推理服务。此模式可提供更高程度的控制和定制能力，使组织能够根据具体需求调整基础设施和服务。不过，维护、更新和扩展也需要投入大量资源。对于有严格的安全、合规或性能要求，且基于云的解决方案无法满足这些要求的组织，通常会选择此模式。
- 边缘托管部署是指在边缘运行AI或机器学习（ML）服务，例如在零售自助终端、IoT设备或其他本地环境中运行。此模式通过在靠近数据源的位置处理数据来降低延迟，适用于实时应用以及互联网连接受限或时断时续的场景。此模式需要可靠的本地硬件和软件管理，但对于需要即时进行本地决策的用例，可带来显著优势。边缘托管部署在零售、制造和医疗保健等行业尤其有价值。
F5可在任何位置交付并保护AI应用
日常应用交付和安全所依赖的F5功能，同样也是构建完善AI工厂的关键。F5 BIG-IP Local Traffic Manager与F5 rSeries和VELOS专用硬件搭配使用，可为AI训练提供高性能数据摄取。用于安全多云联网的F5 Distributed Cloud Network Connect可连接分散的数据位置，为专有数据传输至AI模型以进行RAG建立安全通道。
F5对AI的关注不止于此，了解F5如何在任何环境中保障AI应用安全并实现应用交付。
想进一步了解AI工厂？欢迎阅读AI工厂博客系列中的其他文章：
- 面向AI工厂的检索增强生成（RAG）›
- 优化AI工厂数据摄取的流量管理 ›
- 优化边缘数据源与AI工厂的连接 ›
- 多云可扩展性和灵活性为AI工厂提供支持 ›
- NVIDIA BlueField DPU 对 AI 工厂的强大作用与意义 ›
- AI工厂的API防护：迈向AI安全的第一步 ›
- 网络分段对AI工厂的重要性 ›
- AI工厂打造现代应用新形态：AI应用 ›
关于作者
Hunter Smit是F5解决方案与战略产品营销高级经理。他负责F5产品组合的解决方案营销工作，涵盖AI基础设施和应用安全，并推动F5进军新兴的AI数据交付市场。Hunter是Whitworth University商学院顾问委员会成员，并曾担任产品营销兼职讲师。他拥有Whitworth University工商管理硕士学位和管理学工商管理学士学位。
Hunter Smit 的更多博客文章相关博客文章
Thingbot正转变为攻击平台
Lori MacVittie重点介绍了F5 Labs对2018年1月至6月全球物联网设备攻击的研究，并指出了其中令人警醒的影响。物联网设备不仅持续遭到利用，还被转变为攻击平台，这意味着攻击者可以更充分地利用这个必然增长的市场。
借助F5全新Quick Start，在AWS上快速开展业务
在AWS re:Invent开幕前，我们很高兴与大家分享F5与AWS之间全新的Quick Start集成。F5的Tom Atkins将介绍该服务如何启动、配置和运行在AWS上部署工作负载所需的计算、网络、存储及其他AWS服务。