检索增强生成(RAG)已成为生成式AI领域的一项有效技术,可将外部可用数据(通常是专有数据或特定领域数据)集成到使用大语言模型(LLM)的工作流中。RAG会检索相关上下文,并在发出请求前将其作为额外的提示上下文,从而提高AI响应的效率和准确性,突破仅能利用训练数据集的独立模型所能达到的水平。

什么是检索增强生成(RAG)?

RAG是检索增强生成的缩写。该名称突出了其核心原理:通过检索实时或频繁更新的数据来增强基础AI系统或AI模型,从而提供更符合上下文的答案。

RAG有哪些用途?

RAG用于应对AI领域的一项根本挑战:即使底层LLM使用过时信息进行训练,如何让静态模型持续采用最新且最相关的数据。RAG的常见应用包括:

  • 客户支持:AI驱动的聊天机器人可检索最新的产品手册、系统状态信息和客户历史记录,从而更快地提供更有针对性的解决方案。
  • 实时分析:企业利用金融市场数据流、社交媒体趋势或物联网(IoT)设备数据流,提高决策的准确性。
  • 知识管理:内部Wiki、研究档案和其他内容存储库可提供重要参考信息,而AI模型无法仅通过训练存储这些信息。

RAG在生成式AI用例中的工作原理

大多数生成式AI模型都在固定的训练周期内学习信息。训练结束后,模型保留的知识仅涵盖截至某个时间点的信息,或受特定数据范围限制。RAG会在推理时(即收到用户查询时)从外部来源获取最新的相关数据,从而扩展模型的知识。

  1. 检索:系统从包含最新信息的存储库中识别相关性最高的文档、数据库条目或向量嵌入。
  2. 增强:模型将检索到的内容用作额外的“提示”或上下文,并将其与底层训练数据无缝整合。
  3. 生成:生成最终响应,并融入最新数据或特定领域的数据,实现仅靠静态模型无法复现的效果。

RAG语料库管理

为确保RAG可靠运行,组织通常会维护一个持续更新的语料库,其中包含结构化和非结构化数据,并可通过向量数据库或知识图谱便捷访问。妥善管理该语料库涉及数据摄取、清洗、嵌入和索引,从而确保检索引擎能够快速筛选出符合上下文的信息片段。

RAG为何重要

  • 上下文准确性:通过使回答与实时数据或组织特定数据保持一致,RAG可大幅减少“幻觉”,即AI模型生成与实际情况无关的回答。
  • 更新的信息:数据每次发生变化时,无需对大型模型进行成本高昂的重新训练或微调,RAG可让模型按需查询最新内容,从而提高响应内容的质量和时效性。
  • 法规合规性:RAG支持根据用户访问权限选择性检索数据,从而帮助满足隐私和数据保护法规的合规要求。
  • 成本效益:由于每次查询仅检索最相关的数据,因此存储和计算资源更易于管理。
  • 更完善的数据保护:由于敏感数据可与核心LLM分开检索,因此不会被固化到模型中,从而降低越狱或模型被盗时的数据泄露风险。

RAG的未来

AI技术不断进步,例如上下文窗口持续扩展,使模型能够直接处理海量文本,这似乎会降低RAG对消费者的重要性。然而,对于在多云环境中分布着海量数据的企业级组织而言,数据源仍在快速变化且分布广泛。RAG通过有选择地调用最相关且已获授权的信息来应对这一挑战,同时避免模型的上下文窗口过载或数据无序扩散。随着AI更深入地融入企业工作流,RAG有望继续成为一项关键策略,用于及时提供上下文丰富且准确度高的输出。

F5如何应对企业AI部署

F5将多云环境中分布于不同位置的数据源与AI模型无缝连接,为检索增强生成(RAG)提供安全连接,发挥着关键作用。随着企业采用先进的AI架构,F5利用F5 Distributed Cloud Services,确保企业数据访问兼具高性能与安全性。Distributed Cloud Services为网络和安全提供统一方案,支持基于策略的控制、集成式Web应用防火墙(WAF)以及传输中加密。通过从不同存储位置安全、实时且有选择地检索数据,F5帮助企业应对可扩展性、延迟和合规性方面的挑战,使AI模型能够高效运行,同时保护敏感的企业信息。

进一步了解F5如何支持企业AI部署,详见此处。