Meta最近发布了Llama 4系列大语言模型，包括Scout、Maverick和预览版Behemoth。其中，Scout支持1,000万token的上下文窗口。此后不久，X、LinkedIn及其他论坛上关于检索增强生成（RAG）将被淘汰的讨论日益增多，认为如此庞大的上下文窗口可能会让RAG失去作用。然而，考虑到上下文窗口的复杂性、不断变化的企业数据、分布式数据存储、监管问题、模型性能，以及RAG与企业级AI应用的相关性，我们认为RAG仍将是一种基础性的生成式AI设计模式。
RAG是企业的关键架构
尽管Llama 4已支持1,000万token的上下文窗口，RAG仍是企业AI应用的关键组成部分。企业使用的数据集通常分布在不同系统中，并且会持续动态变化。RAG使模型能够从这些海量数据存储中实时检索并整合最新、最相关的信息，确保AI输出准确且符合具体情境，而这些情境会因组织、团队或用户而有很大差异。对于客户支持、市场分析和知识库等需要最新知识的应用，实时检索至关重要。
如果仅依赖大上下文窗口而不进行外部检索，不仅效率可能较低，还可能带来安全隐患。持续向模型输入数据后，将更难控制哪些人员可以访问这些数据、数据是否得到安全存储，以及数据是否可能通过日志或模型输出意外泄露。随着数据量增加，内部威胁、恶意提示或意外泄露的可能性也会增大；如果机密记录处理不当，组织还可能面临违反隐私或合规要求的风险。
采用RAG后，企业可以仅检索与每次查询最相关的数据，从而满足地区和行业特定的监管要求。这些要求通常需要选择高度相关的数据。此方法可缩小攻击面，同时确保持续执行基于角色的访问控制、传输中加密和详细审计机制等策略。选择性检索不仅能降低计算开销，还能将敏感资产的暴露范围严格限制在推理时所需的内容，从而保持稳健的安全态势。
“持续向模型输入数据后，将更难控制谁可以访问这些数据、数据是否得到安全存储，以及数据是否可能通过日志或模型输出意外泄露。”
上下文窗口及其影响
在大语言模型（LLM）中，上下文窗口是指模型在单次输入中可处理的最大token数量。扩大上下文窗口后，模型可以同时考虑更广泛的信息，从而支持更细致的对话、更全面的分析，并提升个性化程度。作为参考，由100,000个token组成的原始文本大小约为325 KB；包含1,000万个token的上下文相当于约32 MB的文本数据。凭借这一容量，Llama 4 Scout可以在单次查询中处理大量信息。
扩展上下文窗口虽然可以一次处理更多数据，但也会给模型性能、准确性和效率带来挑战。处理数百万个token需要大量计算资源，因而会增加延迟和运营成本。随着上下文长度增加，模型可能难以在整个输入范围内保持注意力和相关性，进而影响AI输出的质量。对此，作家兼知名AI专家Andriy Burkov博士在X上写道：“宣称的10M上下文是虚拟的，因为没有任何模型使用超过256k个token的提示词进行过训练。这意味着，如果向模型发送超过256k个token，大多数情况下都会得到低质量的输出。”
更大的上下文窗口带来了新的机遇，但平衡性能与资源利用率至关重要。理想的做法是提供所有相关信息，同时不加入任何不必要的内容。事实上，一些研究似乎表明，与人类一样，向大语言模型（LLM）输入过多信息会削弱其识别重点和保持专注的能力。如需深入了解这一主题，可参阅白皮书《迷失在中间：语言模型如何利用长上下文》。
部署高级AI模型时的基础设施考量
许多企业发现，要在不影响性能或传输中数据安全性的前提下，安全连接数百乃至数千个分散各地的数据存储以用于RAG，难度很大。整合本地、混合和多云存储位置，需要高性能的全球互连架构，例如F5 Distributed Cloud Services所提供的架构。通过集成式WAF和基于策略的控制，确保只有获得授权的LLM端点才能访问数据，企业可显著降低管理多个网关或VPN所带来的风险和开销。
通过提供统一的网络和安全方法，F5 Distributed Cloud Network Connect可简化RAG实施，使组织能够无缝连接分布式数据源，从而获得更准确、更及时的LLM驱动型输出。此外，借助F5 AI Gateway，组织可以防范可能突破数据安全边界的提示词注入攻击，从而确保在推理阶段实施纵深防御。
部署Llama 4 Scout等具有超大上下文窗口的模型，需要稳健高效的基础设施。为保持低延迟并确保顺畅运行，必须使用能够处理大量数据吞吐的高性能代理。部署在NVIDIA BlueField-3 DPU上的F5 BIG-IP Next for Kubernetes可为此提供切实可行的解决方案，针对云规模AI基础设施和AI工厂提供高性能流量管理和安全防护。
通过将数据密集型任务卸载到DPU，可以释放CPU资源用于核心应用进程，从而提高整体系统效率。借助多租户支持，多个AI工作负载可在同一基础设施中安全高效地运行，非常适合AI云、超大规模云服务商和服务提供商。对于希望利用具有超大上下文窗口的模型，同时保持出色性能和安全性的AI工厂而言，这些能力不可或缺。
另一个重要考虑因素是，大型且变化幅度较大的上下文窗口可能导致资源消耗显著波动。因此，更需要根据可用计算容量对传入请求进行智能均衡。先进的自适应负载均衡解决方案有助于将这些大型查询分配到多个集群或区域，从而缓解瓶颈，并在复杂的AI部署中保持整体性能，即使这些解决方案并不能直接降低计算成本。
RAG仍将长期存在
如今，RAG仍然一如既往地重要，其价值并不局限于上下文窗口的扩展。一项关键优势是，它可以根据用户的访问权限定制数据检索。另一项优势是，它无需重新训练或微调模型，即可纳入时效性信息。考虑到企业数据规模庞大，这一点尤为重要：企业可能希望将这些通常达到TB甚至PB级的数据与AI模型集成。
上下文窗口扩展方面的创新令人瞩目，例如Llama 4 Scout支持1,000万token的上下文窗口，这标志着LLM取得了重大进展，但仍需审慎使用上下文。较大的上下文窗口会增加成本和延迟，在某些情况下甚至可能降低最终响应的质量。随着组织扩展AI应用，还需要强大的基础设施和安全控制措施来确保高性能，这一点同样重要。
F5对AI的关注不止于此，了解F5如何在任何环境中保障AI应用安全并实现交付。
关于作者
Hunter Smit是F5解决方案与战略产品营销高级经理。他负责F5产品组合的解决方案营销工作，涵盖AI基础设施和应用安全，并推动F5进军新兴的AI数据交付市场。Hunter是Whitworth University商学院顾问委员会成员，并曾担任产品营销兼职讲师。他拥有Whitworth University工商管理硕士学位和管理学工商管理学士学位。
Hunter Smit 的更多博客文章相关博客文章
Thingbot正转变为攻击平台
Lori MacVittie重点介绍了F5 Labs对2018年1月至6月全球物联网设备攻击的研究，并指出了其中令人警醒的影响。物联网设备不仅持续遭到利用，还被转变为攻击平台，这意味着攻击者可以更充分地利用这个必然增长的市场。
借助F5全新Quick Start，在AWS上快速开展业务
在AWS re:Invent开幕前，我们很高兴与大家分享F5与AWS之间全新的Quick Start集成。F5的Tom Atkins将介绍该服务如何启动、配置和运行在AWS上部署工作负载所需的计算、网络、存储及其他AWS服务。