在企业中部署LLM：通过API在本地部署

F5 Newsroom Staff

如果单独使用，既未采取任何防护措施，也未实施额外的AI安全协议，那么在整个企业范围内部署生成式AI模型，尤其是大型语言模型（LLM），对任何组织而言都是一项高风险、高回报的机遇。

但贵组织究竟应如何迈出进入生成式AI领域的这重要一步，还需要周密规划。对贵组织而言，或许更合适的方式是采用软件即服务（SaaS）模式，通过提供商访问模型，从而避免配置或安装方面的问题。也可以将模型部署在贵组织的私有云或本地网络中，以便贵组织自行控制API的配置和管理。

本系列的三篇博客将探讨“如何部署？”这一问题：贵组织应如何在整个企业范围内部署LLM，以尽可能提高投资回报？每篇博客都将介绍一种常见部署框架的优势和不足，帮助您结合公司的组织架构、业务结构和具体业务需求进行评估。

定义API

应用程序接口（API）本质上是两个设备之间的数字连接，使其能够双向传递信息。API软件包含相关定义，用于确定设备之间传输的内容（例如，发出请求的客户端设备和发送响应的服务器设备），以及规定信息传输方式的协议（例如，接收设备的URL/端点，以及请求和响应都必须使用的语法、措辞和语言）。借助API，最终用户无需了解系统的工作原理或采用这种工作方式的原因，即可登录应用程序在网站上购买商品、预约网约车，或向大语言模型（LLM）发出查询并接收回复。API可以受到监控和保护，因此客户端设备上的数据不会完全暴露给服务器设备。

本地部署的定义

本地部署系统是指将应用程序（在本例中为LLM）安装在组织的基础设施（服务器）上，所有有权访问该组织网络和应用程序的用户均可使用。部分本地部署系统与可公开访问的互联网隔离，即采用“物理隔离”，但仍可通过安全方式连接。

优势

数据安全与合规：在自有服务器上托管LLM，可确保您完全掌控数据及保护数据免受内部和外部威胁的安全协议。对于医疗和金融等受严格数据保护法规约束的组织而言，这一点尤为重要。

定制与控制：采用本地部署时，可以根据组织的特定任务、要求和其他需求定制大语言模型（LLM），并配置和管理API。

低延迟：本地部署的大语言模型通常可以实现更低的延迟，这对于即时翻译、实时分析或依赖聊天机器人的客户服务运营等实时应用至关重要。 

数据集成：将LLM与现有数据库和内部系统集成时，无需担心数据传输过程中的安全问题。

成本控制和可预测性：本地部署解决方案的初始设置成本可能较高，但无需持续支付可能上涨的第三方费用、订阅费或托管费，也不存在供应商锁定问题，因此长期来看可能更经济。使用本地部署模型，可以更顺畅地实现任务自动化，并针对其他用途对模型进行微调，从而增加有助于节省成本和创造收入的任务数量。

缺点

初始成本高： 部署本地LLM所需的本地硬件和软件，包括确保有足够的物理空间和电力供应，可能成本高昂且耗时。

维护要求：本地部署解决方案需要持续维护并承担运营开销，包括硬件维修、软件更新和安全措施，可能会占用大量资源。 

复杂性和可扩展性：扩展本地部署的LLM可能既复杂又成本高昂，通常需要购买额外的硬件，并在升级时暂停系统，因为扩容或缩容无法按需进行。 

访问受限：从不同地点访问本地部署解决方案可能不够便捷或安全，远程访问可能需要使用虚拟专用网络（VPN）或其他安全通道。除非组织已规划并持续维护关键冗余，否则天气事件或其他问题导致的本地系统故障可能会影响连接。

结论

要确定在企业内部部署LLM是否有益，必须认真评估组织的财务和技术资源、业务需求，以及安全或其他运营限制。

关于作者

F5 Newsroom Staff

F5 Newsroom Staff 的更多博客文章