借助F5和Intel部署、保护并优化AI模型，打造智能应用

Sanjay Shitole

AI驱动的应用日益普及，用户数量也显著增长。对2023年数据的分析发现，尽管移动应用新增下载量同比仅增长1%，但功能中集成了AI的前20款应用平均增长了11%。¹然而，如何轻松部署并保护为这些应用提供支持的AI模型，可能会成为开发人员和IT团队面临的障碍。

以AI赋能更智能的应用

新一代智能应用会根据输入的数据利用AI实现自动化，例如，保险应用可以监测恶劣天气；也可以利用机器学习进行调整并改善用户体验。Gartner预计，到2026年，30%的新应用将利用AI驱动个性化自适应用户界面，而目前这一比例不到5%。²

但许多组织缺乏构建或使用所需AI模型的技能。世界经济论坛的一项调查显示，高管估计，为了与AI有效协作，企业可能需要对多达40%的员工进行技能再培训。³为此，新的解决方案不断涌现，让开发者只需编写少量代码即可利用AI模型。

AI模型还需要大量算力，这可能带来一定限制。虽然将AI模型部署在靠近输入源的位置可以降低推理延迟，但边缘位置往往缺乏实现可接受AI性能所需的资源。

让AI更易于使用

为提升开发者的易用性并优化资源利用，Intel开发了开源工具包OpenVINO。该工具包可加速AI推理，同时占用空间更小，并支持“一次编写，随处部署”。开发人员只需编写相对较少的代码，即可开发可扩展且高效的AI解决方案。OpenVINO还可转换和优化AI模型，使其能够在数据中心、云端或边缘运行。

OpenVINO让AI更易于应用到AI推理等实际场景，但与应用一样，它也需要安全和交付功能。一个OpenVINO部署可能包含数百甚至数千个基于容器的模型服务器。要向用户或应用可靠地提供推理结果，需要监控服务器运行状况并管理流量。F5 NGINX Plus可以保护OpenVINO模型服务器。

使用F5 NGINX Plus保护AI模型

虽然可以将开源版NGINX与OpenVINO配合使用，但NGINX Plus还提供高可用性、主动健康检查和屡获殊荣的支持等实用功能。NGINX Plus还提供负载均衡和SSL终止功能，让应用和用户能够可靠、安全地连接到OpenVINO模型服务器。

为提高可用性，可将NGINX Plus部署为主备对。由主节点主动处理流量，备用节点监控运行状况，并在出现问题时接管，从而构建高可用性解决方案。内容缓存和SSL终止可减轻OpenVINO模型服务器的负载，从而提升性能。

NGINX Plus中的主动运行状况检查会监控模型服务器，确保仅将流量发送到可用服务器。使用mTLS证书保护并验证传入的加密流量，并通过分析和仪表板预判或排查服务器问题。NGINX Plus轻量易用，并为安装、部署和调试提供优质支持，可轻松满足AI应用需求。

从容构建AI驱动的应用

NGINX Plus与OpenVINO相结合，让您能够更轻松地以安全、一致的方式在任何位置为应用添加AI。可轻松部署到数据中心、云或边缘站点，同时保持可用性和性能。

将NGINX Plus与OpenVINO结合使用，只是F5与Intel持续合作的一部分。有关双方合作的更多信息，请访问f5.com/intel。

资料来源

_{1. Data.ai，《2024 年移动市场报告》，2024 年 1 月}

_{2. Gartner，对AI驱动的智能应用需求不断增长，2023年9月}

_{3. 世界经济论坛，《为何必须弥合技能差距以充分发挥AI的力量》，2024年1月}

关于作者

Sanjay Shitole

Sanjay Shitole 的更多博客文章