借助F5、Intel和Dell，让AI推理更简单、更安全、性能更出色

Kunal Anand首席产品官 | F5

各组织希望构建由AI驱动的新应用和工作流，但要成功运营这些应用和工作流并非易事。多种AI框架和应用环境增加了开发和安全团队面临的复杂性。他们需要一种解决方案，以便更轻松地构建、运行和保护快速推理。

简化AI开发与安全防护

Intel的OpenVINO™工具套件是一款开源工具套件，可加速AI推理，同时占用空间更小，并支持一次编写、随处部署。它只需相对较少的代码，即可帮助开发人员创建可扩展的高效AI解决方案。开发人员可以使用通过TensorFlow、PyTorch、ONNX等常用框架训练的AI模型。借助OpenVINO，开发人员可先转换模型，再进一步优化和压缩模型，以缩短响应时间。随后，将OpenVINO运行时嵌入应用程序，即可部署AI模型并为应用程序赋予AI能力。开发人员可以通过轻量级容器，将融入AI的应用程序部署到数据中心、云端或边缘的各种硬件架构上。

开发者可能不希望将模型与应用程序一起托管，也不希望将其嵌入应用程序。应用程序使用的模型可能需要不时更新，并且应用程序可能需要运行多个模型才能提供相应功能。OpenVINO通过OpenVINO model server提供了解决方案。该服务器是一种软件定义的高性能系统，用于在客户端-服务器架构中提供模型服务。OpenVINO model server的优势包括：

1. 轻松部署：借助基于Docker的容器化架构，使用OpenVINO model server部署模型更加简单，也更易于扩展。它屏蔽了硬件配置和依赖项的复杂性。
2. 可扩展性：OpenVINO model server可部署在集群环境中，以处理高推理负载，并根据需要进行横向扩展。这种可扩展性可确保即使在高负载下，推理性能也能保持稳定。
3. 远程推理：OpenVINO model server支持远程推理，使客户端能够对部署在远程服务器上的模型执行推理。此功能适用于分布式应用，也适用于客户端设备资源有限、需要在高性能服务器上执行推理的场景。
4. 监控和管理：OpenVINO model server提供监控和管理功能，使管理员能够跟踪推理性能和资源利用率，并有效管理已部署的模型。

OpenVINO简化了AI模型的优化、部署和扩展，但要在生产环境中运行，这些模型还需要安全保护。F5 NGINX Plus可充当反向代理，为AI模型服务器提供流量管理和保护。通过高可用性配置和主动健康检查，NGINX Plus可确保来自应用、工作流或用户的请求到达正常运行的OpenVINO模型服务器。它还支持使用HTTPS和mTLS证书来加密用户应用与模型服务器之间的通信，同时不会降低性能。

部署在同一台主机服务器或虚拟机上时，NGINX Plus会过滤入站流量，并监控上游容器的运行状况。它还提供内容缓存，可提升性能并减轻模型服务器的工作负载。这种组合能够高效保障安全，但如果部署在单个CPU上，NGINX Plus和OpenVINO模型服务器可能需要争用资源，从而导致运行速度减慢或性能下降。

提升AI模型性能

虚拟交换、安全和存储等基础设施服务可能会占用大量CPU周期，因此，英特尔开发了英特尔®基础设施处理器（英特尔® IPU），以释放CPU核心并提升应用性能。英特尔IPU是一种可编程网络设备，通过安全加速数据中心的网络和存储基础设施功能，智能管理系统级资源。它与搭载英特尔®至强®处理器的Dell PowerEdge R760服务器兼容，可为计算密集型工作负载提供出色的性能和灵活性。通过与Dell iDRAC集成式管理控制器集成，可对IPU进行闭环热控制。

将Intel IPU与Dell PowerEdge R760机架式服务器搭配使用，可以提升OpenVINO模型服务器和F5 NGINX Plus的性能。借助Intel IPU的硬件加速器，在Intel IPU上运行NGINX Plus可提高性能和可扩展性。这种组合还可为AI模型服务器保留CPU资源。

将Intel IPU与NGINX Plus集成，可在NGINX Plus与OpenVINO模型服务器之间形成安全气隙。这一额外的安全层可防范潜在的共享漏洞，有助于保护AI模型中的敏感数据。

为边缘AI提供强劲动力

F5、Intel和Dell的联合解决方案可更轻松地支持边缘AI推理。在Intel IPU上运行NGINX Plus，可提供更快速、更可靠的响应，为视频分析和物联网等边缘应用提供支持。

该解决方案也适用于内容分发网络，可优化缓存和内容分发，并支持需要确保跨环境可靠性的分布式微服务部署。

借助F5、Intel和Dell提升AI安全性与性能

借助软硬件一体化解决方案，在任何位置安全、一致地为高性能AI推理提供支持。轻松将AI推理部署到数据中心、云端或边缘站点，同时保持可用性和性能，为用户和AI驱动的应用提供支持。

访问f5.com/intel，详细了解F5与Intel的合作关系。

关于作者

Kunal Anand首席产品官 | F5

Kunal Anand担任首席产品官，负责领导F5产品组织。他负责产品愿景、战略和执行，推动开发突破性解决方案，以应对关键挑战，并为客户打造卓越体验。在此前担任首席技术与AI官期间，Kunal制定了公司的技术与AI战略和愿景。 加入F5之前，Kunal曾在Imperva同时担任首席技术官和首席信息安全官。2018年，Imperva收购了他于2013年联合创立的应用安全初创公司Prevoty，他也由此加入Imperva。在加入Prevoty之前，他曾担任BBC Worldwide技术总监。Kunal拥有深厚的创新经验和技术专长，曾在Gravity、MySpace和NASA Jet Propulsion Lab担任领导职务，负责安全、数据、技术和工程团队。 Kunal在AI和机器学习领域拥有超过15年的经验，涵盖模型训练、运用AI驱动的算法增强产品，以及设计和实施AI架构。 Kunal拥有Babson College计算机科学理学学士学位。

Kunal Anand 的更多博客文章