设想一下，AI推理任务不仅运行得更快、更安全，而且只需极少的设置和维护工作。听起来难以置信？基于Intel OpenVINO的最新解决方案集成了Intel E2100“Dayton Peak”基础设施处理单元（IPU）、F5 NGINX Plus和Red Hat OpenShift，让这一愿景成为现实。这一创新配置面向希望安全、高效扩展AI工作负载，同时简化安装和运维的开发者和企业。
下面将深入解析各个组成部分如何协同工作，以及这一集成为何能显著提升AI推理的安全性和可扩展性。
1. 将关键AI基础设施任务卸载到Intel IPU
该配置的核心是将关键基础设施任务卸载到Intel IPU，从而显著提升AI推理能力。这样，运行Intel OpenVINO推理服务器的主机系统便可将资源集中用于真正重要的任务：快速提供准确的推理结果。结合F5 NGINX Plus以及Red Hat的Enterprise Linux OS、OpenShift和MicroShift，该系统在性能、可扩展性与安全性之间实现了独特的平衡。
“这一创新配置专为开发者和企业而设计，帮助其安全、高效地扩展AI工作负载，同时简化安装和运维。”
核心工作流程如下：加密流量从AI客户端流向直接部署在Intel IPU上的NGINX Plus。NGINX Plus充当流量代理，解密数据并通过PCIe总线将其安全路由至托管在Dell R760系统上的Intel OpenVINO推理服务器。随后，结果通过NGINX Plus返回并交付给AI客户端。
2. 在Intel IPU上运行基础设施的主要架构优势
该工作流本身已颇具吸引力，而架构优势则进一步提升了价值。通过将基础设施任务转移到IPU，该解决方案既能带来性能优势，又能帮助管理员明确划分职责。
在Intel IPU上部署NGINX Plus的一项重要优势，是可以将基础设施任务从主机系统的CPU卸载到IPU。流量路由、解密和访问控制等可能占用大量资源的任务完全由IPU处理。因此，主机CPU可释放出更多计算周期，专注于应用特定的工作负载，例如运行更多Intel OpenVINO推理模型或处理资源密集型AI进程。
在实际场景中，这意味着可以更充分地利用昂贵的高性能服务器硬件。主机CPU无需再承担后台基础设施任务，可将全部处理能力用于最重要的工作负载。
该解决方案的另一项独特优势是将基础设施服务与应用工作负载分离。通过在Intel IPU上运行NGINX Plus、网络管理和访问控制等所有基础设施任务，同时将Intel OpenVINO推理服务器保留在主机上，我们明确划分了控制平面的职责。
Intel OpenVINO应用管理员负责管理推理工作负载、部署和扩展AI模型，以及优化应用级性能。基础设施管理员则负责监管Intel IPU环境、管理路由、通过FXP规则实施访问控制，并通过配置NGINX Plus实例，确保基础设施服务安全高效地运行。
这种职责分工消除了职责不清的问题，加强了组织内部协作，并确保每位管理员都能专注于各自的专业领域。
这些优势共同使该解决方案兼具实用性和效率，既能扩展企业AI工作流，又能保持出色的资源利用率和安全性。
3. Red Hat OpenShift 和 MicroShift：助力实现自动化和简化
该系统的一大亮点是利用Red Hat MicroShift和OpenShift DPU Operators，让配置和扩展几乎不费吹灰之力。坦率地说，亲眼看到这种自动化实际运行时，简直如同魔法一般。下面具体说明：
系统包含两个集群。一个是在主机系统上运行的OpenShift集群。具体而言，这是一个运行在Dell R760上的OpenShift工作节点。另一个是MicroShift集群，部署在Intel IPU的Arm核心上。作为OpenShift的轻量级版本，MicroShift既能提供容器的灵活性，又无需承担完整Kubernetes环境的额外开销。
这些集群通过DPU Operator协同工作，由DPU Operator在后台承担繁重任务。它们相互通信，交换有关活动Pod和网络的数据。这种连接对于动态管理安全规则和流量规则尤为重要。
真正让开发者更轻松的是动态规则创建。过去，设置用于管理PCIe流量访问控制的FXP规则，需要手动操作并掌握P4编程知识。现在，只需部署工作负载，其余一切均由operator自动处理：
每当部署带有适当标签的OpenVINO推理Pod时，Operator都会动态创建新的FXP规则。这些FXP规则支持通过PCIe总线进行通信；随着工作负载扩缩容，系统会自动调整这些访问规则，无需再凭经验猜测如何配置。
这种自动化水平让从开发人员到系统管理员的所有人都能专注于AI工作负载，而不必受困于繁琐的基础设施配置。
4. AI推理工作流实战
下面深入了解整个系统如何执行AI推理。以使用Intel OpenVINO深度学习部署工具包识别图像中的动物物种为例，具体工作流程如下：
首先，AI客户端通过GRPCS API调用发送加密的图像数据。在Intel IPU上运行的NGINX Plus解密数据，并充当流量代理。随后，这些流量通过PCIe总线安全传输至托管在Dell R760上的Intel OpenVINO推理服务器。Intel OpenVINO推理服务器使用ResNet AI模型处理图像，以确定每张图片中的动物种类。例如，模型可能会推断“这是一只金毛寻回犬”或“那是一只虎斑猫”。结果沿同一路径返回，经由NGINX Plus传送至客户端。
可将系统配置为支持多个AI客户端同时批量处理图像。即使多个客户端循环发出推理请求，系统仍能保持安全、顺畅且响应迅速。
5. 通过智能访问控制增强安全性
下面介绍该系统的一项主要优势：安全性。Intel IPU不仅处理流量，还会主动保护基础设施与主机上运行的推理工作负载之间的通信。
其工作原理如下：IPU使用FXP规则控制通过PCIe接口的流量。只有经这些动态生成的规则（由DPU运维人员管理）授权的流量才能通过。这样既能保障通信安全，又能阻止未经授权的主机系统访问。这种分层安全机制有助于降低风险，尤其适用于通过AI管道处理敏感数据的企业。
6. 此解决方案的突出优势
在我看来，这一解决方案的独到之处在于兼顾性能、自动化和安全性。通过在IPU上隔离基础设施管理，同时在主机上承载推理工作负载，Intel、Red Hat和F5共同打造了兼具效率与安全性的部署架构。
以下是这项配置带来突破性改变的原因：
- 简化设置：无需手动配置。借助DPU运算符和动态规则创建功能，系统几乎可以做到即插即用。
- 动态扩展：无论运行1个还是20个推理Pod，通信和安全规则都会自动调整。
- 增强安全性：基础设施与工作负载之间的明确隔离，结合PCIe总线上的访问控制，构建了稳健的安全边界。
- 优化资源利用率：将基础设施任务卸载到IPU，可释放主机CPU资源，用于处理高优先级计算任务。
- 明确划分职责：管理员可以专注于各自负责的应用或基础设施领域，互不干扰。
AI推理能力实现跨越式提升
这款基于Intel OpenVINO的解决方案可轻松整合硬件和软件。Intel E2100 IPU、Red Hat OpenShift和F5 NGINX Plus共同展示了如何简化复杂的AI推理管道，同时提升安全性和可扩展性。
无论您是开发人员、基础设施架构师还是企业决策者，此解决方案都为在现代容器化环境中管理AI工作负载提供了切实可行的蓝图。如果您对此感兴趣，欢迎联系Intel、F5或Red Hat，进一步了解如何将此配置融入您的工作流程。
这项技术的持续演进令人振奋，我也十分期待下一批创新成果。要了解更多信息，请在LinkedIn上观看我的演示视频。
关于作者
Paul Pindell是F5首席架构师，负责技术联盟工作，并统筹F5产品组合的技术合作伙伴关系。自2019年以来，他还在公司战略计划中发挥了关键作用，包括协助启动F5首个创新项目。Paul曾领导F5的AI战略专项团队，重点明确F5现有产品如何帮助保护和交付AI应用。此后，他协助制定了F5 AI参考架构，概述支持AI应用交付与安全所需的核心构建模块、挑战、风险和合作伙伴解决方案。Paul经常在行业活动中发表主题演讲和分会场演讲，包括OPI Summit、OCP Global Summit、Intel InnovatiON、Open Source Summit、Red Hat Tech Exchange，以及在美国和欧洲、中东及非洲地区举办的多届VMworld大会。他还是多个开源项目的创始人和维护者，担任Open Programmable Infrastructure Project外联委员会主席，并曾负责Symantec防病毒响应数据中心和安全软件测试实验室的数据中心运营。
Paul Pindell 的更多博客文章相关博客文章
Thingbot正转变为攻击平台
Lori MacVittie重点介绍了F5 Labs对2018年1月至6月全球物联网设备攻击的研究，并指出了其中令人警醒的影响。物联网设备不仅持续遭到利用，还被转变为攻击平台，这意味着攻击者可以更充分地利用这个必然增长的市场。
借助F5全新Quick Start，在AWS上快速开展业务
在AWS re:Invent开幕前，我们很高兴与大家分享F5与AWS之间全新的Quick Start集成。F5的Tom Atkins将介绍该服务如何启动、配置和运行在AWS上部署工作负载所需的计算、网络、存储及其他AWS服务。