基础设施复兴有一句口号：让服务器专注于服务，让推理专注于推理。
早在技术发展初期，我曾花费数年时间埋头测试和分析SSL加速器。这些小型卡件旨在解决数字业务和电子商务迅猛增长所带来的一个重大问题：使用SSL的安全功能会占用CPU周期，成为导致性能问题的重要因素。因此，包括F5在内的业界开发了硬件来卸载这些功能，从而让服务器专注于提供服务。
如今，AI，尤其是推理，也面临同样的问题。毫不意外，类似的解决方案也随之出现，即采用专用硬件，既能让服务器专注于服务，又能让推理硬件专注于推理。
嗯，我不确定这种说法在语法上是否正确，不过暂且就这么说吧，好吗？谢啦。
正如我们所指出的，从架构上看，AI应用属于现代应用。但AI应用的核心是推理，正是这一点使AI应用有别于“常规”现代应用。
推理实战
我们已经了解了如何使用CPU和GPU集群构建AI计算综合体。要确保集群高效运行，必须维持这些计算资源之间的适当比例和平衡。每当CPU无法跟上处理速度时，成本高昂的GPU就会处于闲置状态。
实际上，推理服务器的处理工作中，只有一部分是真正的推理。其余很大一部分是对HTTP和API请求进行标准Web处理。推理服务中使用CPU且经常不堪重负的，正是这部分。当服务器端的推理处理因忙于应对请求而陷入停滞时，GPU的利用率就会越来越低。
这可能就是为什么15%的组织表示，其已购置且可用的GPU中，实际使用的不足50%（《2024年大规模AI基础设施现状》）。
造成这一问题的部分原因是，本应由基础设施承担的工作占用了CPU资源。流量管理、安全运营和监控等服务也会消耗CPU资源，增加整个系统的负载。这会降低推理服务器的容量和性能，并导致GPU资源利用率下降。
好在，这场基础设施革新的核心，是将基础设施操作卸载到一种新的处理单元DPU，从而为推理工作节省CPU资源。
值得关注的是，DPU实际上支持两种不同的模式。其中一种模式可以卸载网络处理，例如基于InfiniBand或以太网的RDMA。这对于构建需要传输大量数据的AI计算集群非常有帮助，例如训练AI模型，或扩展推理能力以服务庞大的用户群体。
但DPU也可以配置为“DPU”模式。在Kubernetes中，DPU会显示为一个独立节点，可在该节点上运行应用交付和安全等功能。通过将可预测性较低且要求更高的基础设施工作负载“卸载”到集群中的专用节点，可有效为推理服务预留CPU计算资源。这样，F5 BIG-IP Next SPK (Service Proxy for Kubernetes)等解决方案便可通过API管理并保护入站南北向AI请求，并将其合理分发到AI计算集群内相应的推理服务。
由于我们的解决方案原生支持Kubernetes，这种方法可帮助组织充分利用在通过Kubernetes管理基础设施方面积累的现有知识和投资。无论是核心、云端还是边缘环境，操作都在集群层面进行，因此在所有环境中保持一致。
这种方法还将应用交付和安全服务的管理职责分离，使网络和安全运维团队能够独立管理基础设施，而不受开发和机器学习运维团队所管理的AI工作负载影响。
最后，利用DPU提供应用交付和安全服务，可以更好地满足组织的多租户需求。这不仅涉及隔离客户工作负载，还涉及隔离模型工作负载。研究表明，组织目前平均已在使用2.9种不同的模型。通过一致的解决方案管理每个模型的使用，有助于增强组织对各个模型所使用和生成数据的安全性与隐私的信心。
这并非F5首次与NVIDIA合作，利用DPU探索AI相关用例。但这是双方首次携手开发解决方案，帮助各种规模的客户构建可扩展且安全的AI计算集群，使其能够在任何环境中安全、放心地发挥推理能力，并优化GPU资源的利用率，避免资源闲置。
关于作者
Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师，在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构，还是探索可扩展系统的极限，她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前，她曾担任技术编辑，并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位，著述颇丰，出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏，并且对奶酪有着毫不掩饰的鲜明见解。
Lori Mac Vittie 的更多博客文章相关博客文章
2023年应用策略现状：成本与复杂性是推动多云网络发展的首要因素
多云网络解决方案可在核心、云和边缘环境之间实现无缝、安全的互联，为解决当今混合IT面临的挑战提供支持，因而备受业界关注。