生成式AI正在加速AI对基础设施的影响。我们早已进入基础设施复兴期，技术人员重新开始关注并重视数据中心中长期不受重视的网络、计算和存储层。主要受摩尔定律“失效”和边缘计算兴起的推动，早在数年前，我们就已看到专用处理单元（xPU）开始崛起。
如今，生成式AI（当然，视频游戏也功不可没）让GPU成为家喻户晓的术语，也催生了GPU优化这一新需求。
这是因为GPU需求旺盛，但供应不足。各组织已经或计划将整体IT预算的很大一部分投入这种高性能硬件。其中一部分投资用于自有基础设施，另一部分则用于支持公有云基础设施。
但所有这些投入都是为了保障运行AI应用所需GPU资源的可用性。
但纵观当前形势，我们发现，在基础设施中引入新型资源会带来挑战。多年来，各组织一直将基础设施视为同质化的商品，认为它们都大同小异。
而且在很大程度上确实如此。各组织统一采用白牌服务器或品牌服务器，这些服务器都具备相同的内存和计算能力。这简化了基础设施运维，因为在流量管理中，无需考虑工作负载是在server8756还是server4389上运行。两者具备相同的能力。
但现在呢？GPU改变了这一切。如今，基础设施运维团队需要了解GPU资源位于何处以及其利用情况。而且，有迹象表明，情况可能并不理想。
根据《2024年大规模AI基础设施现状》，“15%的受访者表示，其已购置且可用的GPU中，使用率不足50%。”
当然，这15%的组织可能只是没有足够的负载，因此无需使用超过50%的GPU资源。也有可能它们确实有这样的负载，却没有充分利用这些资源。
当然，一些组织会发现自己属于后一种情况：明明还有大量闲置的GPU容量，却不明白为何AI应用的性能仍达不到用户预期。
其中一部分涉及基础设施，需要确保工作负载与所需资源合理匹配。毕竟，AI应用中的工作负载并非都需要GPU容量。能够从中受益的主要是推理服务器，其他工作负载则很少需要。因此，需要在基础设施层进行一些战略性架构规划，确保需要大量GPU资源的工作负载在支持GPU的系统上运行，而其他应用工作负载则在普通系统上运行。
这意味着，资源调配策略需要识别哪些节点支持GPU，哪些不支持。这是GPU优化的重要一环。此外，向这些资源分发请求的应用服务也需要更加智能。负载均衡、入口控制和网关负责分发请求，也是提高基础设施利用效率的重要因素。如果所有请求都流向一两个支持GPU的系统，不仅会导致这些系统性能不佳，还会让组织花费大量资金购置的GPU容量处于“闲置”状态。
这也可能意味着利用公有云中的GPU资源。而要做到这一点，就需要利用网络服务来确保共享数据的安全。
换言之，AI应用将显著影响基础设施的分布方式，以及基础设施的实时配置和管理方式。对遥测的需求将会增加，以确保运维团队能够及时了解可用资源及其位置；同时还需要有效的自动化机制，确保资源配置符合工作负载要求。
因此，组织需要实现整个企业架构的现代化。如今，重点已不再只是各个层级本身，而是这些层级如何互联并相互支持，从而满足数字化成熟企业利用AI的力量的需求。
关于作者
Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师，在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构，还是探索可扩展系统的极限，她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前，她曾担任技术编辑，并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位，著述颇丰，出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏，并且对奶酪有着毫不掩饰的鲜明见解。
Lori Mac Vittie 的更多博客文章相关博客文章
2023年应用策略现状：成本与复杂性是推动多云网络发展的首要因素
多云网络解决方案可在核心、云和边缘环境之间实现无缝、安全的互联，为解决当今混合IT面临的挑战提供支持，因而备受业界关注。