AI应用交付十大问题：资源利用率低

Lori Mac Vittie杰出工程师兼首席技术布道师 | F5

最初的ADC10重点关注每个运维团队都熟悉的问题：计算、存储和网络资源利用效率低下，会推高成本并限制可扩展性。过度配置会浪费资金，配置不足则会影响性能。如文中所述，解决办法是优化流量分配、采用智能健康检查和可编程控制，从而提高整个系统的资源利用效率。这一点至今仍然适用。

AI带来的变化是，资源利用率不再可预测。

传统应用消耗资源的方式相对稳定，而AI系统并非如此。AI系统的资源需求具有突发性，需要大量计算资源，并且会因请求而产生显著变化。这使原本的容量规划问题转变为实时资源分配问题。

资源利用率低下的后果

对性能的影响

在传统系统中，资源利用效率低下会表现为负载分布不均：部分服务器处于空闲状态，而其他服务器则不堪重负，导致响应时间延长和容量浪费。AI则会带来另一种不平衡。

推理工作负载并不均衡。某个请求可能非常简单，而另一个请求则可能因提示词大小、上下文长度或推理深度而消耗高出数个数量级的计算资源。即使使用同一模型，不同请求的性能也可能存在显著差异。

这种差异使有效预测和分配负载变得更加困难。

如果路由请求时未考虑其计算负载，就会形成热点。GPU或推理节点会意外达到饱和，队列不断积压，延迟骤增。与此同时，其他资源因未被选中处理该工作负载而处于利用不足状态。

因此，分布不均这一常见的性能问题依然存在，但成因发生了变化。问题不再只是发送了多少请求，而在于处理每个请求需要多少计算资源。

对可用性的影响

最初的ADC10将资源利用率低下与更广泛的交付问题联系起来，其中包括高效维持工作负载的能力。对于AI而言，资源利用效率低下可能会对可用性产生不成比例的直接影响。

AI工作负载受稀缺资源制约，尤其是GPU等专用计算资源。当这些资源耗尽时，系统性能不会平稳下降，而是会停滞。请求进入队列或失败，超时情况也会增加。

更具挑战的是，可用性不仅取决于容量，还与资源分配决策密切相关。

整个系统的总容量可能足够，但如果无法在适当的位置、适当的时间或针对适当类型的请求使用这些容量，系统就会表现得像资源已经耗尽。模型端点可能在技术上处于在线状态，却无法接受更多任务。某个区域可能有闲置容量，但由于延迟或合规限制而无法使用。成本较低的模型可能可用，却因路由逻辑过于僵化而未被选中。

这会导致可用性分散。系统仅部分可用，具体取决于请求在系统中的路由路径。

这比单纯保障正常运行时间更为棘手，需要具备在不同模型、区域和层级之间实时智能转移工作负载的能力。

对可扩展性的影响

资源利用效率低下会迫使组织过早横向扩展，增加更多基础设施来处理原本可以更高效管理的工作负载。过去，这会导致资源过度配置，而在云环境中，成本可能因此急剧上升。AI会显著加剧这一趋势。

推理成本高昂。用于存储嵌入和上下文的空间需求快速增长，数据管道也随之扩展。如果资源利用效率不高，通常的应对方式是增加容量。这种方式短期内有效。

但这种做法很快就会在财务和运营层面难以为继。扩展AI系统并非只是增加更多服务器，而是要管理由多种计算类型构成的复杂组合，每种类型都有不同的性能和成本特征。

如果利用率不高，扩展规模非但无法解决问题，反而会加剧低效。

另一种做法是更明智地决定如何使用资源，包括为任务选择合适的模型、优化检索上下文的时机和方式，并确保根据实时状况而非静态规则分配工作负载。

换言之，可扩展性并不主要取决于基础设施的规模，而更多取决于能否智能地利用这些基础设施。

对运营效率的影响

资源利用率低一直会增加运营成本和复杂性。过度配置会造成资金浪费，配置不足则会引发资源争用，迫使系统被动扩容。AI会进一步加剧这两方面的问题。

由于工作负载难以预测，团队往往会过度预留资源。为避免出现性能问题，他们配置的容量通常会超过预估需求。这会导致大量资源闲置，尤其是在需求波动时。

与此同时，意外的需求峰值仍会出现。即使已过度配置资源，复杂推理请求激增仍可能使可用资源不堪重负。团队因此既要应对容量浪费，又要处理性能下降问题。

从运营角度看，这意味着需要持续权衡取舍。

团队需要投入时间调优阈值、调整路由规则，并设法了解某些工作负载为何会消耗不成比例的资源。由于工作单元不再统一，可观测性变得更加重要，但实现起来也更加困难。

因此，效率取决于可见性和控制能力。缺少其中任何一项，资源管理都会变得被动且成本高昂。

优化资源利用率的实用方法

可编程基础设施与动态分配

对于传统应用，可编程基础设施和动态流量调度是关键解决方案。组织可根据实时指标路由流量，从而平衡负载并提高整个系统的利用率。对于AI，这种方法至关重要。

静态负载均衡假设各个请求大致相同，但AI打破了这一假设。请求已无法再用于预测资源消耗。路由不能只依据连接数或简单的算法分配，还需要了解请求成本、模型性能和系统状态。

可编程能力支持实时调整。可根据延迟、成本或可用性，将请求定向到不同的模型。随着条件变化，可在不同区域或集群之间转移工作负载。资源受限时，可限制高成本操作的速率或将其推迟执行。

这使资源利用成为主动控制闭环，而非被动产生的结果。

通过智能路由提升效率

ADC10的核心在于高效利用资源。AI拓展了“高效”的内涵。

这已不再只是均匀分配流量，而是要将合适的工作负载与合适的资源相匹配。

这可能意味着针对较简单的请求使用较小的模型，而不是默认使用功能最强大的模型；也可能意味着限制上下文大小，以降低计算成本；还可能意味着缓存或复用结果，而不是重新计算；也可能意味着识别出根本不应使用AI的情况。

所有这些决策都超出了传统负载均衡的范畴。它们不仅需要了解流量，还需要理解意图。

应用交付由此再次演进。路由转变为资源编排。目标不只是让系统保持忙碌，而是确保每个计算单元都得到有效利用。

结论

ADC10始终致力于避免资源浪费，确保高效利用基础设施，为性能、可用性和可扩展性提供支持。

AI带来的是波动性。

资源消耗不再可预测。不同工作负载的成本差异很大。专用计算带来了新的限制。由于每个请求的成本更高，低效问题会更快加剧。

应对措施沿用原有指导原则的模式，但紧迫性更高。

您需要了解资源的消耗情况，需要通过可编程能力实时调整，还需要做出更智能的路由决策，不仅考虑请求数量，还要考虑每个请求的实际成本。

因为在AI驱动的系统中，资源利用率低带来的不只是浪费。

这会迅速导致性能下降、可用性受限和成本失控。

详细了解全球组织面临的十大应用交付挑战。

关于作者

Lori Mac Vittie杰出工程师兼首席技术布道师 | F5

Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师，在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构，还是探索可扩展系统的极限，她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前，她曾担任技术编辑，并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位，著述颇丰，出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏，并且对奶酪有着毫不掩饰的鲜明见解。

Lori Mac Vittie 的更多博客文章