应用交付始终致力于确保三点：性能、可用性和可靠性。从客户端-服务器架构到Web架构，再到云架构，这些原则一直是衡量各代应用架构是否成功的标准。但人工智能，尤其是推理，改变了这一考量方式。
如今，80%的企业表示正在运行自己的推理服务器。推理已不再处于实验阶段，而是已成为对业务产生实际影响的主流工作负载。然而，许多组织仍将推理端点视为“又一个API”。这种认知存在风险。与传统API不同，推理请求具有概率性，需要大量计算资源，并且对上下文敏感。将其作为传统工作负载处理，会危及应用交付的核心目标，并使组织面临新的运营和安全风险。
今天，我们将探讨推理如何重塑应用交付的性能、可用性和可靠性（PAR）三要素，分析企业必须考虑的算法差异，并重点说明这些差异对运行状况监控、负载均衡、流量优化和安全等交付技术的影响。
PAR三要素：应用交付的基础
正如安全依赖由机密性、完整性和可用性构成的CIA三要素，应用交付也建立在自身的三要素之上：性能、可用性和可靠性。
- 性能：应用的响应速度是否足以满足用户期望？
- 可用性：应用在压力下是否仍可访问并返回有效结果？
- 可靠性：应用能否长期保持一致的运行表现，值得信赖？
数十年来，这三个要素一直适用于确定性工作负载。响应可预测，正确性被视为理所当然，成本也保持稳定。推理工作负载打破了这些假设。由于推理具有概率性，且计算需求存在变化，因此必须重新定义性能、可用性和可靠性。
性能：从确定性转向概率性
在传统系统中，性能以毫秒为单位衡量。相同的请求会产生几乎相同的结果。推理则有所不同。延迟会因模型大小、输入复杂度、批处理策略和生成设置而异。即使两个提示完全相同，响应时间也可能不同。
对企业而言，这意味着衡量性能时，不仅要看平均延迟，还要看波动性和效率。也就是说，要考量令牌生成速度、负载下的吞吐量稳定性，以及成本的可预测性。
可用性：可达性必须包含正确性
传统的可用性是二元的：系统要么正常运行，要么停机。由于代码执行具有确定性，因此通常默认结果正确。但在推理场景中，可用性不能仅以可访问性为标准。模型可能处于在线状态，却慢到无法使用、上下文已饱和，或给出看似确信实则错误的答案。
如今，可用性不仅要求正确性，还要求响应及时。衡量系统时，不仅要看其能否返回答案，还要看答案是否及时且有效。
可靠性：从一致性迈向语义一致性
可靠性过去意味着，在输入相同的情况下，系统会产生相同的输出。推理工作负载打破了这一预期，因为变化是其固有特性。模型更新、重新训练和随机生成都会引入漂移。基于令牌的计费模式进一步增加了预测难度。
现在必须以语义一致性来衡量可靠性：尽管存在非确定性，系统能否持续提供质量、准确性和可预测性均可接受的输出？
算法与通信差异
推理工作负载与Web服务器和应用服务器存在根本差异：
- 批处理：为提高GPU效率，系统可能会将请求分组处理，从而打乱先进先出（FIFO）顺序，并导致延迟波动。
- 流式传输：响应按令牌逐个传送，因此交付系统需要处理部分输出和取消操作。
- 采样和搜索策略：输出的可变性取决于温度、top-k采样或束搜索等算法选择。
- 路由：模型和专家选择增加了一层确定性系统中不存在的动态行为。
这些差异会改变推理的性能和语义，而传统交付产品在设计时并未考虑应对这些变化。
安全影响
推理也会带来新的风险。根据我们的研究，84%的组织会测试或监控提示词注入、越狱或输出操纵。超过半数（56%）的组织已通过网关或中间件检查推理输入和输出。然而，仍有五分之一的企业允许未经检查的原始提示词直接传递给模型，这相当于在没有防火墙的情况下运行Web应用。
结论很明确：将推理视为常规API会使组织面临风险。如果忽视正确性和语义完整性，可用性和可靠性将难以保障。企业必须将推理专用防御措施集成到应用交付技术栈中，涵盖从运行时策略执行到对抗性异常检测的各个环节。
结论
推理已不再是未来趋势，而是已融入当今企业的生产环境。80%的组织已在运行自己的推理基础设施。然而，推理并非又一个普通的API。它带来了概率性执行、正确性风险和语义可变性，重新定义了应用交付的内涵。
在AI时代，应用交付必须与时俱进。企业必须调整战略和技术，确保由推理驱动的系统即使在底层执行本质上具有概率性的情况下，仍能保持高性能、高可用性和可靠性（可用、可预测、安全且正确）。
关于作者
Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师，在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构，还是探索可扩展系统的极限，她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前，她曾担任技术编辑，并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位，著述颇丰，出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏，并且对奶酪有着毫不掩饰的鲜明见解。
Lori Mac Vittie 的更多博客文章相关博客文章
WAF和API发现技术在保护智能体AI应用中的作用
智能体AI系统的功能和集成会在运行时快速变化。要以同样的速度保障其安全，需要通过API发现和Web应用防火墙（WAF）实施切实可行的控制措施。
