推理：被刻意忽视的 AI 核心环节

Lori Mac Vittie杰出工程师兼首席技术布道师 | F5

人人都喜欢谈论AI，仿佛AI的一切都始于API，也止于API；谈模型，谈那些显示“推理完成”的炫目仪表板。但只要深入了解其内部原理，这种假象就会不攻自破。

每个聊天机器人、智能体、RAG管道和编排层的底层，都有一台推理服务器。这不是比喻，也不是流行术语，而是一台实际存在的应用服务器，只不过运行的是模型，而不是JAR文件。与传统应用服务器一样，推理引擎是性能瓶颈出现之处，也是可观测性至关重要之处，更是安全暴露面实际所在之处。

问题在于，几乎没有人这样看待推理引擎。

企业中的推理并非纸上谈兵

根据Uptime Institute《2025年AI基础设施调查》，32%的数据中心运营商已在支持推理工作负载，另有45%表示将在未来几个月内开始支持。这并非实验，而是计算基础架构正在发生转变，而我们目前对这一转变仍大多缺乏洞察。

推理服务器并非理论概念，而是已有具体实现，例如vLLM、TGI、Triton和Ollama。它们不能相互替代。以vLLM为例，已有研究表明，其性能优于Hugging Face Transformers，最高可达24倍；得益于PagedAttention和批量调度等架构改进，其持续吞吐量比TGI高出3倍以上。这些并非优化上的细微差异，而是会对基础设施产生实际影响。

这里说的是实际数据：在批处理模式下，vLLM可持续实现每秒超过500个token，而TGI每秒不足150个。提示词评估时长缩短40%以上，可直接加快响应速度并提高GPU利用率。在生产环境的处理循环中，这决定了推理能否扩展，还是会在负载下停滞。

而且，优势不止体现在性能上。vLLM和Ollama等工具可提供详细的遥测数据，包括总耗时、令牌级评估窗口，以及提示与响应的耗时明细。这些数据不仅涵盖令牌数量，还能显示每个令牌在何时、何处计算，以及计算耗时。借助这种粒度的数据，可以排查漂移问题并实施防护措施。缺少这些数据，就只能在缺乏可观测性的情况下盲目扩展。

与此前的应用服务器类似，推理是应用交付和安全与AI交汇的环节。在这里，流量导向和负载均衡得以实现；系统会检查、分析并处理有效负载，以确保安全和隐私；还会清理提示词、过滤响应并优化性能。推理是AI架构中的战略控制点，组织可在此应对始终困扰应用和API的十大交付挑战，无论是传统应用、现代应用还是AI应用。

为何推理环节被忽视

推理往往被忽视，因为我们仍局限于API领域。但如果认为推理只是入口后面的另一项服务，那是因为还没有尝试过在负载下调试RAG循环、追踪并发智能体链中的错误触发，或处理受监管的大语言模型（LLM）中的提示词注入问题。这类模型必须记录每项决策，以供审计。

这不是理论上的问题，而是随时可能出现的网络瓶颈。

推理服务器是承载模型的容器，是运行时环境、瓶颈所在、安全边界，也是实际扩展AI的地方。模型本质上是数学，是一个数据集，就像一张复杂的Excel电子表格。需要扩展的不是模型本身，而是加载模型的推理服务器。

因此，如果您确实希望将AI投入实际运营，就不要再空谈抽象的架构图，而应开始提出更具挑战性的问题：

• 我们正在运行哪些推理引擎？
• 它们部署在哪里？
• 谁可以访问它们？
• 我们会针对每个请求收集哪些遥测数据？

这些并非学术层面的担忧，而是基础设施层面的现实。忽视这些问题的时间越长，AI部署就越脆弱。模型很重要，API也有帮助，但推理才是真正经受现实考验的环节。如果无法扩展推理能力，就无法扩展AI。

推理是AI基础设施的关键组成部分

大多数组织仍采用混合方式部署AI，既借助基于SaaS的工具获得便利，也在谨慎探索自托管推理。问题在于，SaaS掩盖了棘手环节。推理被封装在简洁的API和完善的UI背后，您看不到引擎故障、GPU过载或提示词处理时序偏移。但一旦进入自托管领域（这将不可避免），所有这些问题都需要自行应对。性能、可观测性和安全性并非“锦上添花”，而是必备条件。

如果贵组织不了解推理在底层的实际工作原理，就谈不上制定AI战略，而只是寄希望于他人能够正确实现。

关于作者

Lori Mac Vittie杰出工程师兼首席技术布道师 | F5

Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师，在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构，还是探索可扩展系统的极限，她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前，她曾担任技术编辑，并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位，著述颇丰，出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏，并且对奶酪有着毫不掩饰的鲜明见解。

Lori Mac Vittie 的更多博客文章