好了，各位，先打住。我听到有人把“令牌”和“模型”之类的术语挂在嘴边，就像TikTok视频里的Z世代流行语一样，但大多数时候用得完全不对。
我说的就是这个意思。
早就该梳理一下基于推理的应用是如何构建的、令牌在哪里生成和消耗，以及各个环节如何协同运作了。准备好咖啡，我们马上开始。
什么是推理服务器？
本来不必从这里讲起，但我还是要说明一下。我们所说的“推理”，其实是指大型语言模型（LLM）基于海量数据进行推断的过程。您不会直接调用LLM。严格来说，并不存在所谓的“LLM API”；如果您这么说，我可要像妈妈一样瞪您一眼了。
用于调用推理的API要通过一个（答案揭晓）推理服务器。
推理服务器是AI模型的运行时，就像应用服务器是Java及众多其他开发语言的运行时一样。通常，在本地运行模型时需要使用推理服务器。常用的推理服务器包括Ollama、vLLM、NVIDIA Triton和HuggingFace Text Generation Interface (TGI)。
与应用服务器类似，通常会在应用服务器上部署应用程序包，而在推理服务器上部署的则是“AI包”（即模型）。推理服务器通过API提供AI模型功能，并仅设置少量API端点（例如REST或gRPC中的/generate、/completions或/embeddings），专门用于文本生成、分词或嵌入等模型推理任务。
要与推理服务器交互，需要构建一个应用。没错，就是传统应用（当然，也可能是现代应用），而且该应用将与推理服务器通信。
用户也会使用一个应用，可以在浏览器或手机上运行。该应用通常通过普通的API与您构建的应用通信。这样一来，从客户端到应用，再到推理服务器并返回的完整消息流就形成了。
没错，这其实只是三层Web应用的一种新形式，只不过数据层换成了推理层。我知道，这可真让人失望，不是吗？
最简单的AI应用是一种三层Web应用，其中数据层由推理服务器取代。
- 接收JSON请求，可选择执行检索增强生成（RAG），然后使用JSON调用推理服务器。RAG通常是指：为用户查询创建嵌入，在向量索引或搜索索引中查找相似内容，再将这些内容片段拼接到提示词中。所有这些仍然是JSON格式的流量。此时尚未生成任何模型令牌。
- 推理服务器解析JSON，并将文本分词为模型的token，检查上下文和配额，将兼容的请求分批处理并运行模型，然后将输出token解码回文本。服务器向调用方返回JSON响应。如果采用流式传输，则会在生成token时对其进行解码并发送。大多数API还会提供用量信息块，其中包含输入和输出token计数。
这就是推理。它只是一种新型应用工作负载，同样需要我们一贯重视的严谨运维，只不过如今处理的是令牌、上下文和流，而不再是会话、Cookie和查询。
那么，令牌究竟在哪里？
人们通常会在这里产生误解，使用不符合术语首要原则的表述。Token是LLM处理文本时使用的词元单位，由推理服务器上的分词器正式生成。
可以在应用中加入分词器，提前统计token数量，以便预测成本并实施本地速率限制，但最终的token数量以推理栈的统计结果为准。token是模型的表示形式，而非网络流量；网络传输的是JSON文本。只有API明确返回token ID时，才能看到这些ID。
默认情况下，基础设施看不到令牌，只能看到JSON。令牌不会通过网络传输。如果希望基础设施根据令牌执行操作，必须在网关使用相同的分词器统计令牌，或使用模型服务器发出的令牌计数。令牌是AI的计量单位，但除非将其显式提供，否则它们大多只存在于推理堆栈内部。
推理对基础设施的影响
推理并不神秘。它是一种应用工作负载，只是多了一些新的调节参数。流量采用JSON格式，令牌是模型的计量单位，嵌入是向量。如果混淆这些概念，就会设计错误的控制机制、采用错误的计价方式，并在错误的层面进行调试。例如，按JSON大小而非令牌数量进行路由，可能会因长上下文请求而导致模型过载。
如果希望基础设施根据token采取操作，就需要让它理解token。可以在网关部署分词器，也可以使用模型服务器输出的token计数。否则，路由器看到的是文本而非token，因此会在文本层面做出决策，而费用却按token累计。请注意，分词器必须与模型匹配（例如，GPT-4的分词器与LLaMA的不同），才能确保计数准确。分词器不匹配可能导致成本或限额计算错误。
衡量可用性时，不仅要看服务是否正常运行，还要看其是否可用且结果正确。像过去跟踪每秒查询数和缓存命中率一样，跟踪每秒token数、首个token生成时间和上下文故障（例如超出上下文窗口限制，或上下文饱和导致输出不连贯）。认真做好日志记录。除非明确指定，否则推理流量不属于训练数据。如果保留提示词和输出，请妥善保护。
准确命名，衡量正确的层级，并在关键位置设置限制，例如在网关实施基于令牌的配额，防止成本超支。做到这些，推理就能像技术栈的其他部分一样：可预测、成本可控，并以理想的方式平稳运行。令牌用于模型内部的决策，而不是购买网络带宽。准确理解并命名这一概念，有助于提升用户满意度并控制账单金额。
关于作者
Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师，在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构，还是探索可扩展系统的极限，她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前，她曾担任技术编辑，并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位，著述颇丰，出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏，并且对奶酪有着毫不掩饰的鲜明见解。
Lori Mac Vittie 的更多博客文章相关博客文章
