如今，业界正大力推进超高效推理、令牌压缩和巧妙的编码方案，这很容易让人只顾追求性能和成本效益，仿佛可用性自然会随之提升。但事实并非如此。无论编码方案在基准测试幻灯片上看起来多么巧妙，都无法改变可用性的要求。
最近，提升令牌效率的趋势在社交媒体上引发热议，焦点是Token-Oriented Object Notation (TOON)。由于定价以令牌数量为依据，这种格式旨在减少推理所需的令牌数量。随后，各种戏仿开始出现，却被当作严肃的创新成果，并以“JSON之死”的说法传播开来。这再次证明，讽刺在文字传播中很容易失真，而炒作总是比细致分析传播得更快。
真正值得关注的并非格式之争，而是我们数十年来一直面对的同一项运营挑战：在性能、可用性和可靠性与成本之间取得平衡。硬成本体现在计算和网络资源上，软成本则体现在用户信任、品牌受损、运维人员工作量和客户流失上。任何为节假日周末做过容量规划的人都知道，这种权衡并不新鲜。
然而，对于AI推理而言，可用性如今还包括正确性。如果系统响应迅速，答案却不准确，就不能算“可用”，而是出现了故障。任何曾在凌晨3点一边握着温吞的咖啡，一边回滚变更并重新思考职业选择的运维人员，都对此深有体会。
没有一种方案适用于所有情况
因此，与任何压缩技术一样，我们应以务实而非理想化的视角看待TOON。有人可能还记得，HTTP压缩对文本内容效果很好，但对JPG等默认已压缩的图像无能为力。如今，这一区别依然存在：结构化数据并非指令。
TOON旨在优化结构化数据，并声称可大幅节省token，同时略微提高检索准确率。这对某些用户可能有用。但结构并非全部。推理系统和智能体驱动型系统处理的内容并不局限于数据库记录和API响应，还包括指令、意图和推理路径。减少数据所占用的token，并不等同于改善决策。
来看一条向智能体发出的简单JSON指令：
{
"action": "create_ticket",
"priority": "high",
"summary": "User cannot access their account",
"user_id": 84713
}
在TOON中，可将其压缩为：
action: create_ticket
priority: high
summary: User cannot access their account
user_id: 84713
简洁紧凑，但优势也仅限于此。智能体仍须结合上下文理解action的含义。“create ticket”是否需要确认、定位、分配、分类、路由或关联？TOON节省了空间，却无法提升推理的清晰度。
一篇2025年arXiv论文（2510.14453）提出了另一种方法：使用自然语言作为工具输出。研究结果显示，准确率提升超过18%，同时token数量减少超过30%。原因何在？因为模型主要基于自然语言进行训练，而不是自定义的微型数据语言。
采用他们的方法，我们发送：
为用户84713创建高优先级支持工单。问题是：用户无法访问其账户。
与JSON相比，所需token更少；与TOON相比，表达更清晰；同时也更符合模型现有的思维方式。这并非自由形式的创意写作，而是以自然语言表述、受模板约束的指令。这样不仅能减少token，而且更容易检测操纵行为，也就是说，还会带来意料之外的安全优势。
道理很简单：并非所有输入都一样，单一格式无法满足所有用例。传递大型结构化数据集时，TOON等压缩格式可能更具优势；向推理模型下达指令时，自然语言模板可能更合适。认为一种解决方案可以适用于所有场景，往往会导致服务中断。
Token 数量很重要，但并非首要的成功指标
Token数量并不是衡量AI成功与否的首要指标。它只是多变量权衡中的一个变量，其他变量还包括性能、可靠性和可用性。如今，成本也越来越需要纳入考量。优化其中一个变量并不一定能改善整个系统，有时反而会使系统变得更糟。历史上，不乏工程师追逐最显眼的指标，却忽视最重要结果的例子。
提供推理服务时，必须兼顾运营和业务两方面：
- 性能：系统响应的速度
- 可用性：是否能正确响应
- 可靠性：是否能够持续一致地响应
- 成本：企业能否在规模化应用中持续承担
减少令牌用量，但不能牺牲清晰度。提升速度，但不能以削弱推理能力为代价。优化成本，但不能将成本转嫁给重试、升级处理或人工审核。
业界几乎肯定会根据不同场景采用多种格式：TOON用于结构化数据，自然语言模板用于指令，JSON用于兼容性，此外还可能采用其他格式来处理专用工作负载。
我们仍处于早期阶段，任何宣称已决出最终胜负的人，追求的都是关注度，而非工程实效。目标不是选择最精简或最新的格式，而是选择能够带来可靠结果的格式。
如果节省成本会降低可信度，就不是在改进系统，而只是将故障转移到下游。
关于作者
Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师，在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构，还是探索可扩展系统的极限，她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前，她曾担任技术编辑，并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位，著述颇丰，出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏，并且对奶酪有着毫不掩饰的鲜明见解。
Lori Mac Vittie 的更多博客文章相关博客文章
恶意软件包正在摧毁我们的行业
尽管AI和自动化技术加剧了供应链滥用，开源生态系统仍缺少用于登记恶意软件包的中央注册库。该生态系统需要一种可信的方式来报告和跟踪安全失陷事件。
