数十年来，分布式系统一直将简洁优雅的无状态模式作为设计原则和扩展策略。在这种清晰的抽象模型中，每个请求都独立于前一个请求到达，单独处理，不留下任何状态。无状态系统不会保留记忆，也因此获得了自由：无需协调即可横向扩展，单点故障不会造成连锁影响，也不必承担维护状态的运维负担。这是一种良好的模型，也曾很好地满足了某些应用的需求。
然而，AI系统揭示了这种假象。
我们如今所说的“无状态推理”，只是在实现层面无状态，而非功能层面，因为状态并未消失，只是转移到了别处。对话、推理和语义都依赖先前的上下文，因此这些上下文必须保存在某个地方。如今，我们将其置于每个请求中，以令牌形式封装并反复重放，逐轮重建，仿佛系统每次生成回复时，都要从头读完整段对话。该架构声称无状态，但在实际运行中，状态仿佛无处不在，因为事实确实如此。
所谓“上下文”，说到底，不过是流动中的状态。
每个请求都会携带历史信息。随着对话延长，这些历史信息也会变得愈发沉重。有效载荷不断增大，网络传输量随之增加，推理延迟上升，计算资源还会反复用于解析模型已经见过的信息。更大的上下文窗口和更快的硬件可以延缓这些影响，KV缓存、提示词压缩等巧妙的工程技术也能减轻负担，但都无法消除重放记忆而非维护记忆所带来的根本性低效。系统依靠重复而非设计来记忆，而重复必然会产生代价。
保持对话连贯的成本
这种成本首先体现为带宽开销，继而是计算开销，最终表现为延迟，形成一种不易察觉却持续存在的扩展压力。无状态架构曾让扩展变得更简单，因为调用之间无需保留任何信息。然而，AI工作负载却逆转了这一优势，因为保持连续性恰恰是其发挥作用的关键。一个遗忘过去的系统无法持续推理，无法保持对话连贯，也无法在会话中利用先前的知识继续推进。实际上，我们已在无状态基础设施之上构建了有状态行为，而由此带来的压力正逐渐显现。
可预见的应对方式是采用会话亲和性。
如果必须保留上下文，将其保存在靠近上次使用位置的地方会更高效。这样既可复用缓存的表示，又能避免反复传输和重建对话历史。会话之所以变得具有“粘性”，并非出于理念上的选择，而是运营上的必然，因为迁移状态的成本会变得高昂。延迟得以改善，计算资源浪费随之减少；随着内存成为影响性能的显式依赖因素，无状态的假象也进一步减弱。
然而，粘性会话也会带来阻力。负载均衡的灵活性降低，故障转移变得更加复杂，而分布式迁移能力则受内存位置限制。原本为无状态自由而构建的系统，不得不应对有状态架构的牵制。自然的应对方式是将状态外置，把会话内存放入共享存储、检索系统或上下文数据库，使任何推理节点都能继续对话，而无需重放完整历史记录。这可以恢复路由灵活性和横向扩展能力，但也会使内存成为一种架构组件，必须像管理数据一样对其进行严格管理：一致性、顺序、完整性和安全性的重要性随之凸显，而当上下文仅嵌入提示词时，这些因素并未产生同等影响。
此时，一个更深层次的问题随之浮现。它已超越优化层面，触及设计理念：我们是否还有必要继续携带完整的对话历史？
我们正逐步转向选择性状态
当前方法将上下文视为一份不断增长的对话记录，其中连续的token流会被完整重放，但机器并不受人类对话能力的限制。我们已经看到向选择性记忆转变的早期趋势：用摘要取代原始历史记录，用检索取代重复内容，并通过结构化记忆区分持久知识与临时对话。系统不再将全部历史信息一并带入后续处理，而是开始仅保留仍然相关的内容，并构建分层记忆，让即时上下文、提炼后的摘要和持久知识各自发挥不同作用。架构由记住一切转向智能记忆。
这才是正在发生的真正转变。
行业最初采用无状态计算，是因为当时计算资源稀缺，而丢弃内存数据的成本较低。AI颠覆了这种关系，使上下文和连续性成为架构设计中的核心考量。状态从未真正消失，只是在无状态设计中被传递、重放和掩盖。随着AI系统日趋成熟，这层伪装将逐渐淡化，架构也将从持续传输上下文转向有意识的内存管理。
会话仍将保持粘性，因为连续性具有价值。上下文仍会紧密关联，因为语义依赖记忆。无状态这一假象将继续消退，取而代之的是能够明确判断应记住什么、存放在哪里以及何时释放的系统。可扩展AI的未来不属于那些处处携带状态的系统，而属于能够明智管理状态的系统。
关于作者
Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师，在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构，还是探索可扩展系统的极限，她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前，她曾担任技术编辑，并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位，著述颇丰，出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏，并且对奶酪有着毫不掩饰的鲜明见解。
Lori Mac Vittie 的更多博客文章相关博客文章
恶意软件包正在摧毁我们的行业
尽管AI和自动化技术加剧了供应链滥用，开源生态系统仍缺少用于登记恶意软件包的中央注册库。该生态系统需要一种可信的方式来报告和跟踪安全失陷事件。
