如果说云原生应用只是几根花园水管，那么AI推理和智能体系统就像一套工业喷淋阵列，控制它的是一个戴着消防头盔、手拿果汁盒的幼儿。您以为自己知道水会喷向哪里，其实并不知道。等到意识到时，某个昂贵的设备早已被淋湿。
推理工作负载和智能体驱动的执行方式与传统服务不同。它们不会遵循可预测的请求路径，不会始终如一地重复工作流，发生故障时也不会给出友好提示。它们会自行塑造运行时，根据部分结果重定向，在它们认为合适时重试，并以波动极大的突发方式消耗资源。如果可观测性策略建立在平均值、汇总数据或30秒刷新一次的仪表板之上，那就是运维失职。
对性能的影响
推理延迟并非单一指标，也不局限于某个层级。它受模型选择、token数量、GPU队列深度、上游数据访问时间，以及智能体在运行过程中执行的各种提示词操作影响。智能体还可能在未预先说明的情况下进行分支、串联或重试，使情况更加复杂。
如果无法从意图、令牌生成、模型路径和执行链路层面洞察性能，就会错误归因于某个组件、优化错误的层级，或扩展错误的资源。与此同时，用户（无论是人还是自动化系统）只会得出一个结论：“AI太慢了。”
对可用性的影响
传统健康检查只能回答：“是否有响应？”AI工作负载需要回答：“响应是否符合此任务的预期？”
推理系统很少会直接宕机，更多时候是逐渐退化，表面上应答得体，实际却无法使用。如果无法了解任务类型、预期延迟下限和质量阈值，响应缓慢、命中过期缓存或不易察觉的幻觉都可能看似正常。随着智能体不断叠加决策，重试会形成难以察觉的循环，在系统崩溃前一直表现得像正常流量。
这里的运维噩梦并非停机，而是看似成功，结果却不正确、不完整或不符合上下文。
对可扩展性的影响
无法观测，就无法扩展；无法归因，更无法优化成本。AI容量规划必须考虑以下因素：
- 令牌吞吐量
- 模型并发能力和模型切换成本
- GPU饱和度
- 智能体重试次数倍增
- 每次调用成本
- 链式步骤间的执行时间延长
如果缺乏这种程度的可见性，就会在过度配置（造成不必要的财务支出）和配置不足（引发支持请求、产品经理不满和升级处理会议）之间摇摆。两者都不能证明成熟度，反而都说明存在可观测性欠账。
实践建议
全面实现AI可观测性，关键不在于收集更多日志，而在于更快地捕获更丰富且与行为一致的遥测数据，从而了解AI试图执行什么、实际执行了什么，以及为此消耗了哪些资源。这需要通过检测机制，不仅说明发生了什么，还要解释原因、所依据的假设以及付出的成本。
这意味着，需要追踪由智能体组装的工作流的执行沿袭，将成本和延迟提升为一等运维信号，依据意图而非端点关联模型行为，并将智能体声明的预期纳入可观测性元数据。元数据从“请求信息”演变为“运行时契约”，在调用级别纳入延迟预算、重试偏好、数据敏感度标签、智能体优先级层级和成本上限。
随着这一领域不断发展，高速遥测平面将会兴起。这是一种专门构建的亚毫秒级数据流，能够捕获每个令牌、每个步骤和每个智能体的信号，同时避免存储系统不堪重负或SLO受到影响。该遥测平面可能会部署在靠近推理层的位置，支持语义压缩，并持续提供有关成本、容量、运行状况和意图一致性的低延迟洞察。缺少这一能力，AI可观测性要么会使现有管道不堪重负，要么会因信息来得太晚而失去实用价值。
系统需要以近实时而非批处理模式摄取、关联和分析这些遥测数据，并利用这些数据实现自适应路由、智能体限流和低成本推理路径选择，同时及早发现失控的工作流，避免其引发服务中断或产生高额费用。
AI参与其中时，交付方式将有所不同
AI出现故障时，往往不会表现得明确、可预测或引人注意，而可观测性不完整会导致业务部门发现问题时，您才会察觉。
如果智能是新的应用层，那么可观测性关注的重点就必须从“发生了什么？”转向“原本应该发生什么？为什么选择这条路径？为此付出的延迟、风险和成本是否值得？”
能够实时回答这些问题，就说明已做好迎接AI的准备。
详细了解全球组织面临的十大应用交付挑战。
关于作者
Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师，在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构，还是探索可扩展系统的极限，她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前，她曾担任技术编辑，并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位，著述颇丰，出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏，并且对奶酪有着毫不掩饰的鲜明见解。
Lori Mac Vittie 的更多博客文章相关博客文章
