我们总是假装模型不过是一些端点，仿佛承载这些引擎的服务器根本不存在，而这些引擎会将输入编码成一串难以理解的数字。
朋友，它们确实存在，而且对于应用交付而言，它们将像Web服务器和应用服务器一样重要。它们也将再次促使您重新构想基础设施架构。
要知道，一旦将模型置于端点之后（也就是部署推理服务器），它就会进入承载业务运行的同一条第4层至第7层（L4–L7）通道。我们的最新研究显示，80%的组织已在云端或本地运行推理。这意味着，模型如今已成为另一项生产工作负载，需要经过负载均衡器、网关、WAF和API代理。
我们还了解到一些可能令人不安的事实。
推理会使API数量激增
首先，运行推理会使API数量成倍增加。围绕模型新增的每个助手、评分服务和功能开关，都会成为新的入口。这不仅增加了提示词注入、泄露和输出操纵的侵入点，也增加了上下文在东西向路径中无序流转的机会。部署推理与更规范的运行时安全管理存在相关性，但差距仍不容忽视。在运行推理的团队中，仍有14%未检查提示词；而在仅使用SaaS的用户中，这一比例跃升至40%。跳过检查并不是“保持简单”，而是门户大开，任由风险一骑绝尘，却还称赞它跑得真快。
这正是控制点至关重要的原因。推理与API使用相同的传输通道，因此策略必须部署在流量路径中。部署推理的团队似乎深知这一点：61%使用AI网关检查输入和输出，39%增设防火墙，35%使用自定义代理。仅使用SaaS的用户依赖供应商的默认设置，结果显而易见。他们完全跳过测试或监控的可能性是前者的3倍；30%未记录提示词或补全结果以供审计，而部署推理的团队中仅有8%未记录日志。这既体现了成熟度差距，也意味着机遇。如果应用使用第三方AI，AI网关可作为接入点，用于持续测试、过滤和策略实施。不要只靠一句客气的提示词和祈祷。
推理让DPU愈发重要
其次，推理正使DPU从“锦上添花”变为必不可少. 在运行推理的团队中，71%在购买硬件或选择实例时会考虑或采用DPU；而在尚未部署推理的群体中，这一比例为43%。如果承载应用运行的同一套设备还要处理加密流量、内联检查和策略评估，卸载就不只是提升性能的辅助手段，而是在大规模执行解密、分类、检查和策略实施时，将延迟控制在可接受范围内的关键方式。DPU可以加速推理最需要的任务，包括传输层安全（TLS）、遥测、细粒度策略和逐请求检查。简而言之，推理越多，网络传输层面的工作负载就越大，而DPU可以承担这些负载。
推理意味着需要关注上下文
最后，上下文是大多数团队容易忽视的另一项关键要素。推理不只是输入和输出，还涉及历史记录、检索、工具以及智能体之间的通信。随着各组织考虑采用模型上下文协议（MCP），我们已经看到同样的趋势。部署方计划推进标准化，其中58%表示将采用MCP，而未部署方的这一比例为21%。其吸引力显而易见：MCP有望为上下文流提供结构化框架。
风险同样显而易见。不透明的上下文可能成为绕过精心制定的策略的旁路。因此，检查机制不仅要理解提示词和补全内容，还要了解上下文本身的来源及其适用策略。如果不会允许未经审计的数据馈送进入交易引擎，也不要让未经审计的上下文进入模型。
对基础设施架构的影响
那么，这一切对您的架构意味着什么？您知道，它必然会带来一些影响。
要点总结
- 在路径中实施策略。网关和L7代理已位于流量路径中。让它们具备推理感知能力。检查提示词、过滤输出、标记数据，并实施真正适用于模型的应用级和用户级限制。
- 使用DPU严控延迟。如果希望在不进行卸载的情况下，在运行时完成解密、分类、检查和策略执行，那么周五晚上就会以牺牲安全性为代价换取性能，到了周一却将其说成是经过深思熟虑的决定。
- 像管理供应链一样管理上下文。对上下文的组装方式进行标准化，为其添加标签，在使用前进行验证，并记录其来源。MCP可提供帮助，但前提是将其与可发现并阻止上下文滥用的可观测性和执行机制结合使用。
我们最新研究中最值得关注的发现是，推理现已成为一类核心工作负载。它与其他所有工作负载共用同一套基础设施，但也带来了新的风险，仅凭现有的“API应对经验”无法完全覆盖。
让基础设施更智能，将繁重的处理任务转移到DPU，并对上下文实施治理，而不只是管理调用。做到这些的团队将能更快交付，也能更加安心；其他团队则可能在经历挫折后才认识到韧性的重要性。
关于作者
Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师，在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构，还是探索可扩展系统的极限，她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前，她曾担任技术编辑，并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位，著述颇丰，出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏，并且对奶酪有着毫不掩饰的鲜明见解。
Lori Mac Vittie 的更多博客文章相关博客文章
恶意软件包正在摧毁我们的行业
尽管AI和自动化技术加剧了供应链滥用，开源生态系统仍缺少用于登记恶意软件包的中央注册库。该生态系统需要一种可信的方式来报告和跟踪安全失陷事件。
