让控制与安全防护贴近AI应用

F5生态系统 | 2025年4月23日

AI应用开发正在迅猛加速。根据Gartner近期发布的一份报告，到2026年，超过80%的企业应用将嵌入生成式AI功能，而2023年这一比例还不到5%。随着各组织竞相将智能融入数字体验，关注重点正从AI能做什么转向如何以可靠、安全且高效的方式大规模交付AI。这一波智能应用浪潮也带来了性能、部署位置和控制方面的新挑战，在混合云和多云环境中尤为突出。

与房地产类似，部署AI应用的黄金法则也是位置、位置、位置。AI基础设施的部署位置会显著影响延迟、成本和用户体验。是靠近数据存储，以加快数据检索和模型训练？还是靠近用户，以实现低延迟推理并提升应用响应速度？抑或进行战略性部署，以优化法规合规性、隐私和可用性？AI应用本身需要处理大量数据并消耗大量计算资源，因此，数据和用户交互产生的引力比以往任何时候都更加重要。

要在性能与控制之间找到理想平衡点，需要兼顾与数据和用户的距离。同时，优化交互也至关重要。无论AI提示来自聊天机器人、内部分析工具还是外部API调用，都应路由到适当的后端、模型或服务层，以提供准确、及时的响应。合理设计这一架构，是打造流畅、智能且安全的AI体验的关键。

“F5 Distributed Cloud App Stack和F5 AI Gateway为组织提供在多种环境中部署、管理和保护AI工作负载所需的工具。”

此时，路由和安全性对任务成败至关重要。AI应用并非静态，而是动态系统，其使用模式不断波动，用户意图多种多样，数据流也持续演变。因此，需要以灵活、智能的方式，将提示词和输入路由到合适的计算资源，无论是本地托管的微调大语言模型（LLM）、云端的基础模型，还是其他区域的数据服务。如果缺乏这种控制，可能会出现延迟、体验下降，甚至面临威胁向量带来的风险。

同样重要的是，要对这些AI事务实现全面可观测。仅仅知道请求已得到处理还不够，还需要深入了解请求的内容、路由方式、作出响应的模型或系统，以及结果是否符合预期。这种可见性有助于工程团队更快地调试、优化应用流，并在安全缺口演变为事件之前将其识别出来。它还有助于确保AI应用不仅能够正常运行，还能可靠、安全地运行，并与业务目标保持一致。

随着AI应用逐渐成为现代企业不可或缺的一部分，确保其安全、高效地部署至关重要。F5 Distributed Cloud App Stack和F5 AI Gateway提供全面的解决方案来应对这些挑战，帮助组织获得所需工具，以便在各种环境中部署、管理和保护AI工作负载。

随时随地部署和管理AI应用

F5的Distributed Cloud App Stack是一项基于SaaS的服务，支持组织在异构基础设施中部署、保护和运行一系列应用，包括私有云、公有云、电信云和边缘云。它通过托管式Kubernetes服务提供统一的应用运行时和调度层，确保工作流一致，并降低分布式集群的管理复杂性。凭借这种灵活性，企业可以合理部署AI应用：既可将其部署在靠近数据源的位置，以提高处理效率，也可部署在靠近最终用户的位置，以提升响应速度。

保护并优化AI交互

作为Distributed Cloud App Stack的补充，F5 AI Gateway旨在管理并保护与AI应用之间的提示和响应。它会检查传入提示，以应对提示注入和敏感信息泄露等问题。通过提供可自定义的AI交互观测、保护和管理功能，AI Gateway可提升AI应用的易用性，并简化合规工作。

AI Gateway的主要功能和优势包括：

面向AI应用开发者的路由管理：F5 AI Gateway内置了面向大语言模型（LLM）和小语言模型（SLM）的流量路由管理功能。它可帮助开发者管理密钥、API规范和端点，从而快速构建和迭代AI应用，而不会带来额外风险。
基于内容的路由： AI Gateway支持根据上下文将AI提示词路由到内部和外部LLM或SLM，确保提示词被定向到更合适的模型，从而优化响应并缩短开发人员的迭代流程。
灵活部署：Distributed Cloud App Stack和AI Gateway均支持跨多种环境部署，包括公有云、私有云、本地数据中心和边缘位置。二者基于Kubernetes的架构支持优化AI应用的部署位置，从而提升性能和用户体验。
全面的可观测性：借助OpenTelemetry支持，AI Gateway可全面呈现与LLM之间的所有双向事务。这种可观测性有助于监控性能、检测异常，并通过详细的审计日志促进合规。
增强安全性：AI Gateway可识别并阻止提示词注入和敏感信息泄露等安全威胁。它还使用双向TLS（mTLS）确保组件之间的通信安全，并提供身份验证、授权、凭据管理和基于角色的访问控制（RBAC），以维护安全性和合规性。