什么是边缘AI？探索边缘侧的人工智能

边缘AI是指在边缘计算环境中部署人工智能算法和模型，将算力和智能部署到更靠近决策发生的位置，部分目的是减少边缘站点与云端之间的持续通信。边缘AI使网络边缘的设备能够在本地处理数据，无需依赖互联网连接或集中式云服务器进行处理，即可支持实时决策，从而提高计算速度，并改善数据隐私和安全性。

了解边缘AI

边缘AI融合了多种技术，包括人工智能、物联网（IoT）、边缘计算，以及嵌入式系统。这些技术对于在网络边缘实现智能处理和决策都发挥着关键作用。边缘AI使用嵌入式算法监控远程系统的活动，并处理传感器及其他非结构化数据跟踪设备所收集的数据，包括温度、语言、人脸、运动、图像、距离及其他模拟输入。

这些远程系统可以采用多种形式，包括传感器、智能手机、IoT设备、无人机、摄像头，甚至车辆和智能家电。从这些系统收集的数据可作为边缘AI算法的输入，提供有关系统或其周围环境状态的重要信息，使边缘AI系统能够快速响应变化或异常，并了解其运行环境。由于成本、延迟、带宽、安全和隐私方面的问题，这些边缘AI应用在集中式云或企业数据中心环境中运行并不现实，甚至无法实现。

边缘AI涵盖广泛的用例，包括：

自动驾驶车辆。边缘AI使车辆能够实时分析传感器数据，针对物体检测、车道跟踪和防碰撞等任务迅速做出决策，而无需持续依赖云连接。
智慧城市。部署在城市各处的传感器和摄像头所采集的数据可为多种智慧城市应用提供支持，包括交通管理、公共安全监控、废弃物管理和能源优化。
农业监测。边缘AI通过分析来自传感器、无人机和卫星影像的数据，为精准农业提供支持，从而监测作物健康状况、优化灌溉、发现虫害，并实时分析环境状况。
工业物联网。通过将AI算法直接部署在制造设备和传感器上，边缘设备无需依赖集中式服务器，即可监控机器运行状况、检测缺陷并优化生产流程。
医疗健康监测。边缘AI通过分析可穿戴设备、医疗传感器和成像设备的数据，对医疗数据进行实时分析，并提醒医疗服务提供者注意潜在的健康问题，从而支持远程患者监测和个性化医疗。

边缘AI与云端AI对比

部署AI算法和模型主要有两种模式：在边缘部署或在云端部署。集成横跨云端和边缘站点的系统时，所采用的策略称为“云端向边缘”或“边缘向云端”，两者都会影响性能、安全性和运维。

边缘AI是指在远程设备上部署AI，以便在网络边缘或分散式环境中进行实时处理和决策。这些系统基本可以在本地分析数据，无需依赖网络连接，也无需将数据传输到集中式服务器，从而降低延迟并缩短响应时间。边缘AI系统还会将敏感数据保留在本地，从而降低隐私泄露风险，以及向云端传输数据所带来的安全风险。

边缘AI的应用示例包括：自动驾驶汽车使用本地部署的AI分析传感器数据，以实时做出驾驶决策；智能家居设备使用边缘AI处理语音命令或监控场所是否有入侵者。

另一方面，云端AI的特点是将AI算法和模型部署在集中式云服务器上，从而支持大规模数据处理、训练和推理。云资源可提供强大的计算能力，支持深度学习训练或大数据分析等需要海量算力的复杂AI任务。云端AI解决方案可轻松扩展，以处理大量数据并服务众多用户，因此适用于高吞吐量或资源密集型应用。

Amazon或Netflix等平台使用的推荐引擎会基于海量用户数据，为消费者提供新的或替代性的产品选择。这类引擎是大规模云AI系统的典型示例，需要大量计算资源才能实现理想运行效果。

其他AI用例同时涵盖边缘AI和云AI，以满足客户的特定需求。实际案例包括新加坡AI和数据平台提供商Sentient.io。该公司开发了Sentient Marketplace，这是一个汇集创新AI服务的平台，可帮助企业轻松将AI集成到现有工作流中。然而，该市场的迅速成功也带来了多项复杂挑战，包括难以在本地、公有云、私有云和边缘等分布式环境中运行和部署AI服务。

在客户站点跨多个提供商运营时，各云提供商的解决方案可能采用专有的Kubernetes发行版，这会给需要在各自云环境中利用这些平台的组织带来不小的挑战。Sentient的AI模型在客户站点的部署流程也较为繁琐，需要为每个边缘站点搭建本地Kubernetes环境，并手动更新和同步新模型。这导致运营复杂性增加，工作流编排和安全策略也不一致。

Sentient.io与F5合作，利用F5 Distributed Cloud App Stack,这一面向企业的Kubernetes平台，为各行各业的客户提供交钥匙式企业级AI“即服务”解决方案。该平台简化了本地、云端和边缘位置的部署。此解决方案简化了Sentient的运营，降低了延迟，并支持在边缘实时处理AI。在边缘执行推理可消除地理位置造成的网络和带宽限制，确保将推理结果实时、即时地交付给应用。这种模型部署方式的转变使Sentient.io能够更快实现价值，为客户交付高性能AI应用，同时优化资源分配、降低总体运营成本，并原生集成应用和API安全功能。

与以往手动管理多个云平台的流程相比，此次合作还显著节省了成本。原有流程需要专门的团队，并会产生大量资源成本。借助F5 Distributed Cloud Services,Sentient通过优化资源和简化应用管理来精简运营、降低成本，从而释放资源用于其他战略计划。

访问边缘AI

要访问边缘AI，需要部署由设备、技术、基础设施组件和集成方案构成的组合，以便在网络边缘高效访问和利用AI功能。其中包括：

边缘设备。边缘设备内置传感器和微控制器，可从物理世界采集数据，并可托管边缘AI模型以进行本地处理。IoT设备包括智能恒温器、监控摄像头、土壤湿度监测器和工业传感器等。边缘设备还可以包括智能手机和平板电脑。这些设备不仅能感知周围环境，还可利用自身的处理能力和连接能力执行边缘AI任务。
技术。在网络边缘运行AI系统需要多种专用技术，包括经过训练的算法，以及针对资源受限设备部署进行优化的AI模型。此外，还可使用边缘AI框架和平台提供的工具和库，以简化系统开发和部署。
基础设施。边缘AI设备需要可靠的有线或无线网络连接，才能相互通信，并在必要时与集中式服务器通信。相关基础设施可包括边缘服务器、网关和路由器等硬件组件。此外，API是AI架构的关键，可让不同组件和服务相互通信，并交换数据和指令。
集成。边缘AI系统必须能够与现有网络和基础设施集成，以确保数据可访问性，并实现可扩展性以及与系统其他组件的兼容性，同时降低管理复杂性。

此外，还需注意部署和访问边缘AI时面临的以下挑战和限制。

计算能力和连接能力有限。大多数边缘设备的处理能力、内存和存储空间有限，这可能会限制可在边缘运行的AI模型的复杂度和规模。此外，边缘设备通常在网络连接选项有限的环境中运行，这也可能影响边缘AI系统的响应速度、性能和可靠性。
成本和可用性。许多AI模型可借助图形处理器（GPU）和数据处理器（DPU）等工作负载加速器提高处理速度，但GPU的成本尤其高，而且受物理条件限制，其尺寸可能过大，无法用于小型化设备。这可能会限制可部署在边缘设备上的AI算法类型，并可能需要采用其他优化技术。
数据隐私。一些边缘AI系统会在本地生成和处理敏感数据或受保护数据，因此可能引发对数据隐私以及是否符合HIPAA或GDPR等法规的担忧。为确保数据隐私并满足法律要求，可能需要实施适当的数据匿名化、加密和访问控制措施。
设备管理。部署、监控、更新和维护分布在不同地理位置的边缘AI系统可能颇具挑战，因此需要高效的管理工具和平台。

边缘AI安全措施

要在边缘AI部署中保护数据并降低安全风险，需要采用全面的多层安全方法。边缘AI能够从数据中学习，并根据经验调整行为，因此在一些重要方面不同于传统计算工作负载。但在安全要求方面，边缘AI与较为传统的IoT系统有许多共同之处，也面临许多相同的风险，包括：

恶意软件和网络攻击。如果未得到妥善保护，边缘AI设备容易遭受恶意软件感染、网络攻击和远程利用。每项边缘AI安全策略都应包括部署防病毒软件和入侵检测系统，以及定期更新软件。
网络安全。边缘AI设备通常通过网络相互通信，并与集中式服务器通信，因此可能成为网络攻击的目标。使用加密、身份验证和访问控制机制保护网络通信，以保护传输中的数据，并防止未经授权访问网络资源。
数据完整性。要保持AI模型和决策过程的准确性与可靠性，需要保护边缘AI设备所处理数据的完整性。要检测并缓解数据篡改、操纵或损坏，需要实施数据验证、校验和及完整性检查，以验证输入数据的真实性和一致性。
物理安全。边缘AI设备通常部署在偏远或恶劣环境中，容易遭受损坏、物理篡改、盗窃或蓄意破坏。防篡改外壳或监控摄像头等物理防护措施有助于保护设备，避免其遭受损坏、篡改或未经授权的访问。
API安全。 包括插件在内的AI生态系统通过API实现互联，而API可能存在漏洞、遭到滥用或配置错误，并面临绕过薄弱身份验证和授权控制的攻击。
大语言模型（LLM）安全。生成式AI应用中的决策涉及LLM及相关的训练和推理过程，这些模型和过程面临多种风险，包括提示词注入、数据投毒、幻觉和偏见。

如需深入了解部署和管理基于LLM的AI系统（包括边缘AI应用）所涉及的安全风险，请参阅《OWASP大型语言模型应用十大安全风险》。该文档旨在提高对这些系统漏洞的认识，提出修复策略，并改善LLM应用的安全态势。

边缘AI优化策略

由于边缘AI基础设施部署在网络边缘或其他远程位置，因此需要针对性能、资源利用率、安全性及其他因素进行优化。然而，要提高资源受限设备的效率和性能并非易事，因为在保持可接受性能的同时降低计算、内存和能耗要求，往往需要做出权衡。

提升边缘AI性能

有多种策略可以在限制能耗的同时优化边缘计算性能。采用低功耗模式、休眠状态或动态电压频率调整（DVFS）等节能技术，有助于降低能耗。GPU和DPU等硬件加速器可以从CPU卸载计算密集型任务，从而提高推理速度。可采用动态批处理、自适应推理或模型稀疏化等技术，在保持性能的同时优化资源利用率。计算密集度较低的任务可由CPU资源处理，这凸显了在高度分布式架构中进行资源池化的重要性。

调整模型以适应边缘计算

边缘AI设备的计算资源通常有限，因此需要部署针对边缘设备优化的轻量级AI模型。这意味着在根据设备资源和应用需求选择合适的模型时，可能需要在模型复杂度、准确率和推理速度之间取得平衡。模型量化、剪枝和知识蒸馏等技术有助于缩小AI模型的规模，同时避免性能显著下降。

优化边缘安全

“边界消融”是指受移动设备、云计算和边缘计算等因素影响，传统网络边界日益模糊。在边缘AI场景中，边界消融意味着边缘AI设备通常部署在网络边缘的远程动态网络环境中，在数据中心或云环境之外运行，并且超出防火墙或入侵检测系统等传统边界安全措施的防护范围。因此，边缘AI安全有其特殊要求，必须进行优化，以防范偏远位置的未经授权访问，以及复杂分布式环境中的各类威胁。这些环境会给安全管理和可见性带来挑战。

此外，API如同纽带，使AI应用的多个组成部分能够交换数据和指令。企业在部署AI赋能的应用时，必须应对一项关键的安全挑战：保护这些API连接及其传输的数据。因此，需要部署Web应用和API保护服务，以动态发现端点，并自动保护端点免受各种风险。

大型语言模型安全

LMM是基于海量文本数据构建的人工智能模型，经过训练后，能够理解并生成自然语言输出，展现出接近人类的出色流畅度和连贯性。LLM是生成式AI应用的核心，通常使用从互联网系统抓取的输入数据和内容进行训练，包括在线书籍、帖子、网站和文章。然而，这些输入数据可能遭到恶意行为者攻击。他们会故意操纵输入数据，误导生成式AI模型或损害其性能，从而导致漏洞、偏见、不可靠的输出、隐私泄露以及未经授权的代码执行。

LLM面临的主要安全风险包括：

提示词注入。攻击者可以操纵LMM输入提示词来影响生成结果，并通过生成带有偏见、冒犯性或不准确的内容，削弱LLM生成结果的可信度和可靠性。
模型投毒。此类攻击会在LLM的训练阶段注入恶意数据，以操纵其行为或损害其性能。攻击者通过向训练数据集中加入投毒数据样本，可在训练后的LLM模型中植入偏差、漏洞或后门。
模型拒绝服务（DoS）。此类攻击通过大量恶意请求或输入使LLM不堪重负，导致请求分词量和LLM上下文窗口超出阈值，从而造成速度下降、服务中断或停机，以此攻击LLM的可用性和性能。此类资源耗尽攻击可能导致性能下降或系统不稳定，影响AI系统的可用性和可靠性，并削弱模型学习和响应用户提示词的能力。

应对这些安全挑战需要采取多层面的方法，既要防止提示词注入，也要采用提示词清理、输入验证和提示词过滤等技术，确保模型不会受到恶意构造输入的操纵。为抵御DoS攻击，应构建分层防御策略，包括速率限制、异常检测和行为分析，以检测并识别可疑或恶意的网络活动。业界仍在不断探索如何有效管理这些风险，这推动了应用堆栈中LLM代理、防火墙、网关和安全中间件的快速发展。

边缘AI的未来

边缘AI是网络边缘快速演进的技术体系的一部分，正在推动计算环境迈入更智能、响应更迅速、效率更高的新时代。这些技术融合了处理器、网络、软件和安全领域的进步，为各行各业的创新与转型带来新的可能。此类边缘计算用例利用网络边缘的实时分析和决策能力，使组织能够在更靠近数据源的位置处理和分析数据，从而缩短延迟敏感型应用的响应时间，或确保内容实时交付。

在网络边缘分布计算资源，还能让组织快速适应不断变化的工作负载需求，并优化资源利用率，从而提升整体系统性能和效率。这些能力在一定程度上得益于边缘计算基础设施专用组件的发展，例如边缘服务器、边缘计算平台和库，以及芯片内置AI处理器。这些组件可提供支持边缘AI应用所需的计算、存储和网络资源。

边缘AI在推动网络边缘基础设施革新方面发挥了关键作用。AI与物联网的融合持续推动边缘侧的智能决策，促进医疗保健、工业自动化、机器人、智能基础设施等领域的创新应用。

TinyML是一种机器学习和人工智能方法，其部分重点是创建轻量级软件机器学习模型和算法，并针对微控制器和边缘AI设备等资源受限的边缘设备进行优化。基于TinyML的算法旨在提高能效，并可在本地运行推理任务，无需依赖云资源。

此外，DPU等紧凑且性能强大的处理器正越来越多地用于边缘计算和AI/ML工作负载。DPU是一种专用硬件组件，旨在从CPU卸载数据处理任务并加速处理。在这些场景中，高效处理大量数据对于性能和可扩展性至关重要。在功耗限制可能制约高能耗GPU解决方案使用的边缘计算环境中，这种效率尤其有价值。

将这些创新连接起来的是新一代网络解决方案，它贯通边缘、云和数据中心，支持在分布式架构中无缝处理和分析数据，并实现可观测性。这些架构包括混合云、多云和边缘计算资源。这些网络将日益依赖API。API是边缘计算平台的重要组成部分，可促进通信、集成和自动化，从而在分布式计算环境中实现无缝的数据交换与同步。API还通过提供标准化接口，实现不同边缘设备、系统和服务之间的互操作，并支持边缘资源和服务的动态配置、管理与控制。

在这些覆盖范围广泛的分布式架构中，从靠近数据源的边缘设备，到位于数据中心的集中式或分散式云服务器，数据可以在这一连续体的多个节点进行安全处理和分析。这种从边缘延伸至各处的连续体，使组织能够安全地发挥多种计算环境的优势，并整合传统工作负载与AI工作负载，以满足现代应用的多样化需求。

F5如何提供帮助

F5能够在各种分布式环境中保护、交付和优化任何位置的任何应用及API，包括网络边缘的AI应用。基于AI的应用代表着现代应用的发展前沿。采用生成式AI（GenAI）的系统需要考虑大语言模型（LLM）风险和分布式推理等特定问题，同时也面临延迟、拒绝服务、软件漏洞，以及恶意行为者利用机器人和恶意自动化手段进行滥用等风险。

由AI驱动的新型数字体验高度分布式，涉及多种数据源、模型和服务，并横跨本地、云端和边缘环境。这些组件通过不断扩展的API网络相互连接，带来了严峻的安全挑战。随着企业部署更多支持AI的服务，保护这些API连接及其传输的数据，已成为企业必须应对的关键安全挑战。

F5 Distributed Cloud Services提供面向AI的全面API安全解决方案，通过API代码测试和遥测分析，帮助抵御复杂的AI驱动型威胁，同时简化多云和边缘应用环境的安全防护与管理。F5 Multi-Cloud Networking解决方案通过统一控制台，为公有云、私有云和边缘部署提供基于SaaS的网络连接、流量优化和安全服务，减轻云依赖型服务和多个第三方供应商带来的管理负担。借助F5网络解决方案，可以加快AI部署，实现端到端策略管理和可观测性，打造可全面自动化的可靠基础设施。

此外，全新的F5 AI Data Fabric为构建创新解决方案奠定了基础，帮助客户做出更明智的决策并更快采取行动。来自Distributed Cloud Services、BIG-IP和NGINX的遥测数据相结合，可提供深入洞察、生成实时报告、自动执行操作，并为AI智能体提供支持。

F5还将推出一款AI助手，通过自然语言界面改变客户与F5解决方案交互及管理这些解决方案的方式。该AI助手由F5 AI Data Fabric提供支持，可生成数据可视化内容、识别异常、查询和生成策略配置，并执行修复步骤。它还将充当嵌入式客户支持管理工具，让客户能够提出问题，并获得基于完整产品知识库模型训练结果的建议。

从数据中心到边缘，F5解决方案为基于AI的应用提供运行支持和保护，并通过强大的工具实现可预测的性能和安全性，帮助您充分发挥AI投资的价值。