AI数据治理:管控AI全生命周期中的数据

行业趋势 | 2026年10月21日

企业AI早已跨越试点阶段。根据《F5 2026年应用策略现状报告》,78%的组织表示已在运行AI推理,98%的组织表示正在为智能体AI做准备。

随着企业加速实施AI系统,数据治理正成为一项关键挑战。AI系统在生命周期的每个阶段都依赖数据。组织将数据输入AI模型,用于训练和优化。AI工具接收数据作为提示,从向量数据库中检索数据,并以叙述性回答的形式输出数据。自主智能体也会访问数据以完成任务。

每个环节都涉及数据治理决策。必须监控数据流并控制数据访问。很少有组织能在部署最新工具或开发新智能体之前建立治理机制。因此,数据和业务会面临多种威胁。

实施AI数据治理的第一步,是了解它与传统数据治理及AI模型治理有何不同。之后,便可重点关注风险较高的领域,并建立相应实践,在不减缓AI实施进度的情况下管控敏感数据。

什么是AI数据治理?

AI数据治理是指一套政策和技术控制措施,用于监督AI生命周期中数据的收集、分类、使用、传输、保留和删除方式。数据治理应涵盖多种类型的数据,包括:

  • 用于训练和微调模型的数据。
  • 推理期间交换的提示词和响应。
  • 用于补充模型响应的数据。
  • 代理发起的工具和API调用。
  • AI处理过程中生成的遥测数据。

传统的数据治理方法不适用于AI系统。这些方法主要关注存储在企业存储库中的结构化数据。此类静态数据通过可预测的查询进行访问,并定期接受访问审查。

AI系统数据具有不同的属性和行为。具体而言,AI数据具有以下特点:

  • 非结构化且具有对话性:自由形式的提示词和AI生成的响应无法使用针对数据库中结构化数据设计的策略进行治理。
  • 动态流转:在AI系统中,数据持续流转:提示词输入模型后,模型会返回响应。AI智能体可能在数秒内对API和模型发起数千次调用。传统数据治理模式采用的季度访问权限审查不足以管控这些动态流转的数据。AI数据治理必须实现自动化,才能跟上AI系统的机器处理速度。
  • 非确定性:AI模型每次回答同一问题时,答案可能都不相同。输出控制必须评估语义和上下文,不能依赖传统数据治理所采用的模式匹配。

对于AI系统数据,必须在交互点以内联方式实施治理。

AI数据治理与AI模型治理的区别

AI数据治理和AI模型治理必须协同开展,但二者是不同的策略,通常由不同的团队负责。

AI模型治理侧重于管控模型和智能体。模型治理策略用于管控哪些模型获准使用、模型归谁所有、模型如何训练、生产环境中运行哪个版本、如何监控模型行为,以及何时停用模型。

AI数据治理以AI可访问的数据及其流转路径为核心。这些策略用于控制数据的分类方式、哪些数据不得流出企业、数据应在何处处理,以及应保留多长时间。

AI数据治理AI模型治理

核心问题

哪些数据可以流入和流出AI系统?

哪些模型和智能体已获批准?它们应如何运行?

典型工件

数据分类策略、脱敏和阻止规则、保留期限和驻留要求

模型清单、评估结果、文档、版本历史记录

关键控制措施

对提示、响应和工具调用进行内联检查

审批工作流、版本控制、权限范围设定,以及模型漂移和行为监控

常见所有者

安全、隐私和数据保护团队

机器学习工程、风险与合规团队

故障示例

敏感数据通过不受管控的提示词或响应泄露

未经批准或已过时的模型拥有超出预期的访问权限

AI数据治理和模型治理必须协同运作,否则两者都可能失效。如果不检查模型的提示词和响应,即使模型拥有完善的文档并经过充分评估,仍可能泄露受监管数据。同样,如果未经批准的智能体可以访问客户数据库,即使实施了严格的数据控制,也未必能防止数据泄露。

成熟的AI治理框架和标准体现了这种相互依存关系。美国国家标准与技术研究院AI风险管理框架(NIST AI RMF)通过治理、映射、衡量和管理四项职能,采用全生命周期方法管理AI风险。ISO/IEC 42001同样建立了用于治理AI的组织级管理体系,而云安全联盟AI控制矩阵(AICM)则将AI治理转化为可执行的安全控制措施。这些方法都没有将数据治理和模型治理割裂开来,而是将二者都视为管理AI全生命周期风险的一部分。

识别关键AI数据风险

数据在AI系统中流转时,可能通过多种途径被意外或蓄意泄露。AI治理旨在消除或缓解这些漏洞。

  • 影子AI:员工经常在安全或IT团队不知情的情况下采用AI工具。即使企业已部署覆盖全公司的安全解决方案或数据治理策略,流经未经批准的AI系统的数据仍不受治理。
  • 输入:即使使用获准工具,员工仍可能无意中输入敏感信息,包括客户数据和健康信息,原因仅仅是这样能最快获得问题的答案。这些数据可能面临被窃取的风险。
  • 输出:当收到某些特定方式的提示时,生成式AI模型可能会复现训练数据片段,其中包括部分个人信息(有时称为“记忆泄露”)。攻击者可以利用AI重新拼合这些片段,还原敏感信息并用于欺诈。
  • 检索管道:检索增强生成(RAG)利用存储在向量数据库中的数据。如果文档在嵌入这些数据库时未保留原有的访问控制,模型可能会向无权打开原始文件的用户呈现其中的内容。
  • 拥有常驻权限的智能体:针对智能体的任何威胁都会波及其连接的工具、数据库和服务器。如果为智能体授予广泛权限,其接触的数据可能会暴露。
  • 第三方模型:向外部模型发送提示词意味着敏感数据将脱离组织的控制,并且可能跨越地理边界。这会增加管理保留期限、控制处理位置、满足数据本地化要求,以及确保敏感信息不被用于模型训练的难度。
  • 数据持久性:数据治理政策通常要求在一定期限后或应客户要求删除数据。从数据库中删除记录相对简单,但要移除已被模型权重吸收的信息则更为困难。因此,请谨慎规划用于训练的数据。

为何安全工具无法全面保护AI系统

数据丢失防护(DLP)和数据安全态势管理(DSPM)工具对于保护企业数据非常有价值。但AI系统可能会暴露这些工具的重要局限,包括:

  • 缺乏实时数据可见性:DSPM工具可确定敏感数据的存储位置。但AI系统使用的数据会不断流动,并在流动过程中面临风险。DSPM工具无法提供治理这些数据所需的实时可见性。
  • 针对结构化数据优化的分类:DLP和DSPM工具使用模式匹配对数据进行分类。这种方法适用于结构化数据,但对于用户在提示词中输入以及在响应中收到的非结构化叙述性内容,效果相对较差。
  • 执行位置不当:DLP工具或许能够阻止从端点上传数据,却无法阻止用户发送包含敏感信息的提示。该工具必须能够触达发生数据交换的推理层。
  • 缺少可用记录:合规团队通常需要说明向AI系统提出了哪些问题、系统如何响应,以及应用了哪项策略。传统的DLP和DSPM工具无法提供此类证据。

这些工具并非为保护AI工作流中的数据而设计,必须辅以针对AI的策略和解决方案。

加强AI数据治理的实践

AI治理策略并非千篇一律。不过,能够有效降低风险的策略通常会采用以下8项实践中的若干项。

  • 盘点所有AI使用情况:要治理数据,首先需要了解整个企业中AI在何处以及如何使用数据。不仅要盘点已获批准的应用和智能体,还要盘点未经批准的工具,以发现数据可能流经的每条路径。
  • 在交互过程中对数据进行分类:除了对静态数据进行分类外,还需要对提示词、响应和工具调用中的数据进行分类。为此,需要具备理解对话上下文的能力,而不能仅识别结构化模式。
  • 实时执行策略:数据治理策略应在数据流动过程中、到达目的地之前执行。例如,在提示词输入过程中对敏感数据进行脱敏处理,既能让员工继续工作,又能防止这些数据被摄取到内部或外部模型的知识库中。
  • 应用最小权限原则:必须防止模型、智能体和RAG工具访问敏感数据。为AI系统设置防护机制,确保AI模型和智能体只能访问其必需的内容,并按照与人类用户相同的周期审查系统权限。
  • 生成审计跟踪记录:为改进事件响应并遵守法规,请保留包含请求、响应、已应用策略和执行决策的审计跟踪记录。可利用这些信息微调策略并证明合规性。
  • 持续测试:威胁会迅速演变。如今能够有效保护敏感数据的策略,6个月后可能不再同样有效。实施红队测试和自动化测试有助于发现缺口并更新策略。
  • 管控数据供应链:全面治理要求清晰掌握AI系统中接触数据的每个要素。例如,使用外部模型时,应审查提供商关于选择不将数据用于训练、数据保留期限、处理地点以及使用分包处理商的条款。
  • 明确责任归属:AI数据治理可能涉及安全、隐私、法务、数据科学和应用团队。明确数据治理的责任归属并定期开展审查,有助于确保已部署的系统不会偏离既定策略。

在AI运行环境中实施治理

大多数数据治理实践只有应用于AI流量的直接路径中才能发挥作用。这正是F5开展AI数据治理与安全工作的基本原则。

The F5 AI Security Platform整合了企业AI领域的发现、治理、测试和运行时保护功能。F5 Workforce AI Security可帮助了解员工获准和未经批准的AI使用情况,包括所使用的模型、工具、提示词和数据。F5 AI Gateway提供一个控制点,用于管理对AI模型、智能体和工具的访问。F5 AI Red Team通过对抗性测试识别AI系统中的漏洞和薄弱环节,而F5 AI Guardrails则在AI交互期间执行策略,帮助防止敏感数据泄露、恶意活动和违反策略的行为。

数据不必成为漏洞。实施适当的数据治理后,便可安全、自信地推进AI应用。

常见问题

AI数据治理与传统数据治理有何区别?

传统数据治理主要管理存储库中处于静态的结构化数据。AI数据治理必须涵盖传输中的非结构化数据,例如用户输入AI工具的文本以及收到的AI生成回复。由于这些数据处于传输中,因此必须在交互点以内联方式实施治理。

AI数据治理与AI模型治理有何关系?

AI模型治理负责监督模型和智能体。例如,组织必须对模型进行清点,管理智能体的权限,并监控其行为。AI数据治理侧重于流入和流出这些模型与智能体的数据。在实践中,数据治理与模型治理必须协同开展,因为任何一方失效,另一方也会随之失效。

为什么DLP和DSPM工具等传统安全解决方案不足以满足AI数据治理需求?

虽然数据丢失防护(DLP)和数据安全态势管理(DSPM)工具对于保护数据至关重要,但它们在AI数据治理方面的作用有限。大多数此类工具无法提供实时数据可见性、对非结构化数据进行分类、在推理过程中实施治理,也无法为AI系统生成审计跟踪记录。

F5如何帮助组织制定有效的数据治理策略?

F5 AI Security Platform可帮助组织发现整个企业中的AI使用情况、制定数据治理策略,并在数据流经AI系统时实施这些策略。组织还可以利用F5的功能生成可供审计的记录,以遵守与数据和AI系统相关的法律、框架和标准。

详细了解F5 AI Security Platform。

分享

相关博客文章

AI与网络安全
行业趋势 | 2026/10/02

AI与网络安全

了解AI与网络安全如何协同发挥作用。探索AI和机器学习(ML)如何帮助企业提升安全性和效率,并借助F5为创新做好准备。

智能体AI改变了CISO需要关注的关键问题
行业趋势 | 2026/09/22

智能体AI改变了CISO需要关注的关键问题

随着非人类身份不断增加,F5研究表明,需要提高可见性、加强治理并明确责任,以尽可能降低网络安全风险。

AI经济格局将在数据传输中见分晓
行业趋势 | 2026/08/06

AI经济格局将在数据传输中见分晓

了解为何推理路由、安全性和路径内控制,而非仅靠更快的GPU,将影响每个令牌的成本和AI基础设施的经济效益。

WAF和API发现技术在保护智能体AI应用中的作用
行业趋势 | 2026/05/13

WAF和API发现技术在保护智能体AI应用中的作用

智能体AI系统的功能和集成会在运行时快速变化。要以同样的速度保障其安全,需要通过API发现和Web应用防火墙(WAF)实施切实可行的控制措施。

IT与OT融合:当前趋势及为何必须以安全为先
行业趋势 | 2026/04/29

IT与OT融合:当前趋势及为何必须以安全为先

随着IT与OT系统不断融合,攻击面也随之扩大。了解组织如何实现安全集成,以及F5 ADSP如何帮助大规模保护运营。

保护AI数据管道安全,同时不降低管道运行速度
行业趋势 | 2026/02/18

保护AI数据管道安全,同时不降低管道运行速度

保护AI数据管道并非可选项,这一点毋庸置疑。真正不那么显而易见且更具挑战性的是,如何妥善保护它。