搬起石头砸自己的脚:庞杂的脏数据

F5生态系统 | 2017年8月21日

大数据。业务价值链中的各种设备内嵌了数百万个传感器和监控装置,每小时都会产生PB级数据。从制造到交付,从POS到消费者,数据生成量达到前所未有的规模。

这些数据本身并无意义。数据本质上是按特定形式排列的1和0,经应用解读后才成为信息。信息只有经过分析才有用,只有付诸行动才能转化为价值。

人们无法有效分析当今产生的数据,更不用说未来一小时、一天或一周内将产生的数据。然而,业务决策越来越需要近乎实时地做出。要做到这一点,需要借助计算能力和经过训练的系统,从每天收集的海量噪声中识别出有用信号。

这并非只是推测。在《机器学习:获取竞争优势的新试验场》这项由MIT Technology Review Custom和Google Cloud开展的调查中,超过60%的受访者“已经实施了机器学习(ML)战略,近三分之一的受访者认为其相关计划已进入成熟阶段”。他们之所以对这项新兴技术投入大量资源,是为了获得竞争优势。“受访者表示,机器学习的一项主要优势是能够获得竞争优势;在目前已实施机器学习的受访者中,26%认为自己已经实现了这一目标。”

预计其带来的收益将十分可观。

“对于典型的《财富》美国1000强企业,数据可访问性仅提高10%,就能带来超过6,500万美元的额外净收入。”

“充分发挥大数据潜力的零售商,营业利润率最高可提升60%。”

目前一切进展顺利。我们正利用数据推动决策,助力企业抢占先机并实现增长。

真正的危险在于没有意识到,任何依赖都会带来风险。如果我必须开车去杂货店(因为我居住的地方没有公共交通),那么一旦这辆车出了问题,就会带来风险,而且风险很大。如果我的企业依赖大数据来做决策(如果照单全收专家的预测,甚至可能由大数据替我做决策),那么一旦这些数据出了问题,同样会带来风险。

这里所说的并不是显而易见的数据丢失,甚至也不是数据损坏,而是一种更隐蔽的威胁。这种威胁源于我们对这些数据真实性的信任。

无论是在个人生活还是商业活动中,要依据任何数据做出决策,首先都必须相信这些数据是准确的。

脏乱的大数据

脏数据并不是什么新鲜事。坦白说,在网上访问文章或资源需要提供个人信息时,我偶尔也会填写不实信息。但新的数据流面临的风险未必来自这种无恶意的数据失真,而是来自恶意行为者蓄意篡改数据,企图扰乱企业的正常运营。

由于我们依据数据做出决策,通常只有在出现明显异常值时才会质疑数据,因此几乎无法察觉数据被逐步篡改的威胁。就像从银行交易中每笔窃取几分钱这种老套情节一样,数据中的细微变化可能不会引起注意。某个市场对产品X的需求逐渐增加,可能会被视为营销或推广取得了成效。宏观经济因素往往可以解释其他市场对产品Y的需求突然下降。如果我有足够的耐心和决心去污染您赖以制定生产或分销决策的数据,就能对您的业务造成重大影响。

影响有多大?数据质量不佳会导致约30%的收入损失,数据来源:Ovum Research。Analytics Week汇总了一份引人关注的大数据事实清单,其中列出了数据质量不佳造成的类似后果,包括:

“低质量数据可能导致企业损失20%至35%的营业收入。”

“不良数据或数据质量不佳每年给美国企业造成6,000亿美元的损失。”

觉得不太可能?通过网页抓取收集情报,确实是企业间谍活动的一种手段,也有专门的团队负责阻止此类行为。API的使用让这些活动变得更加容易,危害也更大,有时甚至可以实时进行。因此,如果认为不会有人故意将不良数据注入您的数据流,就无异于刻意忽视一个现实:恶意行为者往往(通常)比我们领先两步。

redlock-csi-data

我们的安全实践加剧了这一威胁,尤其是在预计将存储大量大数据的云环境中。由Information Builders赞助的TDWI白皮书提供了更多示例,说明脏数据会带来哪些成本。虽然其中大多数涉及因收购后整合数据而产生的典型脏数据问题,或客户通常提供的不实信息,但这些成本模型对于了解信任可能已损坏的数据会给企业带来哪些威胁,以及可以采取哪些应对措施,具有重要参考价值。

仅今年,就有多起数据泄露事件是由依赖默认配置造成的。还记得1月的MongoDB事件吗?默认配置让数据库完全暴露在互联网上,任何感兴趣的人都能访问。再看看RedLock CSI研究,该研究发现有285个Kubernetes管理控制台实例完全开放。无需任何凭据。同一份报告还发现,云中31%的未加密数据库正在接受来自互联网的入站连接。而且是直接连接。也就是说,我与您的数据之间毫无阻隔。

当超过27,000个数据库因完全未采取任何保护措施而暴露在外,并可通过互联网访问时,不难想象数据流很容易遭到污染。当一些组织故意移除云存储服务的默认安全控制,使其完全暴露,任人发现和篡改时,恶意行为者注入脏数据就不再只是一种可能,而是很可能发生。依赖数据的组织(如今几乎所有组织都属于此列)不仅必须谨慎保护数据,还必须认真验证数据的准确性。

在数据驱动型业务的未来,安全不仅意味着防止数据外泄,还必须考虑数据渗入这一切实存在的威胁,以及如何应对。

分享
标签: Cloud Security, 2017

关于作者

Lori Mac Vittie
Lori Mac Vittie杰出工程师兼首席技术布道师 | F5

Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师,在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构,还是探索可扩展系统的极限,她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前,她曾担任技术编辑,并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位,著述颇丰,出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏,并且对奶酪有着毫不掩饰的鲜明见解。

Lori Mac Vittie 的更多博客文章

相关博客文章

F5纪念2021年世界艾滋病日
F5生态系统 | 2021/12/01

F5纪念2021年世界艾滋病日

值此世界艾滋病日,F5郑重承诺,将与员工、客户、社区和合作伙伴共同努力,消除社会对HIV感染者仍然存在的污名与偏见。

Thingbot正转变为攻击平台
F5生态系统 | 2018/11/29

Thingbot正转变为攻击平台

Lori MacVittie重点介绍了F5 Labs对2018年1月至6月全球物联网设备攻击的研究,并指出了其中令人警醒的影响。物联网设备不仅持续遭到利用,还被转变为攻击平台,这意味着攻击者可以更充分地利用这个必然增长的市场。

借助F5全新Quick Start,在AWS上快速开展业务
F5生态系统 | 2018/11/20

借助F5全新Quick Start,在AWS上快速开展业务

在AWS re:Invent开幕前,我们很高兴与大家分享F5与AWS之间全新的Quick Start集成。F5的Tom Atkins将介绍该服务如何启动、配置和运行在AWS上部署工作负载所需的计算、网络、存储及其他AWS服务。

为什么声明式模型对NetOps自动化至关重要?
F5生态系统 | 2018/04/30

为什么声明式模型对NetOps自动化至关重要?

为什么声明式模型对NetOps自动化至关重要?阅读F5博客,了解基础设施即代码如何简化网络扩展。

开源聚焦:F5基础设施即代码与多云可管理性
F5生态系统 | 2017/11/16

开源聚焦:F5基础设施即代码与多云可管理性

开源聚焦:基础设施即代码与多云。阅读博客,了解模板和Terraform如何简化F5应用服务的部署。

破解IT“无解困局”的答案:私有云
F5生态系统 | 2016/09/12

破解IT“无解困局”的答案:私有云

破解IT“无解困局”的答案:私有云。阅读F5博客,了解本地部署的敏捷性如何化解安全与速度难以兼顾的问题。