大多数缺失的洞察源于数据偏差

F5生态系统 | 2021年7月26日


每100人中,只有5人能够获得所需的洞察,而这些洞察来自他们用于跟踪数字资产性能、可用性和安全性的众多监控工具。

另外95人呢?他们看到的不过是看似精美却毫无用处的维恩图。

维恩图

未能获得洞察的原因之一,并非工具匮乏,甚至也不是数据不足,而是数据中持续存在的偏差。

持续性数据偏差

数据偏差源于系统中带有主观倾向的数据筛选。无论是收集哪些数据、从哪些系统收集,还是如何在仪表板上呈现可视化内容,相关决策都会形成这种带有主观倾向的数据筛选。

数据偏差的一个重要来源,是基于代理的系统所遗留的问题。这类系统要求在需要采集数据的每个系统上部署额外的软件。代理通常与分析平台配套使用,过去这类产品的定价往往还包含代理的费用。大规模部署当然可以享受折扣,但成本依然高昂。

部署和管理代理的成本限制了可采集数据的系统范围,因而造成了数据偏差。对于某个应用或系统是否值得监控,人们的主观判断往往会左右部署决策,无论这种判断是否基于经验。

生成的数据量同样会持续造成偏差,因为这会导致人们根据对特定数据点价值的主观看法作出决策。真的需要所有这些指标吗?还是只保留三四个就够了?这种主观筛选指标的做法意味着无法验证整体数据的偏移或变化。这些偏移或变化可能预示着潜在问题或风险,却因相关数据被认为无关紧要而遭到忽视。

最后,仪表板的可视化设计决策会进一步造成解读偏差,而且这些决策通常基于设计者自身的技能和经验,其他仪表板用户未必具备这些技能和经验。即使是图表类型的选择,也可能引入偏差。对于性能和正常运行时间等基于时间序列的运营指标,尤其如此。

两张图表

条形图常用于呈现时间序列数据,但效果不如折线图直观。使用条形图时,必须比较各条形的高度才能了解响应时间的变化;而折线图则可以通过线条形状直观呈现变化趋势。这些看似简单的选择,可能会对依靠可视化洞察系统运行状态的运维人员产生深远影响。

所有这些决策都会不断给数据引入偏差,影响我们解读数据的能力,进而妨碍我们洞察数据的真正含义。

消除数据偏差

在数字化成为默认选择的世界中,要做出更明智的决策,就需要更优质的数据,这意味着要尽可能消除数据偏差。

这正是OpenTelemetry前景广阔的原因之一。使用开源(因而成本较低甚至为零)的代理,对遥测数据的生成和摄取方式进行标准化,将有助于消除数据偏差的一个根本原因:IT预算。这样便可从每个系统收集遥测数据,而不只是少数被认为“值得”投入的系统,从而消除数据中的一个重要偏差来源。因此,我们的边缘愿景包括将遥测数据生成功能嵌入平台本身,使其随时随地可用。

数据湖即服务也可以有效减少数据筛选带来的偏差,这种筛选通常源于数据量以及长期存储成本。通过将扩展和容量需求外包,组织可以更灵活地摄取更多遥测数据,从而更容易发现影响性能等方面的异常和模式。过去5年,此类服务日益丰富,通常归入XaaS类别,而XaaS在IT预算中的占比也在不断上升。Deloitte在今年的一份XaaS报告中指出,近一半的组织将把至少一半的IT支出用于XaaS。

最后,从可视化转向洞察,有助于解决通过仪表板呈现运营数据时产生的偏差。洞察不只是显示特定时间点的数据快照,而是根据数据中发现的模式和关系提供信息。此外,洞察还可以避免因依赖二元指标而引发不必要的紧急处置。现代系统在设计上允许出现故障并自动恢复。每次发生这种情况都发出通知,可能会造成告警疲劳,降低工作效率。结合完整的用户流程分析遥测数据,可以判断组件故障何时需要干预、何时无需干预。从依赖解读多个可视化视图转向利用全面洞察,可以减少可视化本身固有的部分偏差。

随着企业逐步转向默认数字化模式,对数据的依赖必然日益加深。消除数据中的偏差,将是确保数据驱动型决策尽可能为客户和企业带来良好结果的关键一步。

分享

关于作者

Lori Mac Vittie
Lori Mac Vittie杰出工程师兼首席技术布道师 | F5

Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师,在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构,还是探索可扩展系统的极限,她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前,她曾担任技术编辑,并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位,著述颇丰,出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏,并且对奶酪有着毫不掩饰的鲜明见解。

Lori Mac Vittie 的更多博客文章

相关博客文章

SOAS 2025:目标不一致,结果难出色
F5生态系统 | 2025/05/13

SOAS 2025:目标不一致,结果难出色

AI部署缺乏协调会导致效率低下。了解如何协调安全、自动化和部署策略,充分释放AI潜力。

AI应用的应用交付与安全:驾驭现代AI架构
F5生态系统 | 2024/08/22

AI应用的应用交付与安全:驾驭现代AI架构

了解生成式AI应用和API安全如何塑造现代应用交付与安全。

借助多云网络简化超级云
F5生态系统 | 2023/09/13

借助多云网络简化超级云

超级云不只是一个流行词。它代表着一种简化愿景,以多云网络为起点,支持跨云提供商的混合IT。

2023年应用策略现状:成本与复杂性是推动多云网络发展的首要因素
F5生态系统 | 2023/03/15

2023年应用策略现状:成本与复杂性是推动多云网络发展的首要因素

多云网络解决方案可在核心、云和边缘环境之间实现无缝、安全的互联,为解决当今混合IT面临的挑战提供支持,因而备受业界关注。

运营演进的必要性
F5生态系统 | 2022/01/11

运营演进的必要性

在数字化成为默认模式的世界中,运维仍然过度依赖人工方式,需要不断演进,才能支持自适应应用。这一演进要求整个IT体系进行重大变革,并具备由AI赋能的自适应能力,以保持可用性、优化性能并保障安全。

多云并非简单使用多个云:让跨云衔接更轻松
F5生态系统 | 2021/10/07

多云并非简单使用多个云:让跨云衔接更轻松

随着企业转向互联云战略,工作负载的管理和保护变得日益复杂。了解F5如何满足市场对多云网络新方法的需求。