有无数统计数据表明，开源软件已广泛应用于各行各业的企业。应用中超过80%的组件是开源组件，而互联网基本上依靠开源软件NGINX运行。
但开放标准同样不胜枚举。这些标准采用开源的社区协作方式开发并不断完善，由此形成了由配套产品、项目和基础设施构成的蓬勃生态系统。
OpenTelemetry就是其中一项成果，现已成为生成、摄取和处理运营数据（也称遥测数据）的标准。《2023年可观测性创新报告》中，近三分之一（32%）的受访者表示，“供应商产品必须支持OpenTelemetry”，另有50%的受访者认为这项支持非常重要。略高于三分之一（36%）的受访者在其组织内使用OpenTelemetry。
遥测标准化至关重要，因为可观测性依赖整个IT技术栈中的数据点，包括来自各种不同基础设施和系统的网络指标、服务器日志和跟踪数据。即使是简单的应用，也包含太多动态组件，因此不存在单一事实来源，无法确保收集到在特定时间点观测应用状态所需的全部数据。将遥测数据的生成方式标准化，有助于规范数字信号，并确保分析能够利用所有适当的数据点，提供准确且可付诸行动的洞察。
但即使实现遥测标准化，也无法解决实现全栈可观测性这一理想目标所面临的所有挑战。
处理运营数据时，一个棘手的问题是数据量庞大。组织依靠数字信号及时了解潜在的性能问题或攻击企图，而这类信号的生成速度和规模远超其他类型的数据。F5对此深有体会，因为我们已在整个产品组合中采用OpenTelemetry作为标准。BIG-IP和NGINX等产品用于交付和保护应用及数字服务，其性质和作用决定了系统会出于各种原因生成大量指标、日志等数据。传输和处理这些数据的成本在遥测管道相关成本中占很大比重。
为应对这一挑战，杰出工程师Laurent Quérel参与了Apache Arrow项目，并开始与OpenTelemetry项目合作，以提高其处理海量遥测数据的效率。
我们的基准测试结果表明，Apache Arrow在遥测数据的传输和处理方面具有显著优势，尤其是在可将数百个或更多实体分组进行批处理时。数据的列式组织方式提高了可压缩性；这种内存布局通过优化各级缓存和SIMD指令的使用，大幅提升了处理速度。此外，Arrow生态系统可有效补充OpenTelemetry的能力，增强其与查询引擎、流处理管道及专用分析文件格式的集成。
如需进一步了解Apache Arrow和Laurent的工作，请阅读Apache Arrow网站上介绍我们使用该技术相关经验的两篇文章中的第一篇。
关于作者
Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师，在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构，还是探索可扩展系统的极限，她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前，她曾担任技术编辑，并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位，著述颇丰，出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏，并且对奶酪有着毫不掩饰的鲜明见解。
Lori Mac Vittie 的更多博客文章相关博客文章
2023年应用策略现状：成本与复杂性是推动多云网络发展的首要因素
多云网络解决方案可在核心、云和边缘环境之间实现无缝、安全的互联，为解决当今混合IT面临的挑战提供支持，因而备受业界关注。