探讨运维数据治理

一、背景

大数据、人工智能、云计算等技术的广泛应用，再到今天数字时代，企业已逐渐了解数据所蕴含的价值，对数据的重视程度越来越高，投入大量资源进行大数据研发与应用。但我们必须承认，国内很多金融企业在大数据技术应用前并不是很重视数据治理，出现像投入大量资源建设大数据平台，但用的时候又发现报表不准、数据质量不高，导致项目没有达到预期效果的普遍性问题。上述问题促进企业反思，发现在数据从采集、存储、计算、使用过程中，少了数据管理的步骤，即数据治理缺失。今天，数据治理已经被企业广泛认可为必要的基础性工作，以下整理一下数据治理所要解决的痛点：

第一，信息孤岛，有数不能用。

第二，数据质量不高，有数不好用。

第三，数据不可知，有数不会用。

第四，数据服务不够，有数据不可取。

二、运维数据

在运维领域，运维数据分布在大量的机器、软件、“监管控析”工具软件上，除了上面大数据领域提到的信息孤岛、质量不高、数据不可知、数据服务不够的痛点外，运维数据还有以下突出痛点：

- 资源投入不够：从组织定位看，运维属于企业后台中的后台部门，所做的事甚至都很难让IT条线的产品、项目、开发明白“系统架构越来越复杂、迭代频率越来越高、外部环境严峻等等需要持续性的运维投入”，更不要说让IT条线以外部门理解你在做的事，在运维的资源投入通常是不够的。

-数据标准化比例低：运维数据主要包括监控、日志、性能、配置、流程、应用运行数据。除了统一监控报警、配置、机器日志、ITIL里的几大流程的数据格式是相关标准，其它数据存在格式众多、非结构化、实时性要求高、海量数据、采集方式复杂等特点，可以说运维源数据天生就是非标准的，要在“资源投入不够”的背景下，采用业务大数据的运作模式比较困难。

- 缺乏成熟的方法：虽然行业也提出了ITOA、dataOps、AIOps的运维数据分析应用的思路，但是却缺少一些成熟、全面的数据建模、分析、应用的方法，主流的运维数据方案目前主要围绕监控、应急领域探索。

- 缺乏人才：如“资源投入不够”这点提到的背景，因为投入不足，很难吸引到足够人才投入到运维数据分析领域。

三、运维数据治理架构

运维数据治理是运维数据体系三大关键之一，运维数据治理要借鉴传统大数据领域数据治理的成熟方法，结合运维领域特点打造运维数据治理方法，以获得高质量、完整、互联的数据，构建持续优化型的数据生命周期管理，让运维数据更好用，用得更好，以完善运维数字化工作空间。

四、运维数据治理主要内容

大数据领域的数据治理主要包括元数据、主数据、数据标准、数据质量、数据模型、数据安全、数据生命周期7部分内容。

（一）元数据管理

元数据是指描述数据的数据，是指从信息资源中抽取出来说明数据特征、内容的结构化的数据，用于组织、描述、检索、保存、管理。

数据这种对于数据的描述、来源、口径等管理，有助于我们管理动态、分散在各处的数据，形成数据服务目录体系，就类似于图书馆图书的检索信息、数字地图中一个道路的位置信息，运维领域源端的日志解析规则、监控报警字段描述、监控KPI时序数据描述等，也属于运维元数据。

（二）主数据管理

主数据管理是指一整套用于生成和维护主数据的规范、技术和方案，以保证主数据的完整性、一致性和准确性。主数据与交易数据不同，主数据的内容具有稳定、可共享、权威几个特征。

运维主数据的主要数据：

与机器相关的：环控、机房、网络、服务器、存储等。

与软件相关的：系统软件、数据库、中间件、应用系统、DNS等。

与关系相关的：部署架构、逻辑架构、调用链路、上下游关系等。

与流程相关的：与ITIL相关的变更、事件、问题、配置等，以及团队内协同规程等。

与规则相关的：监控策略、性能管理、容量管理等。

（三）数据标准管理

数据标准是为了规范对数据的统一理解，促进数据共享，增强跨团队协作中对数据定义与使用的一致性，降低沟通成本。数据标准通常包括组织架构、标准制度、管控流程、技术体系四个方向，应用统一的数据定义、数据分类、编码规范，以及数据字典等。

（四）数据质量管理

数据质量管理是指针对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的数据质量问题，进行识别、度量、监控、预警等管理活动，并通过改善和提高组织的管理水平提高数据质量。

（五）数据模型管理

数据建模是基于对业务数据的理解和数据分析的需要，将各类数据进行整合和关联，使得数据可以最终以可视化的方式呈现，让使用者能够快速地、高效地获取到数据中有价值的信息，从而做出准确有效的决策。

（六）数据安全管理

数据安全管理是实现数据安全策略和流程的制订，数据安全管理需要遵循国家、行业的安全政策法规，比如网络安全法，等级保护，个人隐私安全等要求。

（七）数据生命周期管理

与软件生命周期（SDLC）管理类似，数据也有生命周期，通常是指数据从产生、采集、存储、整合、分析、消费/应用、归档、销毁等过程的数据管理。

五、总结

他山之石，可以攻玉。借鉴大数据领域成熟的数据治理方法，将有助于运维团队提前认识到运维数据建设过程将面临的痛点，减少不必要的坑，并提前布局相关措施提升运维数据项目的成功，让运维数据更好用，用得更好。中鼎立天数据治理部门，已经成功实施并服务多个数据治理案例，积累了丰富的经验，相信随着部门能力不断建设和增强，能够为各行业数据治理，提供优质的服务和咨询指导。