如何构建DevOps的度量体系与相关指标？

10月，嘉为蓝鲸2021研运治理实践大会在北京成功召开。在下午的DevOps分论坛上，来自嘉为蓝鲸的DevOps首席专家 邹姝虹 发表了主题 《如何有效的构建DevOps下的度量体系与相关指标》 的专题演讲。

一、为什么企业需要建设度量体系？

1. 度量建设的核心目标

度量建设的 核心目标 是实现推动软件研发过程的改进，通过这个过程的持续改进，我们能够帮助企业提升研发的效能质量，提升人员能力，最终提升业务端的客户满意度，帮助业务去扩展服务范围、提升影响力。

除了帮助各个企业去提升相关的价值之外，还可以对企业内部的管理层构建不同的管理视图，通过数字化的方式去提供决策的依据。例如：项目经理通常只关注项目范围内的事情，但对部门经理来说，不仅要关注部门内的项目，还要关注这些项目的状态、项目存在的问题、问题集中的方向等，基于这些问题来与不同的人员交流和沟通，最终促进这些问题的改进。

2. 度量体系建设难点

在以往的案例过程中可以发现，企业在度量体系建设过程中存在的很多问题是具有共通性的：

问题1：度量指标的确定

企业需要度量什么？通过何种目标才能渗透企业研发项目中真实现象？如何帮助各部门深入项目情况？如何减少重复的工作以及减少不必要的沟通和数据同步？在度量体系建设之前，大多数企业都会存在仅仅只收集了零星的数据或容易收集的数据，并不明确数据的评价维度、指标应该如何建立等问题。

问题2：度量数据的获取

获取数据过程中可能收集到的数据内容无效或已经超过数据价值有效期，没有平台的支撑，通过人工的方式投入大量的工作量来获取数据，等到实现数据收集时，已经成为历史性结论，并不具备参考意义。

问题3：数据价值的挖掘

获取数据之后，如何进行数据分析，通过分析挖掘出有价值的结论是极为重要的。但企业中常常出现已收集的数据仅仅只储存在数据库、服务器中，成为了占据空间的死物，并没有做深入分析，没有挖掘数据背后体现出来的真实问题，没有洞察影响效能提升的核心点。

问题4：精细化考核/项目评价

部分企业可能对数据进行了分析和挖掘，但并不够精细化，不能有效的应用于项目过程评价、项目成果评价以及人员能力评价等维度，无法真正发挥所收集数据的价值。

二、建立度量体系的最佳实践

在长期的度量实践过程中，我们借鉴了行业里多种成熟的参考模型，从而总结建立了企业度量体系建设的最佳实践。

1. 参考模型工具与方法

CMMI：

首先是软件行业公认的CMMI能力成熟度模型，所有软件研发相关的活动基本都可以在该模型找到可以借鉴的相关最佳实践。其中涉及到度量管理的最佳实践，提供了企业梳理度量管理过程的实施路径。

CMMI度量管理过程是基于过程进行考量的，同时，度量的所有内容都服务于商业目标，提高度量工作的投入产出价值。所有度量工作都需要投入人力和成本，通过这些成本的投入来帮助项目过程服务于商业目标，最终促进商业目标的实现。

GQIM：

在度量指标定义的过程中，我们是基于目标导向的，度量指标的识别从战略的解码出发，服务于企业战略目标的实现，基于围绕战略目标思考想要解决的问题是什么，然后基于这些问题来定义最终想要衡量的指标和数据是什么，最终确定度量指标的定义。

Six Sigma：

在Six Sigma持续改进的模型中大量借鉴分析工具，该模型有非常多专业统计技术，如离散程度、趋势预测以及相关假设检验等等，为数据分析提供工具和方法。

DevOps：

从DevOps的角度，提供全流程一站式的管理平台，为度量提供数据基础，在平台建设之初，就打通从需求到运维的端到端的数据流，在完善的数据流情况下，平台可以实现自动抓取数据，进行自动呈现，甚至能够自动预警，为度量管理工作节省大量人力，让人员可以更加聚焦于原因分析的后续改进中。

2. 建设目标与思路

构建度量管理体系从体系、方法、场景和工具四个方面规划建设，覆盖了事前规划、事中监控、事后评价三个维度进行效能评估，最终实现研发效能评估的闭环管理。

借鉴上文介绍的行业参考模型，建立系统化的度量管理体系。基于客观事实和预期目标，分析问题和识别风险。通过关键指标选取原则和第一性原理，选择出当前最重要的、最需要关注的内容，进行深入的数据挖掘，推动持续改进。借助DevOps工具平台，实现度量数据的采集呈现，辅助原因分析和持续改进措施的推进，最终实现研发效能的提升。

3. 落地规划

度量体系的构建不是一次性工作，需要持续不断的演进和更新，匹配企业当前的现状，在规划建设初期一般会分三个阶段进行推进：

• 在初期时，识别相关的指标，指标结合项目日常的工作进行数据识别和提取；
• 在试点团队进行手工实践的验证，通过手工的方式找到可自动化输出的相关数据来源，分析形势以及最终问题呈现的方式等等；
• 验证通过之后，与平台功能结合，实现数据的自动提取，自动呈现报表的方式为团队提供长期的服务。

在度量体系落地过程中，需要全员的参与：

• 统筹监管部门 进行全面组织，支撑目标制定，流程统一；
• 各个团队 参与指标的收集，进行分析，挖掘自身团队问题；
• 业务团队、运维运营 收集客户反馈，度量目标是否达成。

4. 实施流程与框架设计

体系落地实施时 ，从指标建立开始，分析从战略目标到详细的数据之间的关联，通过逐层分解的过程形成具体的指标和度量元。

指标建立后 ，借助平台形成全链路数据，实现统一标准的数据管理，自动抓取研发过程中的各类数据，并构建分析和展示、预警。

通过 长期的数据积累和沉淀 ，形成组织级的指标基线和过程性能基线，量化体现研发效能。

通过 持续改进 的思路，将度量人员工作重新聚集在原因分析，改进措施的探索上。

度量体系框架 以流程和工具平台为支撑，基于全流程的维度进行指标识别，形成不同领域的指标，应用于不同的管理诉求，最终支撑组织级战略目标的实现。

在此过程中，需要注意 指标的选取 问题，既要发动全员参与，覆盖所有流程和部门意见，同时要在过程中设立相关卡点，让度量指标发挥作用。在最终呈现上，使度量数据的获取、分析、最终呈现时更加直观，引导相应的业务部门更加关注、更加重视相应的IT质量。

三、度量数据的实际应用

通过以上最佳实践部分，我们详细介绍了构建完整度量体系的经验、方法和路径，接下来我们来看度量数据的实际应用。

度量数据应用于各类管理场景，比如团队质量的分析，分析连续多个版本期间各个研发团队之间的多项质量指标的现状，并不对团队进行排名和对比，只是展示现状，促使研发团队自主发现自己在质量方面的不足，推动自驱式改进活动的开展。

或者分析团队各角色的成员，在日常工作中的表现，通过积累阶段时间内完成的工作成果、工作质量、效率、获得的奖项、具备的能力、历史的绩效评价、以及团队对他的评价等多维度刻画人物形象，形成立体丰富的个人绩效评价。

或者通过项目各维度的指标综合分析项目交付过程，整体评价项目交付效果，形成客观评价项目的依据。

通过体系化的建设，可以帮助企业实现IT全流程的覆盖，定期回顾关键指标，形成回顾报告报表，为持续改进IT质量提供数据支撑，最后进行持续的优化，运用统计技术分析和挖掘深层价值，从而实现持续的自我改进。

四、嘉为蓝鲸DevOps度量体系的优势

基于蓝鲸DevOps平台的核心能力，构建了从需求到运营端到端的数据流，为研发项目管理过程中的度量数据分析提供统一化的数据基础。同时具备度量数据分析的模块，能够构建不同维度数据的分析、统计以及报表展示。

在基础度量不能满足相关的客户诉求时，可以进行度量相关的定制化服务，从指标定义、数据采集、统计分析模型、改进应用，在蓝鲸的DevOps平台上实现定制化开发，以实现用户在平台上的自生长，持续不断优化度量体系，最终促进业务价值的实现！

若你对该分享的PPT感兴趣，可以私我，希望对你们有帮助。