不良数据质量对业务的影响

前言

流程错误将会给任何业务活动带来风险。通过调查制造流程中的错误可以使得产品质量得以控制。然而，数据是许多流程产生的可重复使用的资源，同时供组织内外部人员使用。

因为数据具有动态性，其产生以及使用在多个不同的操作及分析系统中，所以我们在建立一种有效评估数据错误或是数据未能符合商业使用者期望而导致的风险的系统时将面临更多的挑战。

任何数据质量管理的案例都应该先界定不良数据质量是如何阻碍业务成功的。通过建立量化的评估标准来评估数据错误导致的损失，我们才能计算出数据改善的投资回报率。

不良数据不仅耗费成本亦可使组织遭受诉讼

诸多研究资料已经显示不良的数据质量将给组织带来不菲的成本。调查显示，不良的操作数据可导致组织收入损失高达10%，此外还会带来其他的严重结果，比如基于错误数据基础上的战略制定和企业决策等。

最近，Larry English也提出了因不良质量的业务信息导致的企业灾难一览表，这些损失共计高达数亿美元。Gartner 的报告显示，在2011年，有75%的组织将因为缺乏数据质量保障体系而陷入明显的收入增长减缓和成本增加状况。

组织的数据质量不仅隐含巨大的商业价值，数据对企业的另一重大意义是，企业的历史记录，数据收集，信息均以数据的方式应对大量的企业监管审核要求。所以不完全符合监管要求的数据管理有可能导致严重的财务灾难甚至会影响到组织的存亡。这些风险不仅涉及到诸如塞班斯法，巴塞尔II这样的法律，亦和政府部门对企业数据的要求有关。这些政府部门包括海关，国家统计局等等。信息错误或是延迟提供都有可能受到惩罚。

显然，企业治理和数据治理需要统一协调。GRC（治理，风险管理，合规性）战略成功的关键是组织的数据质量。

数据管理和数据治理

数据不仅是组织的资源，也是企业级的资产，和组织的固定资产、人员等一样有价值。因此数据须得到合理的管理。真正有效的数据管理是首先界定和聚焦这些真正有价值和存在潜在风险的数据，而不是试图管理所有的不同层面的数据或是管理那些优先级不高的数据，因此，组织内部应该通过落实以下问题以达到有效管理数据：

所有权：每个数据均有“所有人”和“监护人”对数据质量负责；

直接责任：数据流（包括数据录入，抽取，数据的任何操作）中涉及到的每个人员（包括数据提供者，数据加工者，数据消费者）；

管理：确保业务的可用性、安全性和连续性

结果责任：组织中的每一位成员

数据政策：由数据主人和监护人一起参与设定的政策

数据治理

将企业的数据当成企业级的资产来对待处理的政策流程有助于建立数据治理战略。通过据治理，可以使得数据的产生、管理、使用过程可控和协调。

和其他企业目标一样，数据治理要想取得成功，必须要有正式的领导及授权，从现有执行管理层中任命正式的领导是比较理想的做法。没有强有力的领导，任何数据治理政策或是数据质量目标都会失败。

数据治理涉及到企业数据管理的方方面面，不仅包括数据安全和风险，还包括要确认数据的所有人，企业数据资产的监护人，程序，政策，流程。此外，数据治理还涉及建立控制数据质量的方式，培育数据管理和数据质量的组织文化。数据治理不是简单的数据清洗工作，相反，数据治理是一种文化的改变。必须建立相关的政策和目标，以便使数据治理成为组织基因的一个部分。

数据质量改善，如何做？

数据质量改善涉及到3个概念性元素：人员，流程，数据。这三者之间的联系要求任何组织要想改善数据质量都必须理清以下三个问题：

a.       人员。数据提供者，加工者，消费者分别是谁？

b.       流程。数据和信息的接收，处理，传递流程是什么？

c.       数据在哪个节点？数据本身在数据循环“输入，加工，输出”中所处的位置。

数据质量改善不仅仅是修正数据或是在一个单一的业务应用或流程里改善数据质量，更是一种高成本、前瞻性的企业范围的战略。这种战略涵盖企业文化的因素，持续改善须成为企业文化的因子，以确保数据符合规范和要求。

企业数据质量的改善不能一刀切，我们需要为不同的具体个案和情况设定不同的解决方案。数据质量问题不是由主观的人为因素引起的，是由于流程执行不力引起的。缺少和流程或是个人有关的培训，教育，或是将人员安排在不合适的位置，都会导致流程执行不力的结果。

此外，在组织内部还应该有项目宣传活动，逐步推进，确保组织内人员都能参与进来，并确认数据所有人，数据监护者和数据负责人。在这种情况下，数据质量不仅是IT问题更是一个业务问题。所以组织应结合成本和业务风险承受能力，遵循质量管理和变革管理的原则，提供可视的监控流程以监控数据和业务流程，同时把数据质量目标设为每个人的工作目标的一部分，以便从本质上去解决数据质量的问题。

结论

本文旨在唤起更多组织对数据管理的意识并采取真实有效的措施持续改善组织数据质量，欢迎更多的有识之士发起更多的关于数据管理和数据治理的讨论。