评测一下你的数据质量有问题吗?
2016/8/4 哈佛商业评论

    

     无论是决策者、领导者、数据科学家还是高管都时常需要快速评估数据,从而判断某一系列数据的可信度。这些数据可以直接用于分析吗?是否需要在这些数据的基础上展望新的方向?虽然管理者们有数不清的问题,但他们都绕不开这么一个基本问题:我的数据质量靠谱吗?

    

     为了评估数据质量,我想出了一个简单的办法,它能帮助每一个人回答上文中的问题。我把这个方法称为“周五下午测评法”(Friday Afternoon Measurement ,简称FAM),它能帮助那些靠数据吃饭的各级员工评测数据。这个方法不仅能帮你轻而易举地衡量数据质量的等级,深度估测其影响力,还能合成出既定结果。这个方法灵活可变,它对不同的公司、流程和不同系列的数据都同样适用。

     FAM有以下四个步骤:

     第一步

     收集你的团队最近使用或创造的100条数据记录。比如,如果你的团队收取的是客户订单,那就把最近100条订单收集起来;如果你是做工程制图的,那就把最近100幅图绘放在一起。接下来,从这些数据记录中找出10-15个关键数据元素,把它们输入到一张电子数据表中,或抄在一张大点的纸张上。

     第二步

     请两三个懂数据的朋友和你一起花2个小时一起分析下这些记录。(FAM之所以叫星期五下午测评法就是因为,很多人都把这种碰面安排在周五下午,这个时间段的工作节奏往往会慢下来。)

     第三步

     仔细筛查每一条记录,指导你的同事们把每一个显眼的错误都用醒目的颜色(红色或橙色)标出来。大多数情况下,数据可以被很迅速地检查一遍,毕竟只会出现两种情况:1.你的同事们能查出错误(如拼错了客户的姓名或信息被错误分栏等等);2.他们查不出错误。而在一些情况下,你们需要进一步仔细讨论,从而判断某些条目是否真的有误。不过,通常来说,你花在每条记录上的时间不会超过30秒。

     第四步

     总结结果。首先,在你的电子表格上画出“数据是否完美?是□ 否□”一栏。如果数据无误,就画一个标注为“是”,如果有瑕疵,之前用橙色或红色标记出来的记录就标注为“否”。接下来,你需要统计完美数据的总数。

    

     这张“无误数据统计表”可以作如下解读:如果在团队完成的100项记录中,只有三分之二(即100项数据中有67项是正确的)是对的,那么很显然,几乎每个人都会认定,这份数据的表现是很不理想的。

     这个结果能证明——你的数据质量有问题。要想知道这会如何影响生意,我们还需再走一步。

     不良数据会导致各种各样的问题——比如这会使人们很难做出好的决策,会使客户生气,从而增加成本。不过,所谓的“10倍法则”能助你轻松预估这些成本。这一法则基于这样一个现象——相较于无误的数据,如果输入数据有缺陷,那么人们要想完成一组工作,就要多花10倍成本。举个简单的例子,假设你的团队每天必须要完成100组工作,当数据无误时,每组工作的成本为1美元。如果所有数据都完美无缺,那么一天的工作成本便是100美元。但是,如果只有67组工作是正确的话:

     总成本 = (67 x $1.00) + (33 x $1.00 x 10) = $67 + $330 = $397

     正如你所见,总成本要比数据无误时高了4倍。一想到不良数据质量所导致的巨大差距,绝大多数公司都不能也不该允许这样的高成本出现。现在,你已经发现了自己的数据质量问题,也看到了成本与数据质量之间的联系,想必你现在很希望获得实际的改进吧!

     电子表格已经指出了数据的错误所在,你只需看看这些数据,就能发现哪些问题需要被率先修正。统计一下每一栏中的错误,找出两到三个出错率最高的“罪魁祸首”,找到它们的根源然后“消灭”掉。在绝大多数情况下,你可以指望当初创造这些数据的人(你的同事或是其他人,取决于你选择的数据类型)把改进数据当做其日常工作,而无需在此项上额外投资。不过,你能看到错误率降低,相关成本也会明显下降。

     每个人都该把提升数据质量视为自己工作的一部分,这项练习能使你轻松改进这一问题。这项评估和改进过程并不是一次性练习,你可以有规律地时常采用FAM来评估自己的数据质量。多在FAM上下功夫,你不仅能甄别出自己的数据质量问题,还能知道该向哪个方向努力,从而更好地修缮问题。

     Thomas C. Redman|文Thomas C. Redman是大数据博士,一直致力于提升数据质量。他是《哈佛商业评论》2013年12月《重塑数据质量管理》一文的作者原玥|译 齐菁|校《哈佛商业评论·大数据观察者》编辑|齐菁jingqi@hbrchina.org

     推荐阅读

     数据医生为你开出一副重塑数据质量管理的药方

    

    公众号ID:hbrchinese长按二维码,订阅属于你的“卓越密码”。

    

    

    http://weixin.100md.com
返回 哈佛商业评论 返回首页 返回百拇医药