柯氏四级评估原则之二 | ROE是价值体现的最终指标
2018/6/20 18:08:23 YUNZHI学习场
来源 | 绩效改进指南
上次我们阐述了柯氏四级评估的第一项原则“把终点作为起点”，这次我们将关注点放在柯氏四级评估的第二项基本原则上，就是“期望值回报率是价值体现的最终指标”。
如果我们没有正确理解这一点，我们所熟知的培训行业可能会在接下来的数年中走向灭亡。培训专业人士需要能够为业务创造价值并将其展示出来。
期望值回报率(ROESM)：
一个成功的培训给利益攸关方所带来的价值在多大程度上满足了利益攸关方对培训所持有的期望。
企业陪审团界定你的价值
企业陪审团对我们的价值进行评判，所以我们需要知道他们希望我们做到什么，然后将产品交付给他们，最后向他们展示我们所做的努力。我们将这一概念称为期望值回报率(ROE)。
我们坚信，这是展示培训和后续强化措施所带来的价值的最佳方式。为什么呢？因为期望值回报率通常是用文字和数字来呈现利益攸关方在培训之初界定出的底线结果和价值，这些文字和数字对于我们的客户——利益攸关方来说是最有说服力的。
企业陪审团：
业务合作伙伴(个人或者群体)，最终判定与培训的成本相比，培训为业务带来了多少价值。企业陪审团成员控制或者影响着培训部门的预算、人员配备和未来发展。
在第二项基本原则中，培训专业人士必须谦逊地接受这样的事实：他们只是在很大程度上支持了企业的业务开展，通常情况下并没有达到创造或者驱动业务发展的程度。
温迪(Wendy)曾经在一个培训部门工作过，他们首先对利益攸关方的培训需求进行民意调研，然后再有条不紊地将不合理的需求一一驳回，最后只对一些恰当的培训需求加以响应。这也是避免培训业务甚至培训行业遭遇灭亡的有效途径。还是那句话，培训部门的职责是为公司主要的业务活动提供支持，而这些活动几乎全部是由主要的利益攸关方推动的。
确定陪审团
实现利益攸关方的期望值回报率的第一步就是确定陪审团成员，这并不总是像听上去那么简单。
在这一过程中要考虑到对你能否创造出积极的业务结果感兴趣的所有部门和个人，包括决策层、管理层、客户和参训学员。通过与他们建立业务合作伙伴关系，确定出主要的利益攸关方并满足他们的培训期望，这将是你的工作的重中之重。
业务合作伙伴关系：
公司的培训部门与其他的业务和支持部门之间建立的合作关系。
确定需要何种证据
对培训专业人士来说，不仅要知道主要的利益攸关方所期望的成功是什么样的，还要知道他们想要看到的体现期望值回报率的证据的方式，这两点都很重要。要想做到这些，你可以询问他们(还有你自己)，是什么能够让他们相信培训所带来的业务价值大于其投入。通过这些信息，你就可以确定需要收集何种“证据”来建立一条所谓的有说服力的证据链(Chain Of EvidenceSM)。
证据链：
通过按一到四级评估顺序依次呈现的相关数据、信息和证词，以展示通过业务伙伴合作方式完成的培训项目所带来的价值。
证据链是基于上一篇我们提到的第四级业务结果而建立的。在陪审团告诉你他们所期望的成功是什么样的之后，你必须和他们进行协商，将期望值转化成可衡量的业务结果，而不是急于实施陪审团所描述的培训期望。利益攸关方是他们各自领域内的专家，而你则是培训领域的专家。这种对话协商可以充分利用你们各自的专业知识，制定出一个培训方案，既能满足利益攸关方的期望和业务需求，对于你(即他们的培训合作伙伴)来说又是切实可行的。
再具体解释一下证据链与业务结果的关系问题。通常情况下，你的业务合作伙伴寻求的第四级业务结果可能是增加利润。
听上去非常简单。但是，你如何界定和评估呢？增加利润的方式有很多，可以通过增加销售量、降低成本、提高价格或者其他任何方式。这种情况下，你需要和主要的利益攸关方进行沟通(有些情况下需要协商和谈判)，明确哪些方面才能准确地评估和衡量利润增加这个业务结果。如果你们将增加销售量确定为一个衡量指标，就需要进一步明确如何去评估销售量的增加？例如，有没有销售报告作为信息参考呢？
在这一阶段同样需要注意的是，你必须确保利益攸关方所要求的业务结果可以通过培训来支持并实现。这通常会涉及到项目范围(培训项目的广度和深度)和资源等问题。比如，在上面这个增加销售量的例子中，如果利益攸关方建议你设计一个独立的、长达30分钟的电子学习模块来完成这一个目标，你就需要与他们进行谈判协商了。你需要借助于你的专业知识，对利益攸关方进行一些说服教导，基于现有的可以投入到培训及后继强化措施中的时间和资源来看，哪些期望结果是合理的。或者说，为了实现他们所寻求的业务结果，还需要哪些额外的资源。
确定你将如何呈现证据
一旦你和主要的利益攸关方确定了成功的培训是什么样的、他们所寻求的具体的业务结果以及业务结果的衡量方式之后，最后需要考虑的是如何以他们希望的方式将数据呈现给他们。同时，我们还强烈建议你充分考虑一点，即当你呈现证据时，哪些数据对利益攸关方来说是最为重要的。
“
我们认为，培训专业人士正在“接受审判”。
企业陪审团正在持续不断地、理所应当地对培训行业进行审判，判断培训的投入和创造出的业务价值是否一致。几乎所有的其它事业部都要经历类似的严密审查和分析过程，所以说这是预料之中的，没有什么不公平。“陪审团”成员最终会根据你所带来的真正的、可感知的价值，来决定培训项目甚至你的工作的前途命运。
培训没有能够带来与成本相对应的价值而遭受指控的情况时有发生。其中的一个原因在于，我们在启动一项培训活动时通常是以培训(第一级和第二级评估)作为出发点，而没有事先确定最终的业务结果(第四级评估)。我们经常看到的四级评估的实际应用情况是“首先采用微笑量表做第一级评估(学员反应)，然后用课前和课后考试作为第二级评估(学习)，并傻傻地期待着第三级评估(行为改变)和第四级评估(业务结果)结果会自然而然地发生。”。
这就反映了一个事实，即许多培训专业人士仅仅止步于他们感觉舒服的评估层级(第一级和第二级评估)，而没有进入真正能够向利益攸关方展示培训价值的关键层级——第三级评估和第四级评估。
突破第二级评估
关于有多少培训活动进行了第二级以上的评估这一问题，研究数据各有不同。根据2005年的《ASTD培训行业报告》，91%的培训活动至少进行了第一级评估。2000年ASTD行业标杆管理论坛发布的麦克莫瑞调查报告显示，只有13%的组织进行了第三级评估，3%的组织进行了第四级评估。因此，虽然很多培训都进行了评估，但是大部分都停留在第一级和第二级评估上。只有很少的评估能够做到第三级，而做到将培训活动和企业目标联系在一起的第四级评估更是微乎其微。
从广大培训专业人士展示培训价值的方式不难看出为什么大多数人无法突破第二级评估。凡是采用唐纳德所提出的四级评估的人，都是以第一级学员反应作为开始的。如果从一开始就倒着使用这个模型，许多评估目的性明确的培训专业人士就不会止步于第二级评估了。
我们也不喜欢将这个模型描述为一个金字塔，即面积最大的底部为“第一级评估”，最上面的小三角形为“第四级评估”。同时，金字塔式的描述也会加深一个错误的认识，即对所有的培训项目都要进行第一级评估，而进行第二级评估到第四级评估的培训项目逐渐变少。这些都是为什么我们现在将这个模型倒过来使用，并且将四个层级的图形描述为同等大小的原因。
除了对柯氏四级模型的具体描述方面的理解偏差之外，至少还有另外三个原因困扰着培训专业人士开展第三级和第四级评估。现在看看你自己是否也持有以下陈旧的、以培训师为中心的观念，这些观念将会阻碍你成为一名成功的业务合作伙伴：
观念1：
在过去的二十多年中，许多文章及研究结果建议，在完成了第一级评估的基础上才能进行第二级评估，在完成了第二级评估之后再进行第三级评估。对于第一级学员反应/微笑量表的评估几乎不会遇到任何挑战，然而在进行第二级评估时往往困难重重。
这主要是因为，对于就像中学教育中所指的学生必须掌握的知识和技能部分的评估一样，培训专业人士花了太多的时间、金钱和精力去完善训前和训后测试题。他们没有去解决有用性(usefulness)(对于培训专业人士而言)和可信性(credibility)(对于最终的价值展现来说)这两个关键问题，与之相反的是，他们太过关注考题本身的有效度(validity)和可靠度(reliability)。
在这儿不要产生误解。进行有效的、可靠的训前和训后考核是对的，但如果把检验考题本身的有效度和可靠度放在比满足业务需求更为重要的位置，或者当考题的效度和信度测试工作阻碍了你达成第三极和第四级评估(这是利益攸关方高度关注的方面)的时候，这说明你对训前和训后考题的关注就过度了。
观念2：
相比较于其它层级的评估，完成第一级评估和第二级评估更容易一些，因为它们在培训的可控范围之内，也就是说，第一级和第二级评估可以让学员在培训现场就完成。通常情况下，第一级和第二级评估不需要获得学员主管、经理及决策层的参与。所以，用我们“自己的方式”进行评估就会容易得多。
与上面这个观念一致的是另外一个错误的认识，即第一级和第二级以外的评估不是培训专业人士或培训部门的责任，因为我们无法掌控培训结束之后发生的事情。我们确实没有权力掌控员工的发展和绩效，但是我们有责任帮助我们的业务合作伙伴尽可能轻松地完成他们的员工发展和绩效提升工作。
观念3：
培训专业人士历来通过参训人数、第一级学员反应量表的分数以及学习发生的程度来界定他们的价值。这些因素都很重要，但是只有将它们转化为第三级评估中的行为改变以及对业务至关重要的第四级业务结果时，它们的重要性才能彰显出来。
培训专业人士应该采取更加有价值的评估方法，比如，培训中所学技能在实际工作中的应用情况，跟踪所培训的内容对业务指标的变化起到的作用等等。为了加强培训对业务的相关度，培训的有效性应该在超越第一级和第二级评估的层面上加以界定。
摘自：《柯氏评估的过去和现在：未来的坚实基础》
作者：吉姆.D.柯克派屈克
温迪.凯塞.柯克派屈克
译者：崔连斌 胡丽
PS /旨在分享/ 如有侵权请联系删除
往期精彩
经验萃取的理论思考 · 壹
经验萃取的理论思考 · 贰
组织经验萃取之重现情境
组织经验萃取之追溯细节
组织经验萃取之提炼方法
更多内容，↓ ↓ ↓点击阅读原文
http://weixin.100md.com
返回 YUNZHI学习场 返回首页 返回百拇医药