为什么我们需要更多的实时评估?

Patricia Rogers的照片2021年4月15日至Patricia Rogers.

我们目前正在经历一个快速变化和适应的全球时期,这在很大程度上是由于COVID-19大流行对我们生活和工作的影响。随着我们的世界不断变化,许多个人和组织发现,传统的评估方法不能满足快速变化的实施或全新的干预措施的需要,而这些干预措施是在实施时设计的。在这种情况下,使用证据和支持实时学习变得很重要。

在过去的20年里,实时评估(RTE)已经实施并记录,最初主要用于人道主义项目。现在越来越令人兴趣地学习这种经验,以便在其他领域提供评估,特别是在发展中。这就是为什么我们已经写了一份工作报告关于从以前的评估做法中可以学到的内容,以告知当前的实践。

“实时评估”一词有不同的用途,可以将其视为执行程度,包括以下一个或多个维度:

1.实时(或更当前)数据收集;

2.实时(或快速)报告;

3.多次评估活动的时间;

4.支持不同类型的学习(如单循环、双循环和三循环);和

5.让不同的用户参与对话,以便制定意义和行动计划。

虽然实时评估可以包括所有这些元素,但它也可以只包括实时数据的收集(稍后可能进行分析和报告),或者实时数据的收集以及实时报告(例如在仪表板中)。

下面,我们将更详细地探讨如何使用具有以下一个或多个维度的实时评估来填补现有机电系统可能无法满足的空白。

1.实时(或更当前)的数据收集

如果没有规划评价并从一开始就开始进行评价,对执行情况,特别是在迅速变化的干预措施方面,往往缺乏良好的文件记录,因此很难为今后的干预措施提供决策信息或记录教训。

在RTE中,在实施期间进行数据收集,并且经常在最近使用实地访问和访谈或远程方法,以更全面,准确地记录实施,而不是如此。此数据可以立即使用,并在将来使用其他干预措施。

2.实时(或快速)报告评估数据

在非实时评估中,数据收集和评估报告之间通常会有相当大的延迟。在留下现场访问之前,有时候有一个汇报,但这些往往会集中在检查数据收集的准确性。当现有监测系统未提供及时或提供信息而导致行动和决策所需的相关数据时,这会导致问题。

在RTE中,发现的快速反馈是作为实地访问或参与的一部分提供的,这是有用的,当有空间作出变化,以响应实时数据。

3.评估活动的多重时间安排

非实时评估通常由情节活动组成 - 例如项目评估的中期和结束,而不会系统地使用之间的评估证据。这限制了在改进现有干预方面使用的可能性,特别是当当前计划的评估事件或与监测数据的主动参与时,将不够频繁地支持决策。

RTE在整个实施过程中以许多点完成。时序可以是常规的 -​​ 例如,每月或季度或与特定决定或活动相连,例如规划活动。

4.支持不同类型的学习 - 单循环,双循环和三环

非rtes通常主要集中在单环学习 - 识别计划和实际活动和结果之间的差异以及提出改善合规性的方法。这是重要的,但不够,特别是当干预措施并不充分理解时,或需要适应改变情况。在项目评估结束时,有时可以看到双循环学习(审核和修订的假设和概念模型等变更理论),旨在向缩放和复制通知缩放和复制。要明确地注意支持三环学习(审查学习的情况和使用的方法和证据而言,还不常见。

在面对持续不确定性所需的情况下,在整个实施过程中对双循环学习的支持尤为重要,并且需要修改假设。同样,当有明确的变革理论,支撑一项倡议,在整个实施过程中审查和修改这一项可能很重要。

RTE明确地处理了所有三种类型的学习——单环(识别差异)、双环(支持对变更理论和实施活动进行更改的假设和影响的重新审视)和三环(回顾使用了什么证据以及如何支持决策制定)。

5.将不同的用户聚集在一起,对话进行传感和行动规划

有时,评价主要集中在产生独立的判断和结论。执行者通常被视为数据源,以及潜在的评估使用者,外部评估者得出结论并提出建议,这些建议被报告回来供采纳。

RTE明确地涉及将一系列利益相关者共同培养,了解数据并联合制定行动建议,带来更大的专业知识,以及为调查结果和建议制定更大的所有权和承诺。

什么时候是一个实时评估不适合?

虽然在某些情况下使用RTE在传统评估中使用RTE具有真正的好处,但重要的是要意识到RTE并不总是合适的。在不合适的环境中选择或未实施时,RTE可能存在潜在风险 - 特别是在提供信息不足以通知决策的条件。

特别是,通过不充分的数据收集和分析,或者对认知偏差(如确认偏差)的管理不当,快速的数据收集过程,以及快速的理解和报告,可能会增加得出无效结论的风险。人们倾向于注意并记住那些能证实他们已有理解的信息。我们建议概要,'快捷方式如何削减美国:慈善决策中的认知陷阱', 经过Tanya Beer和Julia Coffman用于管理认知偏见的一些具体策略。

最终的想法

RTE是合适的情况,以及使其工作所需的情况取决于它所定义的方式,以及所预期的益处。在RTE是可行和合适的情况下,RTE可以为传统评估所面临的许多问题提供解决方案。

BetterEvaluation最新的工作报告概述了RTE被定义和被理解为工作的不同方式。该报告分析了RTE与支持循证行动的其他方法的相似之处和不同之处。十博官方网站网页版本文讨论了什么时候适合使用RTE,以及需要什么才能使其良好工作。它还提供了附加资源、进一步阅读和rte示例的链接。

阅读更多

监测和评估工作纸系列,#4:实时评估

作者:帕特里夏·罗杰斯

在过去20年中,最初在人道主义项目中已经实施和记录了实时评估(RTE)。现在越来越令人兴趣地学习这种经验,以便在其他领域提供评估,特别是在发展中。本文概述了所定义RTE并理解为工作的不同方式。该报告分析了RTE与支持循证行动的其他方法的相似之处和不同之处。十博官方网站网页版它讨论了适合使用RTE以及需要良好工作所需的内容。阅读更多。

功能图片:图片:Jutta Benzenberg/世界银行(2014)监测和评价系统,来自世界银行照片集合。世界银行支持建立了对罗马尼亚国家气候变化战略和行动计划成功至关重要的实用有效的监测和评估体系。

特别感谢本页的贡献者
作者
首席执行官BetterEvaluation。
墨尔本。
作者
知识平台经理,更好的评估。
墨尔本,澳大利亚。

评论

目前尚无评论。成为第一个在本页发表评论的人!

添加新评论

登录登录并评论作为betteRevaluation成员或只是填写下面的字段。