评价评估

以可靠和可信的方式对干预措施进行评估的程度。

这一概述是基于文献综述可评估性委托评估英国国际发展系(DFID)2012年出版为英国国际发展部工作文件(Davies 2013)。审查从1979年开始出版的133份文献,包括期刊论文、书籍、报告和网页。大约一半的文件是由国际发展机构生产的;大多数剩余文件都涵盖了美国国内机构的经验可评估性评估(后者最近由trevisan.瓦尔斯,2014)。

1什么是可评估性?

国际发展机构似乎对“可评价性”一词的含义达成了广泛的共识。以下是经济合作与发展组织-发展援助委员会(经合组织-发展援助委员会)的定义被广泛引用和使用:

“活动或项目可以以可靠和可靠的方式评估的程度”(OECD-DAC 2010;第21页)

2它在哪里使用?

可评估性评估从20世纪70年代开始被使用,最初由美国的政府机构使用,随后被更广泛的国内组织使用。自2000年以来,国际发展机构一直在使用可评估性评估。虽然可评价性评估最常见的重点是单一项目,但也对一系列项目、政策领域、国家战略、战略计划、工作计划和伙伴关系进行了可评价性评估。

可评价评估研究什么?

DFID工作纸(DAVIES 2013)在评估性评估中确定了评估性的这些维度:

  • 鉴于改变项目理论的性质,评估性“原则”
  • 鉴于相关数据的可用性和能够提供的管理系统的能力,评估性“在实践中”。
  • 考虑到相关利益相关者的意见和可用性,评估的实用性和实用性

可评估性评估的整体目的是向评估的时间信息通报,并改善评估的前景,从而产生有用的结果。但是,评估性评估的重点和结果将取决于其时序,如下所示。早期评估可能对长期可评估的影响较宽,但后来的评估可能提供最新的评估评估性。

项目阶段

评价评估重点

评价评估结果

设计

变革理论(TOC)

改进的项目设计

《盗梦空间》

ToC和数据可用性

改进的M&E框架

执行

TOC和数据可用性和利益相关者

改进的评估职权范围(tor)

4您如何进行评估评估?

通常会提供两种形式的建议。第一个是关于活动的排序,以各种阶段模型的形式给出。第二个是关于询问的内容,通常以清单的形式组织。

舞台模型包括涉及规划、咨询、数据收集、分析、报告编写和传播的大部分可预测(但经常重复)步骤。其中两个值得在此评论:

第一个与规划阶段有关。可评价性评估的一个重要的早期步骤是对任务的边界达成一致,这包括两个方面:

  1. 可评估性评估应从诊断到处方的诊断,然后执行解决可评估性问题所需的变更。例如,修订改变或M&E框架的发展理论。
  2. 需要识别的项目文档和涉众的范围,然后分别进行审查和面谈。这些选择对需要完成的工作的规模和持续时间有直接的影响。

第二阶段与分析阶段有关,在分析阶段可以确定两项任务:

  1. 在基础上是从多个文件和面试方面综合答案,就具体的清单问题。在这里,评估需要:(a)专注于数据的有效性和可靠性;然后,(b)确定共识和异常观点。
  2. 下一个层次是在给定的可评价维度中跨多个问题的答案的合成。在此,评估需要:(a)确定在取得任何其他进展之前必须消除的任何“障碍”问题的存在;然后,(b)评估所有其他问题的相对重要性。

清单被许多国际机构使用,具有不同程度的严谨性和灵活性。它们的使用至多提供一种负责任的手段,确保系统地涵盖所有有关问题。DFID工作文件将11个不同机构使用的检查表合成为一组包括上述可评价维度的3个检查表。这些可以提供一个有用的“起始包”,可以根据情况进行调整。如果需要计算可评估性(或可评估性的多个方面)的总分,那么需要明确注意清单上每个项目的权重。不太可能所有项目都同等重要。

5涉及多少时间和金钱?

完成评估性评估所需的时间可以从几天到一个月或更长时间的范围。关键决定因素是需要利益相关者磋商的程度以及是否涉及多个项目。设计阶段的评估可以在很大程度上基于基于桌面的工作,而在拟议评估之前的评估性评估更有可能需要广泛的利益相关者咨询。

它是评估性评估成本与重要的成本之间的关系,这是重要的,而不是其绝对成本。当评估性评估的比例成本很高时,相应地,将需要大量的评估结果的改进,以证明这些费用是合理的。

你什么时候来呢?做一个可评估评估?

乍一看,一些项目设计显然是无法评估的,一些机电一体化框架显然是不充分的。在这些情况下,不需要一个可评估性评估来决定是否进行评估。需要将工作重点放在改善项目设计和/或机电一体化框架等更紧迫的任务上。

在其他情况下,拟议评估的成本可能非常小,因此,在可评估性评估中额外投资的成本效益可能是值得怀疑的。另一方面,在大型项目中,即使是那些看似相对评估的人,对评估性评估的投资也可能提供成本效益的变化。

可评价性评估的替代方案有哪些?

在项目的设计和批准阶段,相关的质量保证过程可以包括面向可评价性的问题。可评价性评估的过程实际上可以在现有系统中制度化,而不是作为一个特殊事件签订合同。

在成立阶段,某些组织可能经常委托建立M&E框架的发展,该框架应该内在地解决评估性问题。或者,他们可能已经建立了审查M&E系统的程序,这些系统比DFID工作纸提供的那种通用评估性评估工具更具目的。

在拟议评估之前,一些组织可以委托筹备工作,这些工作涉及较广泛的环境比评估性评估。方法论文可能会涵盖评估性评估清单中列出的问题,但还扫描了更广泛的文献,以获得评估干预措施类型的相关性和有效性。

一个例子

2000年,英国咨询公司ITAD进行了一项28人权与治理项目的评估性评估,由瑞典国际发展合作(Sida)资助非洲和拉丁美洲的四个国家(Poate等人2000)。这项评估在众多方面令人印象深刻。借助结构清单进行了分析,有助于最大限度地减少在研究中工作的顾问的疗法分歧。通过附属问题调查了19个评估标准,并为每个标准提供了评分。与数据不可用的最常见的评估问题,随后是项目设计的问题,包括明确的清晰度和因果归因的困难。尽管如此,作者能够阐明可以探索的一系列评估选项,以及解决所确定的问题所需的能力建设工作的类型。他们的报告包括所有标准的所有项目的全数据集,从而使他人能够进一步分析此类研究或考虑其他研究或评估目的。

一些忠告

设计检查表可以通过理论得到有用的信息,而不仅仅是临时的或基于经验的推测。资料来源可以包括相关的评价标准、道德规范和评价用途研究的综合。

清单加权已经被很多机构使用过。由于可能的评价方法和具体的评价环境的多样性,很难为给定的清单证明任何普遍适十博官方网站网页版用的一套权重。然而,权重可以在事后分配。在给定的环境中,特定的可评价性评估被执行之后)。像所有好的权重一样,它们的使用需要伴随文字说明。

一些工具

附加的工具可以进一步适应特定的需求/环境。请在本页的评论中分享您的可评价性评估经验或推荐其他资源。

参考

戴维斯r(2013)。规划可评价性评估:文献和建议的综合.国际发展部工作文件40。可以在:https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/248656/wp40-planning-eval-assessments.pdf.

OECD-DAC(2010)。评价和基于结果的管理中的关键术语术语表.巴黎:OECD-DAC。可以在:http://www.oecd.org/development/peer-reviews/2754804.pdf

Poate D,Riddell R,Curran T,Chapman N(2000)。民主和人权项目的可评估性第1卷和2.提供:www.oecd.org/derec/sweden/46223163.pdf

Trevisan M, Walser T(2014)。可评价性评价:提高评价质量和使用。圣人的出版物。看到的:https://methods.sagepub.com/book/evaluability-assessment

资源

影响评价的可评价性评价

本文件概述了在进行影响评估之前实施可评估性评估的实用性和具体指导以及工具。该指南是专门为开展可评估性评估而制定的,作为影响评估方法实验室的一部分——海外发展研究所(ODI)、更好的评估(BE)和澳大利亚外交和贸易部(DFAT)之间的行动学习合作。在阿富汗、尼泊尔和太平洋地区进行评估期间,根据一系列评估人员和评估专员的反馈,对该方案进行了试点和进一步完善。阅读更多

文学

规划可评价性评估:文献和建议的综合.(Davies R,2013)

本报告介绍了对2012年的评估性评估的文献。综合的主要重点是国际机构的经验以及与其工作领域有关的建议。合成提供了关于使用评估性评估的建议。

关于可评价性评价的参考文献(戴维斯,2012)。

该参考书目包括与与评估性评估相关的一系列文献的链接。

可评价性评价:提高评价质量和使用.(Trevisan M,Walser T,2014),Sage出版物。

本书总结了美国国内代理机构的丰富经验。可评价性评估过程的阶段由个别章节描述,每个章节包括一个检查问题的清单,以及案例示例。

指南

评估评估:检查评估计划的准备情况:本指南来自少年司法评价中心旨在提供少年司法计划管理人员,其中有一个实施可评估性评估的指南,以确保计划准备评估。

进行可评估性评估的指引:本指南来自联合国妇女发展基金(妇发基金)的目的是确保方案管理人员了解可评价性评价背后的关键概念。

评估性评估与评价方法的选择:该网络研讨会突出了可评估发展项目评估的重要性,以及讨论经理可用的各种评估方法的适用性。

工具

评价评估模板的模板联合国毒品和犯罪办公室(毒品和犯罪问题办公室)旨在引导用户通过一个逐步的可评价评估过程。

引用这个页面

戴维斯r(2015)。评价评估.BetteRevaluation。从...获得//www.cancastellar.com/themes/evalubity_assessment.

特别感谢这个页面的贡献者
作者
监测和评估顾问,MandE NEWS。
英国。
评论家
主任,加强评价能力,更好的评价。
澳大利亚墨尔本。

评论

目前尚无评论。成为第一个在本页发表评论的人!

添加新评论

登录登录并评论作为betteRevaluation成员或只是填写下面的字段。