持续和新兴影响评估(SEIE)

什么是塞里?

持续和新兴影响评估(SEIE)refers to an evaluation that focuses on impacts some time after the end of an intervention (which might be a project, policy or group of projects or programs) or after the end of participants’ involvement in an ongoing intervention. It examines the extent to which intended impacts have been sustained as well as what unintended impacts have emerged over time (positive and negative).

这种类型的评估通常被称为“项目后”影响评估,以区别于“影响评估”在接近尾声或干预结束后不久进行。的标签,持续和新兴的影响评估,强调关注长期影响,并且不仅包括意图影响,而且需要意外的影响。

塞里可以识别导致许多活动和成果的因素持续多年后(例如,参与者仍然保留知识和实践特定行为)以及持久影响(例如,项目营养不良持续减少)。杰伊还可以记录新出现的或意外结果,例如知识的传播和对新社区或完全意外的新方向,参与者和合作伙伴已经采取了项目或他们自己的新联系。

它最常见的是有限时间范围的干预措施,例如由国际发展机构,多边组织或慈善基金会资助或实施的项目,或由国家政府提供一段时间的地方项目。

2.为什么SEIE ?

Seie在项目/程序周期中提供了“缺失的”评估,如下图所示,由此开发重视声音:

正如此图表所示,当可持续发展目标在项目设计中明确时,它们也可以在整个项目周期中进行监测和评估。因此,塞维理想地是评估可持续性的过程的高潮。

然而,在资助结束后的几年里,重新评估是非常罕见的。许多“影响评估”只在项目接近尾声时评估影响,因此在不完全证据的基础上得出干预的持久价值的结论。

如果持续和新出现的影响评估包含了预期受益者和负责在项目结束后继续采取行动的机构的声音,那么它对问责制非常重要。SEIE促进对持久结果的学习,并有助于告知未来更好的干预措施。SEIEs可以提供重要的经验教训,关于过去设计的质量,什么在什么环境下行得通,为什么。当对可能的变化轨迹——即影响将如何随时间变化的信息不充分时,SEIE尤为重要。

项目末尾的调查结果并不总是具有持久福利的可靠预测因素。在干预结束之后,可能发生的情况是,可以维持,增加或减少所实现的影响。可能会出现额外的重要影响。Seie收集证据以了解其中哪一个发生,以及如何。例如:

持续影响:一个以儿童为中心的肯尼亚的生计项目认为,国际非政府组织在九年后返回,发现一些投资是持续的。水箱和VIP厕所被维持,以及健康和金融服务建筑和爱尔兰土豆(2010年计划国际计划)。

增加的影响:一个粮食安全项目在尼日尔,促进了持续的农业做法,在粮食关闭三年后促进了30%的粮食安全改善。这些持续的结果被认为是由于合作伙伴和参与者参与了两年多的交接过程(2015年尼日尔CRS)。

一个微型项目项目其中包括培训参与者作为“变革的代理商”导致项目结束后的结果增加,微观企业银行传播和资产三倍(PACT Nepal 2006)

减少影响:一个审查的数据超过20万个水系统的安装表明,大约四分之一的安装后十年不再运行(IDB 2016)

新兴的影响:一个干旱/康复项目减少妇女在水上劳动的劳动力在减少性别暴力方面存在意外的积极结果(路德世界救援/盖茨基金会,尼日尔2013年)

如果没有这种额外信息,关于基于资源在项目周期结束时发生的情况下发生的许多实例的许多情况下,对实施和监控的策略依赖于基于许多情况的假设的决定。

如果干预的影响仅在资金结束时仅评估,它会产生一些风险,包括:

  • 将达到无法持续或不会导致长期影响的更短期结果的水平或类型

  • 最终更可持续和有效的办法的价值将得不到赏识,有效的投资和办法将过早地终止十博官方网站网页版

  • 这些新兴的影响完全隐藏在我们的理解之外,它们剥夺了我们的经验教训,让我们认识到社区本身有足够的价值来维持他们自己的资源,或者从我们催化的东西中创造新的东西。

这些经验教训是设计和新筹资、监测和评价的关键。

可持续发展目标

鉴于国际对所有国家的可持续发展目标(SDGS)的专注,承担对建立有关持久福利有效的知识的评估非常重要。塞维可以通过照明在特定环境中的长期持续的情况下实现SDG的重要贡献。目前,SGD指标实际上并未将干预措施的可持续性与部门指标的地位联系起来并随着时间的推移而变化。将SEIE数据(作为Sentinel站点)添加到SDG跟踪上,并没有为国家一级的持续改进做出贡献的措施可能会对未来的进展和编程来说非常亮起。

通过涉及参与者,利益攸关方机构和当地评估员在评估过程中培养业绩(在国家或该地区)的当地所有权可以鼓励使用结果。

3.何时做塞里?

SEIE评估的时序应取决于预期的变化轨迹。之后需要长时间才能看到从初始影响的一些变化,但不太长的是,很难收集数据,不可能使用这些信息来告知决策。

在干预结束后,许多人在2到10年之间完成。在某些情况下,它的时间更长 - 例如,评估国际发展项目的长期影响Koshi山尼泊尔地区审查了30年来在该地区实施的各种项目和方案的综合和持久影响。

4.谁应该参与评估过程?

需要达成一些决策,关于评估性,评估团队的职权范围,评估团队的概况以及评估管理。

关于SEIE范围的决策可以通过以下方式进行:

  • 原始资助者
  • 当地实施机构或机构
  • 当地社区组织
  • 国家受援国政府
  • 研究组织
  • 以上组合。

参与进行评价(在收集、分析和报告数据以及澄清应使用的评价标准方面)的人员可包括:

  • 最初的资助机构
  • 当地执行机构
  • 外部评估员或评估小组不在国家或社区
  • 当地的评估者或评估小组
  • 当地社区
  • 以上的组合

F或例子,Koshi Hills Seie.由尼泊尔政府和英国国际发展部共同管理,并由外部评估师组成的联盟承担,其中包括与当地评估师合作的国际评估师。许多企业由国际非政府组织私人资助,由内部管理,并由外部评价人员进行。

让当地实施人员、社区成员和当地评价人员参与是很重要的,以便了解影响可持续性影响的当地情况和因素。一个由当地和外部评价人员组成的联合评价小组可以提供相互学习的机会,为人们的期望和假设提供有价值的意见,并根据国际趋势确定调查结果。

有关选项的更多信息,请参阅嵌入式链接管理评估,决定谁来进行评估, 和参与式方法十博官方网站网页版

5.可以使用哪些过程和方法来进行SEIE?

与任何评估一样,可以使用不同的方法和过程,应该仔细地选择它们,以适合SEIE的目的、被评十博娱乐官网估的内容的性质以及时间、金钱、数据和其他资源的可用性。SEIE的理想规划应该与干预作业的监测和评估系统的规划相结合。

制定计划理论

发展一种包括可持续性理论的变革理论是有帮助的,即如何维持预期的影响?

  • 设计是否明确预测了影响的可持续性或更短期的结果?
  • 干预是否需要持续的资金(例如,当地用户是否会为维护水基础设施付费)?或者,当地机构是否会持续提供资金或人员来维持一项服务?
  • 参与者本身是否有能力维持活动(例如,了解价值链个体来维持市场营销?)
  • 或者,即使活动没有(例如,社会规范或技术变革的影响)的活动,也会忍受甚至超越预期。

例如,美国国际开发署/粮食促进和平组织通过了一项四支柱退出战略和可持续发展框架考虑到超出捐助资金之外的“变革催化剂”的能力,资源,动机和联系。

BetterEvaluation任务页面发展变化理论有关于制定变革理论的指导,以及更多资源进一步阅读。

确定'成功'的样子

有一些备选办法可以用来确定评价中可能使用的标准和标准,利用正式和非正式的来源。还有一些可用于谈判的选择,应该使用哪些选择以及应该如何权衡这些选择。BetterEvaluation任务页面确定'成功'的样子有许多这些选项的链接。

通常建议在塞里使用的一种方法来确定成功的样子是一个参与式方法。在使用参与式方法时,用来定义“成功”以作出评价判断的价值理想地不仅反映出资者的标准和标准,而且尤其反映打算成为干预的受益者的社区。理想情况下,在决定:

  • 哪些影响应该包含在评估中,
  • 什么样的表现会被认为是成功的,以及
  • 绩效如何被综合成一个整体判断-特别是,积极影响是否会被消极影响所抵消,以及利益的分配是否被考虑(例如,最弱势的人是否从项目中获得了任何利益,一些利益,还是最大的利益?)

描述影响

有许多方法可以用来衡量或描述影响以及条件如何随时间变化,包括:

主要和次要数据收集的有效组合分析方法和适当的抽样和足够的响应率是理想的,以便在任何一个数据源的局限之间进行三角化。书桌评论,涉及从组织中审查自我报告的数据,不太可能自己就足够了。

考虑到在干预结束一段时间后进行SEIE的挑战,当参与者或关键信息提供者(包括实施人员)已经移动,从干预或参与者名单中无法获得完整的基线或终线数据时,在方法选择方面可能需要一些创造性。方法的选择需要考虑评估是否十博官方网站网页版会遇到涉众的阻力,因为项目承诺可能没有延续到项目后的现实中。

是特别有用的数据原始的项目结果,参与者和合作伙伴列表来查找和跟踪这些或其他受访者在实现期间密切相关,以及了解该地区和社区在几年到现在已经改变了。通常,在干预结束时,数据被汇总和埋没在执行机构数据- -在捐助者数据库中以PDF格式保存的档案和报告,很少能在当地获得。直到最近,一些项目数据才开始在开放数据集中共享,供全国各地的评价团队使用。

了解原因

SEIE评估的主要挑战是因果推断- 解释是否或在多大程度上,观察到的变化是归因于特定干预的。这在很长一段时间内特别困难,其中具有相同目标的项目在介入时期的相同地点上,或者正在检查几个项目的组合影响。

在某些情况下,一个反事实设计从一开始就已建立或可创建用于SEIE评价。

例如,头部启动程序的长期评估随后被随机分配的儿童随机分配参与头部开始或在对照组中(我们的发病率,2010)。

在某些情况下,可能可以使用准实验设计,例如a回归不连续方法,并比较那些刚好高于或低于介入的阈值,或找到充分匹配的地点创建对照组

然而,在许多情况下,可能需要一些创造力来建立一个可信的反事实群体,无论是前瞻性的,还是回顾性的。如果不可能创造出可信的反事实,就需要非实验性的选择——例如,过程追踪,比较案例研究定性影响方案,它使用一系列数据来测试因果推断的合理性。这些方法和方法可以特别有用用于调查与十博官方网站网页版许多其他项目在拥挤的实施环境中的特定项目的贡献。

报告和支持使用

在开始SEIE之前,重要的是预测如何与可能从调查结果中受益的人分享。这包括实施机构,以及在同一背景下实施或基于类似计划的其他机构。当然,与正在评估的人 - 社区,当地合作伙伴和地方政府 - 以准确性确认,为知识管理和改善未来的编程,后期,分享调查结果是至关重要的。

可能需要各种报告格式,以使不同的受众可以访问调查结果。看到BetterEvaluation报告和支持使用关于不同报道方式的一些想法。

资源

讨论文件

建立项目后评估的证据基础:案例研究审查和评估性清单:本报告由Laurie Zivetz和Jindra Cekan的劳迪Zivetz和jindra Cekan的报告比较了八个项目终端和后续项目评估的结果。鉴于他们稀有,几乎没有关于项目对长期可持续性的影响的真正证据。本报告旨在帮助构建此证据。

网站

重视声音- 该网站上有很多博客帖子,a存储库30多个同类,并与其他资源的联系,包括讨论成功的塞里的前提条件

援助撤出和退出策略

反馈实验室:Labstorm Recap:结果数据是否足以提高发展影响?

参考

Cekan, J.和Zivetz, L.(2016)。“缺失的环节:持续和新兴的影响评估”[博客]。BetteRevaluation。从...获得://www.cancastellar.com/en/blog/SEIE

Cekan,J.,Rogers,B.L.L.,Rogers,P.和Zivetz,L.(2016)。咆哮一个更好的树:关于塞里的课程 - 持续和新兴的影响评估。AEA介绍。从...获得:http://valuingvoices.com/wp-content/uploads/2016/11/Barking-up-a-Better-..。

美洲开发银行,评估和监督办公室(2016年)。农村水资源供水与卫生卫研究的绩效与可持续性研究小型社区(PR 0118)。从...获得:https://publications.iadb.org/bitstream/handle/11319/7614/Study-on-the-P..。

人大/ DFID(2013)。尼泊尔科希山区发展干预措施的长期影响研究。加德满都:国家规划委员会(NPC),尼泊尔政府/国际发展部(DFID)尼泊尔。从...获得:https://www.gov.uk/government/uploads/system/uploads/attachment_data/fil..。

美国卫生和公众服务部,儿童和家庭管理局(2010年1月)。头开始影响研究。总结报告。华盛顿特区。从...获得:https://www.acf.hhs.gov/sites/default/files/opre/executt_summary_final ...

评估声音网站(N.D.)检索:www.valuingvoices.com.

引用这个页面

Cekan, J., Zivetz, L.和Rogers, P.(2016)。持续和新兴的影响评估。BetterEvaluation。获取[月][日期]//www.cancastellar.com/themes/seie.

特别感谢本页的贡献者
作者
Cekan咨询公司的声音评估总裁。
美国华盛顿。
作者
独立顾问,在Cekan咨询公司评估声音。
美国华盛顿。
作者
首席执行官BetterEvaluation。
墨尔本。
审稿人
董事,评价能力加强,贝蒂索赔。
墨尔本,澳大利亚。

评论

kyliehut的照片
凯莉•哈钦森

非常感谢这篇新的文章!

我认为,您介绍SEIE作为一种独特的评估形式,将对我们理解项目的可持续性做出非常重要的贡献。

如果读者也对他们如何促进计划可持续性的前端感兴趣,他们可能有兴趣查看我的新指南,生存和繁荣:三步确保您的计划的可持续性

Jindra Cekan的照片
金德·凯恩,博士

亲爱的克莱尔,凯莉和辛迪

谢谢你的评论。我很高兴探索持久的利益(持续的影响)是有趣的!我想知道,你认为我们需要在评估实践和捐助者1)超越资金循环和个随机对照试验的方法重点和勇敢地寻找可能是“站”和2)合并的迷人的概念“新兴”——我们甚至不期望会出现结项?要做到这一点,人们还需要知道什么呢?很高兴有机会参与这个项目,就像Kylie说的,首先为它设计,就像Cindy的帖子所说的,回到未来:)。热烈,Jindra

爱丽丝Macfarlan的照片
爱丽丝Macfarlan.

让我们谈谈持续和新兴的影响评估 - 我们很想听到一些想法:

  • 我们如何将“新兴”的影响纳入项目后项目评估的范围,因此他们不仅看出预期的结果和影响?
  • 您曾经进行过SEIE(或项目后评估)吗?如果有,你是怎么做到的?你面临的障碍是什么?你能利用的资源是什么?
  • 您认为如何为我们的评估实践和资助者超出资金循环,并在项目或计划结束后进行一段时间的评估进行评估?什么有助于使这种类型的评估更广泛进行?
  • 你对SEIE还有其他的评论或问题吗?
Jindra Cekan的照片
金德·凯恩,博士

伊万,我不能同意你的名单!我们必须计划这些。Laurie Zivetz和我刚刚完成了由Michael Scriven更快的前向基金(基金会补助金)共同资助的报告。在它中,我们使用了8项案例研究来探索增值的邮政项目评估,而不是在最终评估时结束。我们必须为此规划;理想情况下,我们也可以从一开始就设计可持续性。我们开发了一些清单来帮助解决这个问题。请参阅:http://valuingvoices.com/building-the-evidenes-base-for-post-project-ava ...

添加新评论

登录登录并评论为更好的评估成员或只需填写下面的字段。