结果收获

成果收获收集(“收获”)有所改变(“成果”)的证据(“结果”),然后,向后工作,确定干预是否有助于这些变化。

结果收获被证明在复杂的情况下特别有用,当不可能具体定义干预的目的是什么,甚至不可能在多年期间采取什么具体的行动。

什么是结果收获?

成果收获是一种评价方法,评估师、赠款获得者和/或方案管理人员和工作人员在没有充分理解因果关系的方案环境中确定、制定、核实、分析和解释“成果”。

结果被定义为“大行为”(如行动、关系、政策、实践)一个或多个受干预影响的社会行动者。例如是一个宗教领袖,使宣传言是前所未有的,被认为是重要的;组织之间或社区之间行为的变化;法规,正式法律或文化规范的变化。

与某些评估方法不同,“结果收获”不衡量朝着预定十博官方网站网页版目标或结果的进展,而是收集已经发生变化的证据,然后往回追溯,确定干预措施是否以及如何促成这些变化。结果可以是积极的或消极的,有意的或无意的,直接的或间接的,但干预和结果之间的联系应该是合理的。

信息的收集或“收获”使用一系列的方法,为有用的、可操作的问题(“收获问题”)提供基于证据的答案。

结果收获可用于干预措施或组织的监测和评价(包括发展、形成或总结性评价)。

2结果收获从何而来?

该方法是由结果映射和通知的启发Utilization-Focused评价.它是由Ricardo Wilson-Grau和他的同事开发的,他们作为共同评估者,在不同的情况下应用它,并在多年的评估实践中进一步完善它。

* Barbara Klugman,Claudia Fontes,David Wilson-Sánchez,Febriones Garcia,GoelielaSánchez,Goele Scheers,Heather Britter,Jennifer Vincent,Julie Lafreniere,Juliette Mascers,Marcie Mersky,Marcie Mersky,MarthaNuñez,Mary Jane Real,NatiaNatiz和Wolfgang Richert。

3.什么时候可以使用结果收获?

当在计划干预时,结果收获在结果时特别有用,甚至输入,活动和产出,在计划时没有足够的特定或可测量。因此,结果采集非常适合于动态,不确定(即复杂)情况的评估。

在以下情况下建议进行结果收集:

  1. 重点主要是结果,而不是活动.结果收获是针对决策者(作为“收获用户”)的情况(作为“收获用户”)最感兴趣地学习所取得的成就和方式。换句话说,重点是有效性而不是效率或性能。当目标是理解变革过程以及每个结果如何为这一变化做出贡献时,这种方法也是一个好的契合。
  2. 编程上下文很复杂.结果收获适用于没有完全理解因果关系的编程环境。传统的监测和评估旨在确定结果,将计划的结果与实际实现的情况进行比较,将计划的活动与实际完成的情况进行比较。然而,在复杂的环境中,目标和实现它们的路径很大程度上是不可预测的,预定义的目标和变化理论必须随着时间的推移而修改,以应对环境中的变化。结果收获尤其适用于这些更动态和不确定的环境中,其中意外结果占主导地位,包括负面结果。因此,成果收获特别适合于评估社会变革干预措施或创新和发展工作。
  3. 目的是评估.成果收获可以用于跟踪受干预影响的社交运动员行为的变化。但是,它旨在超越这一点,支持学习这些成就。因此,结果采集对于正在进行的开发,中期形成性和最终的总结评估特别有用。它可以自身使用或与其他方法组合使用。十博官方网站网页版

“收获”的时机取决于收获结果的基本程度如何确保干预朝着正确的方向前进。如果确定性相对较大,则执行B将导致B,收获可以定时以将结果预期恰逢其时。相反,如果有很多的不确定性存在干预将实现干预的结果,则应尽快安排收获以确定实际实现的结果。

4.谁应该参与结果收获?

高度参与过程是一个必要性成功的成绩收获过程和产品。

根据情况,外部或内部人员(“收获者”)被指定领导结果收获过程。采矿者促进和支持适当的参与,并确保数据可信,分析证据的标准和标准严格,以及综合和解释的方法可靠。

“收获用户”是需要调查决策或采取行动的个人或组织。他们应该在整个过程中参与。这些用户必须参与制定关于该方法的设计和重新设计的决定,以及展开的方法和结果。此外,收获的主要用途可以转变为发现发现,这反过来可能需要重新设计决策。

采收者还需要与知情者接触,这些人知道干预取得了什么成果,如何进行,以及愿意分享他们所知道的信息。那些处于“最接近行动”位置的外勤人员往往是最好的线人。

结果收获是如何完成的(概述)?

收割机从实施干预的个人或组织中获取信息,该干预措施旨在影响成果的旨在确定社会行动者的实际变化以及干预如何影响他们。

“结果描述”被起草到一个被认为对回答收获问题有用的详细级别。这些描述可以是简单的一个句子,也可以是详细的一页或更多的文本。它们可能包括对背景的解释、与他人的合作或他人对特定结果的贡献;对结果的不同看法;以及结果的重要性。收集到的信息经过了几轮的修改,使其足够具体和全面,以供验证。

随后,通过将其与来自其他知识渊博和权威,但独立的来源收集的信息进行比较,验证有关选择结果的信息。

最后,分析了经过验证的结果描述,并将其作为个人结果或作为一组成果解释为他们在实现特派团,目标或战略方面的意义,并用于回答收获问题。

结果收获是如何完成的(6个关键步骤)?

收获方法应定制到主要预期用户/用途的特定需求。下面讨论的六个“步骤”将被视为引导原则而不是刚性公式。尽管如此,所有六项原则的严格应用都是健全和可靠的结果收获所必需的。

  1. 设计结果收获:第一步是识别收获的主要预期用户及其本金的预期用途,用于收获过程和调查结果。基于这些,收获用户和收割机同意需要了解和编写有用,可操作的问题以指导收获(收获问题)。例如,一个有用的问题可能是:什么一直是受助人在使国家治理制度更加民主和的集体效应这是什么意思投资组合的策略?然后,为了回答问题,他们就收集什么信息和从谁那里收集信息达成一致。至少,这涉及获得关于社会行为者的变化以及干预如何影响他们的信息。

  2. 检查文档并起草结果描述:从报告、以前的评估、新闻稿和其他文件中,采集者确定了潜在的结果(即个人、团体、社区、组织或机构的变化)以及干预措施对这些结果的贡献。例如,这种改变可以是总统公开承诺保持透明(行为);两个政府机构合作而不是竞争(关系);部长解雇腐败的公务员(行为);立法机关通过了新的反腐败法(政策);或者是第三个连续的政府公布其采购记录(惯例)。变革推动者的影响可以从鼓舞和鼓励、促进和支持到说服或施压社会行动者进行变革。

  3. 与线人一起制定结果描述:采矿者直接与举报人接触,在文件审查的基础上审查结果描述,并确定和制定额外的结果。举报人通常会咨询他们组织内部或外部的其他人,了解他们对结果的贡献。

  4. 证实:收获用户和收割机审查最终结果,并选择要验证的人,以提高调查结果的准确性和可信度。收割机获得了一个或多个独立于干预(第三方)的个人的意见,而是了解了一个或多个结果和改变代理的贡献。

  5. 分析和解释:收割机,分类所有结果,通常与信息咨询。分类通常来自有用的问题;它们也可能与干预或其他利益攸关方的实施者(如捐助者)的目标和战略有关。对于大型,多维收割,需要一个数据库来存储和分析结果描述。收割机解释信息并向收获问题提供基于证据的答案。

  6. 支持调查结果的使用: Harvesters基于对收获问题的基于证据的答案提出问题以供讨论来收获用户。它们促进了与用户的讨论,其中可能包括他们如何利用这些发现。

这些步骤不一定是不同的;它们可能是重叠的,可以是迭代的;反馈可以激发重新设计下一个步骤或返回或修改前一个步骤的决定。通常情况下,步骤4(证实)和步骤5(分析和解释)的反馈不会影响前面的步骤;第6步(使用支持)的反馈只会影响第5步(分析和解释)。尽管如此,所有步骤的反馈当然可以影响关于未来收获的决策,无论是用于监测还是评估目的。

应该注意的是,为了理解变更代理实现了什么,“结果收获”会在必要时进行。根据所涵盖的时间周期和所涉及结果的数量,该方法可能需要举报人投入大量的时间。为了减轻举报人的时间负担,可以每月、每季度、每两年或每年收集结果。发现可能被证实、分析或解释的频率较低。

上述步骤将在结果收获Wilson-Grau R和Britt H(2013)。

7已经使用了结果收获的地方和谁?

非政府组织,基于社区的组织,网络,政府机构,资助机构,大学和研究机构在143个国家使用了成果收获。2013年,联合国开发计划署评估办公室(开发计划署)选定的成果收获作为十一一有前途的创新在监测和评价实践中。在世界银行学院的10个团队试用了成果收获的定制版后,为该学院定制的方法和工具被列为内部监测和评估资源之一。美国国际开发署(USAID)选择“成果收获”作为五种方法中的一个十博官方网站网页版特别适用于动态,不确定情况的监测和评估。

因此,结果收获已被证明是各种局所在的一种有用的方法和多样化的干预措施。一些例子是:

8 .收获结果的优势和局限性

以下是识别的优势成果收获:

  • 克服了常见的未能寻找意外的干预措施结果;

  • 生成可核查的结果;

  • 使用一个常识,可访问的方法,可以很容易地与线人携带;

  • 采用各种数据收集方法,如面谈和调查(面对面、电话、电子邮件)、研讨会和文件审查;

  • 以具体证据回答可采取行动的问题。

限制和挑战包括:

  • 技能和时间以及及时性需要识别和制定高质量的结果描述;

  • 只有告密者知道的结果才会被抓住;

  • 影响结果的人的参与至关重要;

  • 从结果开始,向后工作代表了一些参与者改变的新方式。

9资源

  • 什么是结果收获?Ricardo Wilson-Grau(2014年9月)在这个简短的视频(< 3分钟)中解释了结果收获方法的本质。

  • 结果收获本文由Ricardo Wilson-Grau和Heather Britt撰写,介绍了成果收获的关键概念和方法(由福特基金会于2012年5月出版;2013年11月修订)。

  • OutmaneHarvesting.net.:本网站是一个应用程序、活动和资源的来源,以支持发展一个成果收获的实践者社区。BetterEvaluation是OutcomeHarvesting.net的三个姐妹网站之一。

  • 结果收集论坛:将分享、挑战和推进关于世界范围内关于如何将这一替代方法用于监测和评价的经验教训的讨论。

引用这个页面

Wilson-Grau,R。(2015)结果收获.BetterEvaluation。从检索//www.cancastellar.com/plan/approach/outcome_harvesting.

特别感谢本页的贡献者
作者
校长,Ricardo Wilson-Grau Consultoria EmGestãoEmpresarial Ltda ..
巴西的里约热内卢。
评论家
董事,评价能力加强,贝蒂索赔。
墨尔本,澳大利亚。
评论家
UX设计师/信息架构师,BetteRevaluation。
墨尔本,澳大利亚。

注释

Awuor PONGE的照片
威尔·米格

谢谢你分享这个,里卡多。这本书是对您之前为福特基金会在中东和北非地区发表的关于同一主题的著作的一个很好的补充。我用这个来指导我的学生,性别与发展中的参与式方法和工十博官方网站网页版具。我将其用作评估的新兴参与性方法之一。十博官方网站网页版下次,我会邀请您通过网络研讨会直接向我的学生介绍,所以他们可以直接从马的嘴里得到它。只是一个快速的一个里卡多,我们如何使结果收获性别响应和股权的重点是?这将在教授的单位担心时融合。谢谢,里卡多!

里卡多Wilson-Grau的照片
里卡多威尔逊 - 格劳

感谢您的兴趣和这个问题。如果您将您的电子邮件发送给我,我会建议我们遵守“谈话”,我们如何在坦率地提高哦论坛上的成果响应性和股权,从坦率地说,我不是最好的回答你问题的人。Ricardo.Wilson-Grau@inter.nl.net

里卡多Wilson-Grau的照片
里卡多威尔逊 - 格劳

感谢Awuor的提问,也感谢您允许我在成果收获论坛(参见上面9参考资料中的链接)上发起这个讨论。我有一个方法论的答案,我确信,如果有比我更有经验的同事,他们可以丰富我的答案。他们在明确反映性别或注重公平的监测和评价中,以及在发展性、形成性或总结性评估中,使用“结果收获”。

我的方法建议:

1)我确保明确或至少隐含地提及的条款要求,主要预期用户的一个或多个主要用途是结果收获过程和产品是性别响应或股权的关注或两者。

2)如果指导“成果收获”应用的收获或评价问题不是促进性别平等或注重公平或两者兼得,我在谈判职权范围时明确指出。

3)在“收获”的设计中,我确保回答“收获”问题所需的信息,以及如何收集这些信息,是性别敏感的,还是以公平为重点的,或者两者兼有。

一般来说,对于2)和3),将由一个或多个在这些领域具有专业知识的共同评估者与主要用户和我一起制定一个适当的过程。也就是说,性别反应性或公平性的重点不仅要在方法上合理,而且要适应主要用户对这些术语的理解,并结合他们对Outcome Harvest应用程序的具体使用情况。

4)然后,在整个结果收获过程中,主要用户、共同评估者和我将检查性别反应或公平焦点,并根据需要进行调整,就像我们检查以确保收获过程和发现在其他主要用途中被证明是有用的一样。

在此提出我的方法论建议。希望本次论坛的同事能够为Awuor提供范例,说明他们是如何在性别回应或注重公平的监测、评价和评估中定制使用成果收获的。

Awuor PONGE的照片
威尔·米格

亲爱的里卡多!

非常感谢您的SWIFT回复。我真的很感谢您的意见,并使用方法论指导方针,我希望这将对这场辩论进行动议,步伐前进。

当我们考虑方法准则时,我们是否也可以考虑如何使这一进程促进性别平等和注重公平?我们能谈谈在收获结果的六个步骤中每一步都发生了什么,以及每一步如何解决性别问题吗?

我期待着从本论坛中的所有成员学习,无论是从练习如何对他们如何进行流程或如何从理论建议那里完成。

非常感谢你,里卡多。

Awuor PONGE的照片
威尔·米格

谢谢Benson Chakaya和Ole舞台为您的评论。我将期待很快总结在此处的贡献。这里的材料非常有用,甚至我的学生都赞赏这一点。我与他们分享了一些这里的一些贡献。

匿名的照片
帕特里克

亲爱的管理员,

我想请求成为这个令人兴奋的论坛的一部分

wmusyoka的照片
Wicliffe

我一直在在背景中进行讨论,共享的信息是超丰富和晶体清晰。如果我遇到愿意帮助的任何挑战,我将与您联系到您的问题!

问候,

Wicliffe

匿名的照片
侯赛因J. Mohammad.

谢谢你分享这个,里卡多。在我即将开始新的任务的时候,用成果收获法来评估一个和平建设项目的成果,这对我来说真的很有帮助。

匿名的照片
罗伯特Kakuru

我想成为更好的评估的一员。我需要什么?

添加新评论

登录登录并评论作为betteRevaluation成员或只是填写下面的字段。