贡献分析

还提供: portEspañol.

贡献分析是一种评估因果问题和推断因果关系的方法在现实生活中的项目评估。它提供了一种循序渐进的方法,旨在帮助管理者、研究人员和决策者得出关于他们的项目已经(或正在)对特定结果作出的贡献的结论。贡献分析的基本价值在于它提供了一个方法旨在减少不确定性干预的贡献是对观察到的结果通过增加理解为什么观察结果发生(或不!)和角色扮演的干预和其他内部和外部因素。

捐助分析在方案不是试验性的情况下特别有用,即不是在试验项目中,而是在方案根据相对明确的说明得到资助的情况下变化的理论在这些地方,几乎没有余地改变计划的实施方式。贡献分析有助于确认或修正变化理论;它不打算被用来表面或揭示和显示迄今为止隐含的或不明确的理论的变化。来自贡献分析的报告不是决定性的证据,而是提供了证据和推理,从中我们可以得出一个可信的结论,在一定的信心水平下,该计划对记录的结果做出了重要的贡献。

脚步

要制作一个可信的贡献故事,需要采取六个步骤:

1:列出要解决的归因问题

确定正在解决的具体问题。并非所有原因效应问题都很有用。贡献分析不太适合传统因果关系,例如:该计划造成了结果吗?在多大程度上,定量地,该计划是否导致了结果?这些往往并不是那么有用,因为它们将程序视为一个黑匣子,而且没有得到通常涉及许多原因的事实。贡献分析更适合贡献问题:该计划是否影响了观察结果?该计划是否对观察结果作出了重要贡献?为什么结果发生了?干预扮演的角色是什么?对于管理问题:得出结论是合理的,该计划是否有所作为? What does the preponderance of evidence say about how well the program is making a difference? What conditions are needed to make this type of program succeed?

2:制定改变和风险的理论

开发程序逻辑/结果链,描述该程序如何工作。识别可能占所观察到的结果的主要外部因素。基于结果链,制定该计划所基础的变更理论。这种变革理论应导致计划活动与所寻求的结果之间的合理关联。变革理论必须包括在结果链中的假设和固有的风险以及施主压力等外部影响,对同龄人和资源水平的影响。变革理论中的一些链接将相当于很好地理解或接受。其他人将不那么理解,有争议或受到方案以外的重大影响。通过这种方式,您确认归属确实是一个问题

3:收集关于变革理论的现有证据

首先使用现有的证据,如从过去的相关评估或研究,以及从以前的监测,来检验变革理论是有用的。它列出了预期的结果(产出、中间结果和最终结果)。关于这些不同结果的发生,目前有什么证据(来自业绩衡量和评估的信息)?变革理论的各个环节也需要加以评估。关于这些关联背后的假设和风险,目前存在哪些证据?哪些是强有力的(有良好的证据,强大的逻辑,或广泛的接受),哪些是不有力的(证据很少,逻辑薄弱,或涉众之间的共识很少)?关于已确定的其他影响因素及其可能作出的贡献,有什么证据存在?

4:汇编并评估贡献故事,或表演故事,以及挑战

有了这些信息,您将能够组装您的贡献故事,表达为什么可以合理地假设该计划的行为贡献(以某种方式,您可能想要尝试和特征)到观察到的结果。现在你必须评估它。这个故事有多可信?合理的人同意这个故事吗?观察结果的模式是否验证了结果链?故事中的主要弱点在哪里?总有弱点。故事中的弱点指向需要额外数据或信息的位置。

5:寻找更多的证据

确定了贡献故事不太可信的地方,现在采集了额外的证据,以增加所发生的结果的证据,关键假设是多么合理,以及外部影响和其他贡献因素的作用。增强证据可以包括收集其他新数据,例如来自调查,实地访问,行政数据,焦点组,国家统计数据等以及来自其他研究和评估的证据的合成。

6:修改,额外的证据许可,加强贡献故事

通过新的证据,您应该能够建立更实质性的,更可信的故事,一个合理的人更有可能同意。这可能不是万无一失,但额外的证据将使它更强大,更合理。

利用生成的视角来推断出一个计划对已经观察到的预期结果作出了重要贡献,贡献分析认为,如果以下情况,可以提出合理的贡献因果索赔:

  • 干预有一个改变理论的理论:预计干预措施的关键假设是有意义的,是可象喻的,可以通过证据和/或现有的研究得到支持,并通过至少一些关键商定玩家。
  • 干预行动的活动是按照变革理论的规定执行的。
  • 通过关于观察结果和潜在假设的证据支持和确认的改变或关键要素 - 潜在的假设 - 预期成果链的支持和确认。变革理论并未被丧失。
  • 已经评估了其他影响因素,并且展示不符合重大贡献,或者在促进期望的结果方面取得了重大贡献或其相对作用。

问题

在采取这种方法时可能会出现一些问题:

  • 减少关于贡献的不确定性,干预措施对观察到的结果进行了干预。
  • 推断现实计划评估中的因果关系。
  • 确认或修改计划的变革理论 - 包括其逻辑模型。

风险和假设标记为[o],干预的影响没有或影响,或者[i],其中干预可以(应该)有影响,直接或间接,或[c]在干预应该能够直接控制。

资源

导游

  • 通过贡献分析解决归因问题:明智地使用绩效指标.这篇文章来自加拿大计划评估杂志概述使用贡献分析作为工具来发现项目对特定结果的贡献所涉及的关键步骤。
  • 贡献分析:探索原因和效果的方法:从机构学习和变更倡议(ILAC)的情况下,探讨了贡献分析以及它如何用于提供对原因和效果的可信评估。
  • Mayne,J.(2011)。通过贡献分析解决简单和复杂设置的原因和效果。在评估复杂的R.Schwartz,K.Forss和M. Marra(EDS),交易发布者。
  • Mayne, J.(2011)《贡献分析:处理复杂评价的因果关系》,K. Forss, M. Marra和R. Schwartz (Eds.),交易出版社;皮斯卡塔韦,新泽西。

来源

注释

alice macfarlan的照片
爱丽丝Macfarlan.

嗨谢尔比,

非常感谢分享链接 -

最好的

爱丽丝

BetterEvaluation网站协调员

Wouter Rijneveld的照片
Wouter Rijneveld

嗨Emmanouil,只要有明确的随意关系开始,您就可以使用CA。例如。官僚主义施用对变化x或y的影响。问候,韦特

约翰的照片
约翰梅恩

wouter是对的。您只需要建立一个变革模型的体面理论,当然可能是一个挑战!

匿名的照片
瑞克戴维斯

请允许我表示怀疑……以上的6步过程与所谓的一般理论测试方法有何不同?CA的独特特性是什么?

我很想回答我自己的问题:对这类主张的非常模糊的描述,将是这种分析的一个可接受的结果。

但请随意指出我的错误:-)

匿名的照片
瑞克戴维斯

寻找替代理论就足够了吗?

如果只有一个已知的或预期的x实例导致y,则搜索和测试TAT实例的替代理论是有意义的。但是,如果可能是一个以上的实例,那么我建议需要其他步骤..搜索这些类型实例第一的:

  1. 虚假的否定,在有利理论描述的条件下不存在,但预期的结果是
  2. 假阳性,其中存在受利于理论所描述的条件,但预期结果不是
  3. 额外的真实阳性,其中存在受利于理论的条件,并且预期的结果是

如果上面每个类别中都有多个实例,那么下一步需要做的就是仔细并合理地选择实例。

在TPs中,应该找到最不相似的实例。如果这个理论对两者都适用那么这就是对这个理论的有力支持(如果它是受欢迎的理论,或者其他)

在FPS和FNS中,所选实例应该是尽可能相似关于TP实例关于所有其他属性的其他属性,其中包括理论条件(FP)和理论结果(FN)

只有在仔细选择要比较的情况后,应该努力才能识别和测试替代理论

匿名的照片
naeem.

大家好。我正在寻找关于BeeSian更新的Excel电子表格进行贡献跟踪。如果有人拥有它,请与我分享。我非常想到你。

此致

Naeem

添加新评论

登录登录并评论为更好的评估成员或只需填写下面的字段。