现实主义的评价

也可在: Español.

现实主义评价是一种理论驱动的评价形式,但由于其明确的哲学基础而显得与众不同。

Pawson和Tilley(1997)制定了第一个现实主义评估方法,尽管已经发展了其他解释。Pawson和Tilley认为,为了对决策者有用,评估需要识别'在哪种情况下的有效?',而不是只是'它的工作吗?

完整的现实主义问题是:“在多大程度上,在何种程度上,如何在何种方面以及如何?为了回答这个问题,现实主义评估人员旨在识别解释“如何造成结果的基础生成机制以及背景的影响。

现实主义理解计划如何工作

现实主义哲学(Pawson和Tilley使用了“科学现实主义”这个术语)认为,干预有效(或无效)是因为行动者做出了特定的决定来回应干预(或无效)。行为者对干预所提供的资源或机会作出反应的“推理”是导致结果的原因。

严格来说,“生成机制”一词是指“引起”行动者的推理“的基础社会或心理司机。例如,育儿技能计划可能已经为父亲和母亲达成不同的结果。由母亲和父亲产生不同“推理”的机制可能与母亲和父亲的角色和责任的主导社会规范有关。其他机制可以位于心理,社会或其他领域。

上下文重要事项:首先,它影响“推理”,第二,生成机制只能在情况下工作。回到我们的榜样,可能对不同文化中母亲和父亲的角色和责任有不同的社会信念,这可能会影响父母如何回应育儿计划。父母是否能够将新的学习付诸实践将取决于一系列因素 - 也许是他们有空的时间,他们对育儿或心理健康的信仰。最后,上下文可以提供观察结果的替代解释,并且这些替代解释在分析期间需要考虑。

进行现实主义评估

开发初始计划理论

现实主义评估从理论开始,以理论为止。换句话说,现实主义评估的目的是测试和改进程序理论,因为它是确定程序是否在特定设置中的工作方式。

该计划理论描述了如何介入如何导致其影响,并且在这种情况下应该这样做。初始计划理论可以基于之前的研究,知识,经验以及干预设计师关于干预如何工作的假设。现实主义和其他类型的基于程序理论的评估方法之间的差异是,现实主义计划理论指定了什么机制将产生结果以及上下文的功能将影响这些机制是否运行。十博官方网站网页版理想地,这些元素(机制,结果,上下文)在评估设计阶段明确,因为它使得能够设计数据收集以专注于测试程序理论的不同元素。

选择评估方法

现实主义评估是方法中立(即,它不施加特定方法的使用)。

与任何评估一样,数据收集的选择,以及分析方法和工具应由回答评估问题所需的数据类型或更具体地,以其其所有维度测试初始程序理论。

通常情况下,定量和定性数据都是在现实评价中收集的,定量数据通常集中于环境和结果,而定性数据则集中于生成机制。因为现实主义分析主要使用方案内比较(即同一方案中不同群体之间的比较)来测试初始理论,现实主义评价设计不需要构建比较群体。相反,经过改进的计划理论将在随后的另一项研究中进行测试。通常使用案例研究设计,因此案例选择通常是有目的的,因为案例应该使初始规划理论在其所有维度上“测试”。

使用现实主义数据分析方法

现实主义数据分析是由现实主义原则驱动的:现实主义评估通过提及行动和改变(或不)在特定条件下的情况和外部事件的影响(包括干预本身的影响(包括干预本身)的行为者来解释改变)。参与者和干预措施被认为是在社会现实中嵌入,这影响了如何实施干预以及演员如何回应它(或不)。上下文机制结果(CMO)配置用作现实分析的主要结构。

在分析的第一阶段,数据与初始程序理论有关组织 - 即数据是否与所做的(干预活动)或上文,机制,结果和(组)参与者有关。定性数据是编码的和适当的方法,用于分析应用的定量数据。结果的数据被子组分列(基于计划理论选择)。

一旦确定了结果的模式,就可以分析产生这些结果的机制,只要有正确的数据。然后就可以确定特定机制是否“触发”了。背景可能与产生结果的子群体和/或其他利益相关者、实施过程、组织、社会经济、文化和政治条件有关。

分析过程不一定是顺序的,但应该导致一组“上下文 - 机制 - 结果”(CMO)陈述:“在这种情况下,对这些演员发射的特殊机制,产生这些结果。在这种情况下,这种其他机制被解雇,产生这些不同的结果。“

分析的最后阶段包括确定哪种CMO配置(s)对观察到的结果模式提供了最稳健和可信的解释。然后将由此产生的CMO结构与最初的方案理论进行比较,最初的方案理论根据评价结果进行了修改(或不修改)。

使用现实主义评估的调查结果

生成机制和程序理论都可以在不同的抽象层次上考虑,从非常具体的(特定程序中的特定个体)到相当抽象的(跨不同类型的程序)。Pawson和Tilley认为“中间范围理论”(MRT)最有用。mrt足够具体,可以生成特定的命题进行测试,也足够一般化,可以应用于不同的情况。通常,mrt的发展是建立在通过一系列研究获得的见解积累的基础上的,这些研究允许逐步规范现实的发现。现实评价中的各种理论——规划理论、关于特定机制的理论、CMOs和形式理论——如果在抽象的中间层次上发展,是最有用的。

因为现实主义评估使用生成因果关系的想法(即,当上下文有利时,只有火灾时,只有火灾),在他们的索赔中,现实主义者都是适度的,说明评估不能产生普遍适用的发现。最多,评估可以通过制定合理的解释来对潜在计划的复杂过程有意义事后.它可以指示干预工作的条件(或不)以及它们的方式。这种现实规范允许决策者评估在一个设置中证明成功的干预措施可能是如此在另一个设置中,并协助计划规划者在适应干预以适应特定的背景下。

*中间范围理论被理解为“介于次要但必要的工作假设……和发展统一理论的全面系统努力之间的理论,该理论将解释所有观察到的社会行为、社会组织和社会变化的一致性”[Merton, R.K .(1968)。社会理论和社会结构。纽约:自由出版社,第39页]。从本质上讲,“中间范围”是指抽象的程度,可以指程序理论、生成机制、CMOs、形式理论等。

例子

加纳医院管理实践

我们提出了一个实例,现实研究现有的做法在加纳的卫生保健系统;它本身并不是对干预的评估。因此,我们使用中间范围理论(MRT)而不是程序理论。

关于人力资源管理(HRM)的结果有相当多的争论,甚至更多的是关于证明这些结果的方法。一般而言,近端结局可分为三类:(1)工作人员可用性提高;(2)改善员工的态度和影响(承诺、工作满意度)和(3)更好的员工行为(更高的任务绩效和组织公民行为,较低的缺勤)。

在加纳区域和区医院的一系列案例研究中,我们评估了医院管理实践对组织绩效的作用。通过:通过:对中央区域医院进行采访的探索性访问;人力资源管理和医院绩效的文献综述,导致了“高承诺管理”概念;并审查了以前的组织文化研究。

我们制定的最初的捷运如下:

“表现良好的医院的医院管理者部署的组织结构允许权力下放和自我管理的团队,并鼓励决策权下放,良好的信息流动和透明度。他们的人力资源管理捆绑了就业保障、充足的薪酬和培训。这导致了强烈的组织承诺和信任。条件包括有明确愿景的称职领导人、相对较大的决策空间和足够的资源。”

我们最初选择了“组织承诺”和“信任”作为人力资源管理的近端结果,因为我们最初的文献综述表明,这些产出通常被发现可以解释高承诺管理的效果。随后的文献综述指出,感知组织支持(POS)的概念是组织承诺的一个重要决定因素,并指出高承诺管理诱发了组织承诺。POS指的是运营员工对他们得到组织有效支持和认可的感知。这为管理实践和组织承诺之间的因果关系提供了一个潜在的解释。

该研究始于对一次性良好的医院进行案例研究,其中管理风格及其影响是在初始中范围理论的基础上进行评估。对管理团队成员的访谈和运营人员结合定量数据分析,我们允许我们根据其关键机制确定两个不同的实践集合:

第一个CMO可以概括如下:如果他们的管理措施对经济交流和社会交换行为,医院管理团队可以实现更高的组织承诺。当工作人员感知高水平的管理支持或感知组织支持时(干预),他们将制定额外的角色行为,例如在医院的互惠(机制)的基础上制定额外的作用,例如组织公民行为等(结果)有关招聘,薪资尺度,促销和射击(背景)的限制利润率。

第二个CMO配置可以概括为“通过组织文化保持卓越标准”。Building upon the ‘human capital’ within their staff and in a organisational context of relatively good resource availability and well-trained professionals (context), the managers developed a comprehensive set of both ‘hard’ and ‘soft’ management practices that responded to the needs of the staff and enabled them to maintain their professional standards (intervention). This contributed to a strong positive organisational culture (immediate outcome) that contributed to and maintained the performance standards at a high level (intermediate outcome) and to organisational performance (distal outcome).

在下一轮的案例研究中,我们在其他医院测试了改进后的规划理论。这些案例研究证实了组织支持知觉(perceived organizational support, POS)的重要性,但也表明主管支持知觉(perceived supervisor support, PSS)是一个重要的决定因素,可以替代组织支持知觉,并同样触发互惠行为。PSS被发现在非专业干部的情况下运行,如维修和行政人员。欲知详情,请参阅马尔卡尔等人。(2010A)Marchal等.(2010B)。

建议

选择这种方法的建议(提示和陷阱)

现实主义评估设计非常适合评估复杂情况的干预措施如何工作,因为它允许评估员解构此类干预措施相关条件的因果关系。

A realist evaluation yields information that indicates how the intervention works (i.e., generative mechanism) and the conditions that are needed for a particular mechanism to work (i.e., specification of contexts) and, thus, it is likely to be more useful to policymakers than other types of evaluation.

与任何评价一样,现实主义评价的范围需要在可用的时间和资源的范围内确定。采用现实的评价方法不一定比其他基于理论的评价需要更多的资源或时间,但可能比简单的前后评价设计更昂贵。

使用这种方法的建议(提示和陷阱)

更大规模或更复杂的现实评估理想地由跨学科团队进行,因为这通常允许对可能的机制进行更广泛的考虑。然而,它是可能的进行现实的评估与单个从业者,在小规模的评估。

如果程序理论/ MRT与主要演员明确,它可以导致对干预的更好,共同的理解。这反过来可以改善所有权,并导致更加背景适当的干预措施。

发展因果理论也可能有助于更好地定义什么需要评估,因此,什么是关键的评估问题。

允许足够的时间评估干预,演员和背景之间的相互作用。

资源

现实主义影响评估:介绍

作为方法实验室项目的一部分,由BetterEvaluation、DFAT和ODI共同制作,这个出版物解释对某一特定方案或政策何时进行现实的影响评估是最适当或可行的并概述了如何根据现实主义方法设计和进行影响评估。

导游

推荐阅读哲学背景和这一方法的一般发展:

Pawson,R.&Tilley,N.(1997)。现实的评估.伦敦:圣人。

Pawson, R. & Tilley, N.(2001)。现实的评价血统。美国评价杂志22:317-324。http://aje.sagepub.com/content/22/3/317.full.pdf+html.

Pawson,R.(2013)。评价科学:一个现实主义宣言,伦敦,圣人出版物。

其他推荐阅读

对现实主义评价的介绍,包括来自Pawson和Tilley(1997)的可下载章节(经作者许可转载)www.communitymatters.com.au/gpage1.html.

Pawson, R. & Manzano-Santaella, A.(2012)。一个现实诊断研讨会。评估18:176-191。http://dx.doi.org/10.1177/1356389012440912

Marchal, B., Van Belle, S., Van Olmen, J., Hoerée, T. & Kegels, G. 2012。现实主义评价是否信守承诺?卫生系统研究方法实践的文献回顾。评估,18,192-212

Astbury,B.&Leeuw,F.(2010)。打开黑匣子:评估机制和理论建设。美国评价杂志31(3):363-381。http://www.itg.be/internet/ds/tde/doc/astbury%20%26%20LEUW%20.pdf.

一些关于批判现实主义的论文

Connelly,J.(2007)。评估复杂的公共卫生干预:理论,方法和现实主义调查范围。临床实践评价杂志13(6): 935 - 941。http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2753.2006.00790.x/pdf

狄金森,H.(2006)。健康与社会护理伙伴关系的评价:对未来的方法和综合分析。十博官方网站网页版卫生Soc Care社区14:375-383。http://onlineLibrary.wiley.com/doi/10.1111/j.1365-2524.2006.00650.x/pdf.

网站

安特卫普(比利时)热带医学研究所主办了“理论驱动的探究”网站,其中包括现实主义评价、现实主义综合和理论驱动的评价的方法论概述,以及相关出版物的链接。http://www.itg.be/tdi.

RAMESES(现实主义和元叙事证据综合:演进的标准)项目,包括方法指导、出版标准和培训资源。http://www.ramesesproject.org

医疗保健现实主义研究的例子:

Byng等人(2005年)和Byng等人(2008年)应用现实评价原则评估了国民保健制度中的一个心理健康项目。Byng, R., Norman, I.和Redfern, S.(2005)。使用现实评估评估实践水平的干预,以改善初级保健的长期精神疾病患者。评估11.69-93和Byng, R. Norman, I., Redfern, S.和Jones, R.(2008)。揭示心理健康共享护理复杂干预的关键功能:过程评估的案例研究。BMC健康服务Res 8: 274

Evans和Killoran介绍了对卫生教育局的综合采购方案的评价,特别是对试验解决卫生不平等问题的伙伴关系的示范项目的评价。Evans, D.和Killoran, A.(2000)。通过伙伴关系工作解决保健不平等问题:从现实的评价中学习。紧急公共卫生10:125-140

LeOne(2008)概述了中范围理论(MRT)如何从该计划的分析中获取干预,该MRT如何转化为研究问题以及如何进行分析。Leone,L.(2008)。建立了非法药物威慑计划的型式评价。评估14:19-28。L.

Manzano-Santaella将现实主义评估应用于英国NHS中的政策,以为医院罚款罚款。Manzano-Santaella,A.(2011)。对医院排放罚款的一个现实评估:在分析中纳入计划评估的历史。评估17:21-36

马尔卡尔等人。(2010)提出了加纳人力资源管理的现实主义案例研究,探讨了现实评价的主要方法论挑战

马尔卡尔等人。(2010)分析医院管理团队如何使用现实主义评估方法在加纳恢复AINGILE DINARY医院

图片来源:Mobius Transform of a regular circle packing, by fdecomite on Flickr

特别感谢这个页面的贡献者
作者
安特卫普(比利时)热带医学研究所公共卫生系博士后研究员,开普敦(南非)西开普省大学公共卫生学院访问研究员。
比利时。
作者
博士后研究员,热带医学研究所,安特卫普(比利时)和顾问。
比利时。
作者
社区事务有限公司
澳大利亚的阿德莱德。
审稿人
主任,加强评价能力,更好的评价。
澳大利亚墨尔本。

注释

Gill Westhorp的照片
吉尔Westhorp

嗨罗伊

我不确定这篇论文是什么时候首次在网页上发表的——“更好评估”组织的管理员也许能回答这个问题。

就将现实主义评论作为一种方法而言——它当然可以被认为是一种方法,但它并不局限于定性数据。我建议重新审视现实主义审查的国际标准www.ramesesproject.org

你可以在那里找到出版标准、质量标准和培训材料。

干杯

Gill Westhorp的照片
吉尔Westhorp

嗨Monisha

我对爱丽丝说的每句话都表示赞同!此外:

我在澳大利亚,很乐意回复关于方法和方法的快速问题。我更愿意在Rameses讨论列表中做到这一点,因为这种方式许多人可以从讨论中受益。更重要的是,许多其他人也可以评论,这意味着你得到了更丰富的建议。您可以通过加入讨论列表www.ramesesproject.org

最近在Rameses网站上上升的现实评估的新培训资源是“1000字样”(各种主题)的格式,可能是有价值的,具体取决于您在您的工作中的位置。

希望在会议上见到你!

Gill Westhorp的照片
吉尔Westhorp

嗨priyanka.

我的名字是Gill Westhorp。我在澳大利亚,我提供距离支持,培训(通常面对面,但是距离方法是可能的)。我是现实主义评估的RAMESES标准的共同作者。你可以与我联系gill@communitymatters.com.au如果你想进一步讨论的话。

我衷心地赞同Alice的建议加入Rameses讨论列表。有数百名会员,他们非常善于提供建议和支持。

最好的祝愿

匿名的照片
西克斯

谁能帮我解释一下现实主义评价和利用集中评价的异同点?我一直在寻找有明确细节的资源的困难来源。

添加新评论

登录登录并评论为更好的评估成员或只需填写下面的字段。