指定关键评估问题

关键评估问题(KEQS)是评估旨在回答的高级问题 - 而不是在面试或调查问卷中提出的具体问题。拥有一组商定的关键评估问题(Keqs)使得更容易确定要收集的数据,如何分析它以及如何报告它。

在评估计划开始时通常需要开发和商定KEQS - 但有时KEQS已经由评估系统或以前开发的评估框架规定。

尽量不要有太多关键评估问题 - 最多5-7个主要问题就足够了。在KEQS下有一些更具体的问题可能也很有用。

应通过考虑所做的评估类型,其预期用户,其预期用途(目的)以及使用的评估标准来制定关键评估问题。特别是,想象使用keqs的答案 - 检查keqs的方案可能是有帮助的,以检查Keqs可能是相关的且有用的,并且它们涵盖了评估旨在解决的问题范围。(此过程还可以帮助查看可能是可行和可信用来回答KEQ的数据类型)。

以下信息已取出新南威尔士政府,总理和内阁评估工具包,哪个赌注有助于发展。

以下是3个主要评估类型的典型关键评估问题:

主要评估类型的重点评估问题

类型 典型的关键评估问题

过程评价

计划是如何实施的?
这些过程如何与质量标准相比?
计划是否被正确地执行?
是否按预期的方式联系参与者?
项目客户的满意度如何?的客户吗?
以创新的方式完成了什么?

结果评估(或影响评估)

H程序工作好吗?
该项目在短期、中期和长期内是否产生或有助于预期的结果?
对谁,在什么情况下,在什么情况下?产生了什么意外的结果(积极和负面)?
在多大程度上可以归因于计划的变化?
项目和环境有什么特别之处?
其他因素的影响是什么?

经济评估(成本效益分析和成本效益分析)

成本与福利的比率是什么?
什么是最划算的选择?
干预是否具有成本效益(与替代方案相比)?
这个程序是对资源的最佳利用吗?

适当性,有效性和效率

通常使用三大类关键评价问题来评估项目是否合适、有效和高效。

在这些类别下组织关键的评估问题,允许对特定情况下的特定计划的适当、有效和高效程度进行评估。这些类别下的合适问题将根据不同的评价类型(过程、结果或经济)而有所不同。

典型的关键评估问题
适当性 该计划在多大程度上解决了确定的需求?该计划与政府和机构优先事项对齐有多好?

该项目是否代表了政府的合法角色?

有效性 在短期、中期和长期内,项目在多大程度上达到了预期的结果?
该计划在多大程度上产生了有价值的结果(产出,结果)和/或满足其每个目标的?
效率 项目的结果是否体现了金钱的价值?
输入和输出之间的关系在多大程度上及时,经济效益和预期标准?

例子

对更强大的家庭和社区战略的评估使用明确的关键评估问题,尽管在评估的情况下进行规模和多样性 - 3年的评估,但涵盖了超过600个不同的项目资助的不同项目,以及通过5种不同的资金举措的评估,且制作7个问题论文和11个案例研究报告(包括对特定资金举措的研究)以及正在进行的进度报告和最终报告。

关键评估问题是通过广泛的协商进程制定的,以制定评估框架,该框架在广告合同进行实际评估之前完成。

1.在短期,中期和长期内,如何为家庭和社区实力做出贡献的战略?

2.策略在多大程度上产生了意外的结果(积极和负面)?

3.与类似的国家和国际干预措施相比,该战略的成本和效益如何?(考虑到数据的局限性,这被修正为“广义的定性问题”。

4.发挥差异的策略的特点是什么?

5.有什么帮助或妨碍实现其目标的举措?是什么解释了为什么有些举措工作?特别是,不同举措之间的互动是否有助于实现更好的结果?

6.该战略如何与该地区的其他举措,方案或服务一起实现成果的贡献?

7.还有什么帮助或妨碍实现其目标和结果的策略?什么最适合谁,为什么和何时?

8.战略如何实现更好的结果?

圆(2008)2000-2004年加强家庭和社区战略:最后报告.墨尔本:RMIT大学。

keq被用来组织进度报告和最终报告,为汇集各种证据和对调查结果的新叙述提供了一个清晰的框架。

经理人指南

从经理或专员的角度来看这一点?第2步:范围评估在我们的管理者指南是否有一些特定的信息适合于关于评估需要做什么(包括如何做)的决策发展商定的关键评估问题
内联图像1

资源

导游

工具

KEQ清单

  • CDC:核对表来帮助重点评估该清单由美国疾病控制与预防中心(CDC)创建,可以帮助您评估潜在的评估问题,包括它们的相关性、可行性、与项目变更的价值、性质和理论的契合程度,以及利益相关者参与程度。
  • 节目评估的评估清单:这本清单由Lori Wingate和Daniela Schroeter的蒸馏,并解释了有效评估问题的标准。它可用于帮助开发有效和适当的评估问题,并在评估现有问题的质量方面。它根据相关文献和作者自己的评估设计,实施和使用的经验来确定良好评估问题的特征。

例子

引用这个页面

BetterEvaluation。(2016)指定关键评估问题(Keqs)。从...获得:http://betterevalization.org/en/plan/engage_frame/decide_evaluation_quest ...

注释

匿名的照片
Stephen Berson

这个页面提供了大量的实用问题,这些问题可以用于不同类型的评估。然而,它并没有区分研究问题和评估问题。这种区分是至关重要的,以确保我们所称的评估不仅仅是一项应用研究。对于被视为评估的东西,它必须调查与价值和重要性相关的问题(Scriven, 2015)或更简单的术语,“一个计划的好坏”(Gullickson, 2018),而不是简单地描述正在一个计划中发生的事情(或其他形式的评估)。Nunns, Peace, and Witten在2015年的一篇文章中对这一问题进行了深入的探讨。

由于Gullickson(2018)描述了“经常被称为评估问题是一种研究问题,这只是需要普通描述性或因果答案......在评估的层次结构中,研究问题提供服务并提供回答评估问题的信息。”仅仅是描述性的研究问题,应嵌入内部评估问题如下:

eq1-> rq1.

- > RQ2

EQ2-> EQ2A-> RQ3

- > EQ2b - > RQ4

- > RQ5

随着Gullickson进一步描述,“评估问题得到了评估良好,有价值或有价值的东西的核心。他们直接向问题,价值和/或意义上的问题。

研究和评估问题共享的共同特征:

  • 将问题焦点问员与有关对象相关的特定兴趣领域
  • 促进数据收集的设计
  • 是可疑的(即可测量,评估或可观察的)
  • 值得(即人们关心答案)
  • 要有多个答案(也就是说,你并没有预先确定你所问问题的答案)。

提出问题评估问题的特征:

  • 识别与对象的值相关的性能的不同维度
  • 解决质量,成本,重要性,满意度,成功,有效性,效率,可持续性,出口,改进领域,结果和影响(包括非预期的)等问题。

当你准备进行评估(以及为你的客户做准备)时,对照最后两个特征检查你的问题可以成为一个很好的试金石,看看他们是想要评估(附带一个判断),还是只是做个调查,告诉他们他们的项目进展如何。任何一种都可以满足他们的需求,但其中一种不是评估(根据我们的定义)——你需要确定你和客户是否在他们的需求上达成了一致”(Gullickson, 2018)(Gullickson, 2018)。

以下是如何将研究问题转化为评估问题的一些例子(Gullickson, 2018)

研究问题

  1. “这个评估和地址有什么需求?
  2. 该计划如何实施?
  3. 结果如何?它们是否显示了统计上的显著变化?
  4. 该评估的组成部分是什么以及它们如何与预期的结果相关?“(Glullickson,2018)

研究问题转化为评价问题

  1. “评估的需求是多大或重要的?
  2. 该计划实施的程度如何(忠诚于模型,交货质量,与类似的实施者相比)?
  3. 评估的结果中哪一个最重要?根据谁的价值观?有什么证据可以证明这一点呢?
  4. 该评估的组成部分为最重要的结果贡献了最重要的价值?“(Glullickson,2018)

参考

Gullickson,A.(2018)。评价实践[课程材料]。墨尔本,维多利亚:墨尔本大学,教育90847。

纳尼斯,和平和Witten(2015年)。AOTEAROA新西兰公共部门评估评价推理:我们如何做?评估事项 - 他拿走了tōte aromatawai。新西兰教育研究理事会1:2015http://www.nzcer.org.nz/system/files/journals/evalionmaters/downloads ...

Scriven,M。(2015)关键评估清单。从...获得https://wmich.edu/evaluation/checklists.

匿名的照片
Esther Durlong.

非常有帮助!

匿名的照片
丹尼尔SHIFERAW

非常乐于助人......谢谢

添加新评论

登录登录并评论为更好的评估成员或只需填写下面的字段。