指定关键评估问题

关键评估问题(KEQ)是评估旨在回答的高级问题,而不是在访谈或问卷中提出的特定问题。拥有一套商定的关键评估问题(KEQ)可以更容易地决定收集什么数据、如何分析数据以及如何报告数据。

KEQs通常需要在评估计划开始时制定并达成一致,但有时KEQs已经由一个评估体系或先前制定的评估框架规定。

尽量不要有太多的关键评估问题——最多5-7个主要问题就足够了。在keq下面有一些更具体的问题也可能是有用的。

关键评价问题的制定应考虑所进行的评价的类型、其预期用户、其预期用途(目的)和所使用的评价标准。特别是,想象一下使用KEQs的答案的场景是很有帮助的——检查KEQs可能是相关的和有用的,并且它们涵盖了评估要解决的问题的范围。(这个过程也可以帮助审查数据类型,可能是可行的和可信的,用于回答KEQs)。

以下信息已取出新南威尔士州政府,国务院总理和内阁评估工具包,更好的评估有助于发展。

以下是3个主要评估类型的典型关键评估问题:

主要评估类型的关键评估问题

类型 典型关键评估问题

过程评价

该计划是如何实施的?
这些过程如何与质量标准相比?
程序是否正确执行?
是否按计划联系参与者?
项目客户的满意度如何?哪些客户?
以创新的方式做了什么?

结果评估(或影响评估)

H程序工作好吗?
该计划是否在短期、中期和长期内产生或促进了预期结果?
为谁,以什么方式,在什么情况下?产生了哪些意外结果(正面和负面)?
在多大程度上可以归因于该计划的变化?
该计划和背景的哪些特殊特征造成了不同?
其他因素的影响是什么?

经济评价(成本效益分析及成本效益分析)

成本与收益的比率是多少?
什么是最具成本效益的选择?
干预是否具有成本效益(与替代方案相比)?
该计划是资源的最佳利用吗?

适当性,有效性和效率

通常使用三大类关键评估问题来评估项目是否适当、有效和高效。

在这些类别下组织关键评估问题,可以评估特定项目在特定情况下的适当、有效和高效程度。这些类别下的适当问题将因不同类型的评估(过程、结果或经济)而异。

典型关键评估问题
适当性 该计划在多大程度上解决了确定的需求?该计划与政府和机构优先事项对齐有多好?

该计划是否代表了政府的合法角色?

有效性 在短期、中期和长期内,该计划在多大程度上实现了预期结果?
项目在多大程度上产生了有价值的结果(产出、结果)和/或实现了其每个目标?
效率 该计划的结果是否代表物有所值?
投入和产出之间的关系在多大程度上是及时的、具有成本效益的和符合预期标准的?

实例

《更强大家庭和社区评估战略》使用了明确的关键评估问题,以确保评估的一致性,尽管评估的规模和多样性——为期3年的评估,涵盖了通过5个不同资助计划资助的600多个不同项目,并编制7份专题文件和11份个案研究报告(包括特定资助计划的研究),以及进行中的进展报告和一份最终报告。

关键评估问题是通过广泛的协商进程制定的,以制定评估框架,该框架在广告合同进行实际评估之前完成。

1.该策略如何在短期、中期和长期内对家庭和社区的力量作出贡献?

2.该战略在多大程度上产生了意想不到的结果(积极的和消极的)?

3.与类似的国家和国际干预措施相比,该战略的成本和收益是什么?(考虑到数据的局限性,对其进行了修订,以“广义的、定性的术语”提问。)

4.发挥差异的策略的特点是什么?

5.什么有助于或阻碍倡议实现其目标?是什么解释了为什么有些倡议有效?特别是,不同倡议之间的互动是否有助于实现更好的结果?

6.该战略如何与该领域的其他倡议、计划或服务一起促进成果的实现?

7.还有什么有助于或阻碍战略实现其目标和成果?什么最适合谁,为什么和什么时候?

8.战略如何实现更好的结果?

圈(2008)2000-2004年加强家庭和社区战略:最后报告. 墨尔本:皇家墨尔本理工大学。

KEQ用于构建进度报告和最终报告,提供了一个清晰的框架,用于汇集各种证据和关于调查结果的新兴叙述。

管理者指南

从经理或专员的角度来看这一点?步骤2:评估范围在我们管理者指南是否有一些特定信息用于决定评估需要做什么,包括如何做发展商定的关键评估问题.
内联图像1

资源

指南

工具

KEQ检查表

  • CDC:核对表来帮助重点评估:此检查表由疾病控制和预防中心(CDC)创建,帮助您评估潜在的评估问题,包括其相关性、可行性、与项目价值观、性质和变更理论的契合性,以及利益相关者的参与程度。
  • 项目评估的评估清单:这份清单由Lori Wingate和Daniela Schroeter提炼并解释了有效评估问题的标准。它可以用来帮助开发有效和适当的评价问题和评估现有问题的质量。根据相关文献和作者自己在评估设计、实施和使用方面的经验,确定良好评估问题的特征。

例子

引用本页

更好的评价。(2016)指定关键评估问题(KEQ)。检索://m.szbpn.com/en/plan/engage_frame/decide_evaluation_quest...

注释

匿名者的照片
斯蒂芬·贝尔森

本页提供了大量可用于不同类型评估的实际问题,非常出色。然而,它没有区分研究问题和评估问题。这种区别对于确保我们所称的评估不仅仅是一项应用研究至关重要。对于要算作评估的东西,它必须调查与价值和重要性(Scriven,2015)或更简单的术语“项目的优点”(Gullickson,2018)相关的问题,而不是简单地描述项目中发生的事情(或其他形式的评估)。Nunns、Peace和Witten在2015年的文章《新西兰奥特罗亚公共部门评估中的评估推理》中对此问题进行了深入探讨。

正如Gullickson(2018)所描述的那样,“通常所谓的评估问题只是一个研究问题,只需要简单的描述性或因果性答案……在评估层次中,研究问题为回答评估问题提供服务和信息。”研究问题仅是描述性的,应嵌入评价问题中,具体如下:

eq1-> rq1.

->RQ2

EQ2->EQ2a->RQ3

->EQ2b->RQ4

->RQ5

随着Gullickson进一步描述,“评估问题得到了评估良好,有价值或有价值的东西的核心。他们直接向问题,价值和/或意义上的问题。

研究和评估问题共享的共同特征:

  • 将问题焦点问员与有关对象相关的特定兴趣领域
  • 便于数据收集的设计
  • 是可回答的(即可测量的、可评估的或可观察的)
  • 有价值(即有人关心答案)
  • 有多个答案(即,你没有预先确定你所问问题的答案)。

使问题成为评估问题的特征:

  • 标识与对象值相关的不同性能维度
  • 解决质量、成本、重要性、满意度、成功、有效性、效率、可持续性、可出口性、改进领域、结果和影响(包括意外结果)等问题。

当你在准备评估(以及为你的客户做准备)时,对照最后两个特征检查你的问题可以是一个很好的试金石,测试他们是否想要一个带有判断的评估,或者仅仅是一个研究来告诉他们他们他们的项目发生了什么。任何一个都可以满足他们的需求,但其中一个不是评估(根据我们的定义),你需要确定你和客户是否在他们的需求上意见一致”(Gullickson,2018年)。(Gullickson,2018年)。

下面提供了一些将研究问题转化为评估问题的示例(Gullickson,2018)

研究问题

  1. “这个评估和地址有什么需求?
  2. 该计划是如何实施的?
  3. 结果如何?它们是否显示出统计上的显著变化?
  4. 本评估的组成部分是什么?它们与预期结果有何关系?”(Gullickson,2018)

研究问题转化为评价问题

  1. “评估者满足的需求有多大或多重要?
  2. 该计划实施的程度如何(忠诚于模型,交货质量,与类似的实施者相比)?
  3. 评估者的哪些结果最重要?根据谁的价值观?应该根据什么证据来确定?
  4. 该评估的哪些组成部分对最重要的成果贡献了最大的价值?”(Gullickson,2018年)

参考文献

Gullickson, a(2018)。评价实践[课程材料]。墨尔本,维多利亚:墨尔本大学,EDUC90847。

纳尼斯,和平和Witten(2015年)。AOTEAROA新西兰公共部门评估评价推理:我们如何做?评估事项 - 他拿走了tōte aromatawai。新西兰教育研究理事会1:2015http://www.nzcer.org.nz/system/files/journals/evalionmaters/downloads ...

Scriven, M.(2015)关键评估清单。从检索https://wmich.edu/evaluation/checklists

匿名者的照片
以斯帖durlong

很有帮助!

匿名者的照片
丹尼尔·希弗劳

非常乐于助人......谢谢

添加新评论

登录登录并以BetterEvaluation会员的身份发表评论,或者只需填写以下字段即可。