评价评估

以可靠和可信的方式评价一项干预措施的程度的评估。

本综述基于文献综述评价评估委托英国国际发展部(DFID)于2012年出版为英国国际发展部工作文件(Davies 2013)。评价确定133个文件,包括期刊,图书,报告和网页,从1979年开始出版。大约一半的文件是由国际发展机构编写的;剩下的大部分文件涉及美国国内机构的经验评价评估(后者已经被最近的总结Trevisan皮尔泽,2014)。

什么是可评估性?

国际发展机构似乎对“可评价性”一词的含义达成了广泛的一致意见。经济合作与发展组织-发展援助委员会(OECD-DAC)的定义被广泛引用和使用:

以可靠和可信的方式评估一项活动或项目的程度。(OECD-DAC 2010;21页)

2在哪里使用?

评价性评估已自20世纪70年代在美国通过更广泛的国内机构被使用,最初是由政府机构,并随后。国际发展机构使用评价性评估自2000年以来一直尽管可评价性评估最常见的重点是一个单一的项目,可评价性评估也已在成套项目,政策方面,国家战略,战略计划,工作计划进行,合作伙伴关系。

可评估性评估检查什么?

DFID关于可评估性评估的工作文件(Davies 2013)确定了可评估性的以下维度:

  • 可评估性“原则上”,给出了项目性质理论的变化
  • 可评价性“在实践中”,要考虑到有关数据的可得性和管理系统能够提供这些数据的能力。
  • 该实用程序和评估的实用性,给利益相关者的意见和可用性

可评价性评价的总目的是通知评价的时间,并改善评价产生有用结果的前景。然而,可评价性评估的重点和结果将取决于评估的时间,如下所示。早期评估可能对长期可评价性有更广泛的影响,但后期评估可能提供最新的可评价性评估。

项目阶段

可评价性评价重点

可评价性评估结果

设计

变化理论(ToC)

改进的项目设计

初学

的ToC和数据可用性

改善机电框架

实现

ToC、数据可用性和利益相关者

改进的评估职权范围(tor)

如何进行可评估性评估?

通常提供两种形式的建议。第一个是关于活动的排序,以各种阶段模型的形式给出。第二个是关于查询的内容,通常以清单的形式构建。

阶段模型包括涉及规划,咨询,数据收集,分析,报告写作和传播的涉及规划,咨询,数据收集,分析和传播的阶段。其中两个值得在这里评论:

第一个问题涉及到规划阶段。在评价性评价的重要早期步骤是对的任务,这有​​两个方面的边界协定的达成:

  1. 可评价性评估应在何种程度上从对可评价性的诊断进展到开出处方,然后执行解决可评价性问题所需的变化。例如,修订变更理论或发展监测和评价框架。
  2. 项目文件和需要利益相关者的范围内进行鉴定,然后检查,并分别接受采访。这些选择有需要做的工作的规模和持续时间的直接后果。

第二个涉及分析阶段,其中可以识别两个任务:

  1. 在基础上是对一个特定的核对表问题的多个文档和访谈的答案的综合。在这里,评估需要:(a)关注数据的效度和可靠性;然后,(b)确定共识和离群观点。
  2. 在下一级,是在给定的评估尺寸内跨多个问题的答案综合。在这里,评估需要:(a)确定在任何其他进展之前必须删除的任何“障碍”问题的任何存在;然后,(b)和所有其他问题的相对重要性。

检查清单许多国际机构都在使用,其严格程度和灵活性各不相同。它们的使用充其量提供了一种负责任的手段,以确保系统地报道所有相关问题。英国国际发展部的工作文件将11个不同机构使用的清单综合成一套三份清单,涵盖了上面列出的可评估性维度。这些可以提供一个有用的“启动包”,可以根据情况进行调整。如果需要计算可评价性(或可评价性的多个方面)的综合分数,那么需要明确注意检查表上每个项目的权重。不太可能所有项目都同等重要。

需要花费多少时间和金钱?

完成可评估性评估所需的时间从几天到一个月或更长。关键的决定因素是需要多大程度的涉众协商,以及是否涉及多个项目。设计阶段的可评估性评估可能主要基于案头工作进行,而在提出评估前的可评估性评估更有可能需要广泛的利益相关方磋商。

重要的是可评价性评估的成本和评估成本之间的关系,而不是其绝对成本。当可评价性评估的比例成本很高时,相应地,需要在评估结果上做出较大的改进,以证明这些成本是合理的。

6当你不是做一个评价性评估?

一些项目设计表明,乍一看,一些M&E框架明显不足。在这些情况下,不需要评估评估来决定是否继续评估。努力将重点关注改善项目设计和/或M&E框架的更直接的任务。

在其他情况下,建议的评估的成本可能很小,因此,在可评价性评估中进行额外投资的成本效益可能是有问题的。另一方面,对于大型项目,即使那些看起来相对可评估的项目,在可评估性评估中的投资仍然可以交付具有成本效益的变更。

可评估性评估有哪些替代方案?

在项目的设计和批准阶段,相关的质量保证流程可以包括可评估性导向的问题。可评估性评估的过程有效地在现有系统中制度化,而不是作为特殊事件签约。

在初始阶段,一些组织可能会例行地委托开发一个监测评估框架,从本质上解决可评估性问题。或者,他们可能已经建立了评估评估系统的审查程序,这些程序比DFID工作文件提供的那种通用的可评估性评估工具更有针对性。

在提出评估之前,一些组织可能会委托比可评估性评估范围更广的准备工作。方法文件可能涵盖可评价性评估清单中列出的问题,但也扫描更广泛的文献,以获得支持和反对正在评估的干预措施类型的相关性和有效性的证据。

一个例子

2000年,ITAD,英国顾问公司,进行了28个人权和治理项目的可评价性评估由瑞典国际发展合作组织(Sida)在非洲和拉丁美洲的四个国家资助(Poate et al. 2000)。这一评估在许多方面都令人印象深刻。分析是在一份结构化清单的帮助下完成的,该清单有助于将参与研究的顾问的治疗分歧最小化。采用辅助问题的方法对19项评价标准进行调查,并对每项标准进行打分。发现的最常见的可评估性问题与无法获得数据有关,其次是项目设计问题,包括目的不够明确和因果归因困难。尽管如此,作者还是阐明了一系列可以探索的评价选择,以及解决已查明问题所需的能力建设工作类型。他们的报告包括对所有标准的所有项目进行评级的完整清单数据集,从而使其他人能够在考虑到其他研究或评价目的的情况下对这一经验进行进一步分析。

一些建议

设计清单可以有效地从理论中得到信息,而不仅仅是临时的或基于经验的推测。来源可以包括相关的评价标准、道德规范和评价使用研究的综合。

清单权重已经被一些机构使用。由于可能的评估方法和特定的评估环境的多样性,很难为给定的检查表证明任何普遍适用的权重集。然而,权重可以在“事实之后”分配(即。,在特定背景下对特定项目进行特定的可评估性评估之后)。像所有好的权重一样,它们的使用需要有文字说明。

一些工具

附加的工具可以进一步适应特定的需求/上下文。请随时在本页评论中与评估评估分享您的经验,或推荐其他资源。

参考文献

戴维斯R(2013)。规划评价性评估:文学与建议的合成.DFID工作纸40.可提供:https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/248656/wp40-planning-eval-assessments.pdf

OECD-DAC(2010)。在评价关键术语和基于结果的管理词汇表.巴黎:OECD-DAC。可以在:http://www.oecd.org/development/peer-reviews/2754804.pdf.

(2004)。《民主和人权项目的可评价性》第1和2卷。可以在:www.oecd.org/derec/sweden/46223163.pdf

的Trevisan男,瓦尔泽T(2014)。可评价性评估:提高评估的质量和使用。SAGE出版。看:https://methods.sagepub.com/book/evaluability-assessment

资源

评价性评估影响评价

本文件概述了在进行影响评估之前实施评估性评估的实用性和具体指导和工具的概述。该指南是专门用于进行评估性评估,作为影响评估的方法实验室的一部分 - 海外发展研究所(ODI),BetteRevaluity(BE)和澳大利亚外交和贸易部(DFAT)之间的行动学习合作。在阿富汗,尼泊尔和太平洋的评估期间,它在评估期间进行了驾驶,进一步改进,并根据一系列评估者和评估委员会的反馈。阅读更多

文学

规划评价性评估:文学与建议的合成.(戴维斯,2013)

本报告综合了到2012年关于可评价性评估的文献。综合报告的主要重点是国际机构的经验和与其工作领域有关的建议。该综合报告提供了关于使用可评价性评估的建议。

在评价性评估书目(戴维斯R,2012)。

本参考书目包括与可评价性评估相关的一系列文献的链接。

评估评估:提高评估质量和使用.(Trevisan M, Walser T, 2014), Sage出版社。

本书总结了丰富的美国国内机构经验。各个章节描述了评估性评估过程的阶段,每个章节都包括要检查的问题的清单以及案例示例。

导游

可评估性评估:检查评估计划的准备情况:这从导青少年司法评估中心旨在为青少年司法项目经理提供实施可评估性评估的指南,以确保项目准备好进行评估。

关于执行评估评估的指导说明:这从导联合国妇女发展基金(UNIFEM)的开发是为了确保项目经理理解其背后评价性评估的关键概念。

可评价性评价与评价方法选择:本次网络研讨会强调了开发项目可评估性评估的重要性,并讨论了经理可使用的各种评估方法的适用性。

工具

可评价性评估模板:这个模板来自联合国毒品和犯罪问题办公室(UNODC)被设计为通过一个步骤由评价性评估步骤过程中采取的用户。

引用这个页面

戴维斯,R。(2015)。评价评估.BetterEvaluation。从检索//m.szbpn.com/themes/evaluability_assessment

特别感谢本页的贡献者
作者
MandE NEWS监测和评估顾问。
联合王国。
审稿人
主任,评估能力加强,更好的评估。
墨尔本,澳大利亚。

注释

目前没有任何评论。成为第一个在此页面发表评论的人!

添加新评论

登录登录并作为BetterEvaluation成员进行评论,或者简单地填写下面的字段。