影响评估

影响评估提供有关干预措施产生的影响的信息——积极的和消极的、预期的和非预期的、直接的和间接的。这意味着要进行影响评估必须建立观察到的改变的原因(在这种情况下,“影响”)被称为因果归属(也称为因果推断)。

如果影响评估未能系统地进行因果归因,则评估产生错误结果并导致错误决策的风险更大。例如,当计划实际上无效或仅在某些有限的情况下有效时,决定扩大规模,或当限制因素得到解决时,决定退出计划。

1什么是影响评估?

影响评估提供有关干预措施所产生影响的信息。

这个干预可能是一个小项目、一个大计划、一系列活动或一项政策。

许多开发机构使用影响由此提供经济合作与发展组织-发展援助委员会:

“由直接或间接、有意或无意的发展干预所产生的积极和消极、主要和次要的长期影响。””(OECD-DAC 2010)。

该定义意味着影响评估:

  • 超越描述或测量已经发生的影响,寻求理解干预在产生这些影响(因果归因)中的作用;
  • 可以包含广泛的因果归因方法;和
  • 包括检查意外影响。

2为什么要进行影响评估?

可以进行影响评估,以改进或调整干预措施(即为形成目的),或为决定是否继续、停止、复制或扩大干预措施(即为总结性目的)提供信息。

虽然许多形成性评估侧重于过程,但如果干预正在进行,也可以形成性地使用影响评估。例如,通过确定需要监测和严格管理的关键因素,可以利用影响评价的结果来改进为下一届参与者所接受的方案的执行。

大多数情况下,影响评估用于总结性目的。理想情况下,总结性影响评估不仅会产生关于“什么有效”的调查结果,而且会提供使干预在不同环境下对不同群体起作用所需的信息。

3何时进行影响评估?

只有在能够明确确定其预期用途和有可能产生有用结论的情况下,才能进行影响评价,同时考虑到资源的可得性和就正在调查的干预措施作出决定的时机。一个评估评估可能需要首先评估这些方面。

影响评估干预措施的优先顺序应考虑:评估与组织或发展战略的相关性;评估的潜在用途;高级管理人员或决策者对使用评估结果的承诺;和/或评估对宣传或问责要求的潜在用途。

考虑影响评估的时机也是很重要的。如果进行得太晚,调查结果就太晚,无法为决策提供依据。如果做得太早,它将提供一个不准确的影响图(即,当影响没有足够的时间发展时,将低估影响,或当影响随时间下降时,将夸大影响)。

问题 影响评估可能是适当的,当… 在以下情况下,影响评估可能不合适…
预定用途和定时 使用该结果有范围可通知有关未来干预的决策。 没有明确的预期用途或预期用户——例如,已经根据现有可信证据做出了决定,或者需要在进行可信的影响评估之前做出决定。
集中 需要了解已经产生的影响。 本阶段的优先事项是了解和提高执行质量。
资源 有足够的资源进行充分全面和严格的影响评估,包括提供现有的高质量数据和额外的时间和金钱来收集更多的数据。 现有数据不足,也没有足够的资源来填补空白。
相关性 它与组织,伙伴关系和/或政府的策略和优先事项明显相关。 它与组织、伙伴关系和/或政府的战略和优先事项无关。

4谁参与评估过程?

无论是哪种类型的评价,重要的是要思考在评价过程的每一步中谁应该参与、为什么以及如何参与,以制定适当的、针对具体情况的参与性方法。参与可以发生在影响评估过程的任何阶段:决定进行评估、评估设计、数据收集、分析、报告以及管理评估。

明确影响评估中参与式方法的目的是管理期望和指导实施的重要第一步。其目的是确保那些本应通过该计划或政策改善生活的人的声音是调查结果的核心吗?是否确保相关的评估重点?是倾听人们自己对变化的看法,而不是获得外部评估者的一套指标吗?它是为了建立捐助者资助方案的所有权吗?这些因素和其他考虑因素将导致不同利益相关者组合以不同形式参与影响评估。

选择参与式影响评价方法的基本理由可以是务实的或道德的,或两者的结合。务实是因为获得了更好的评价(即更好的数据、更好地理解数据、更适当的建议、更好地接受调查结果);因为这是应该做的正确的事情(即,根据联合国基于人权的规划方法规定,人们有权参与告知将直接或间接影响他们的决定)。

参与式方法可用于任何影响评估设计。换言之,它们并不局限于具体的评价方法,也不局限于定量或定性的数据收集和分析。

任何打算使用参与式方法的影响评估的出发点在于明确这将为评估本身以及将密切参与的人(但也包括他们参与的潜在风险)增加什么价值。在每种情况下都需要回答三个问题:

(1) 利益相关者参与本次影响评估的目的是什么?;

(2) 谁的参与很重要,何时以及为什么,

什么时候参与是可行的?

只有解决了这些问题,才能解决如何使影响评价更具参与性的问题。

有关更多信息,请参见:

5如何规划和管理影响评估?

与任何其他评价一样,影响评价应该作为一个离散的项目进行正式的计划和管理,从过程的一开始就明确地描述决策过程和管理安排。

规划和管理包括:

  • 描述需要进行评估和开发评估简报的内容
  • 确定和调动资源
  • 决定由谁进行评估并聘请评估人员
  • 决定和管理开发评估方法的过程
  • 管理评价工作计划的制定
  • 管理工作计划的执行,包括制定报告
  • 传播报告并支持使用

确定因果归因是将评估称为影响评估的必要条件。设计方案(无论是实验性的、准实验性的还是非实验性的)都需要在准备和早期数据收集方面进行大量投资,如果影响评估仅限于在干预实施结束时进行的短期演练,则无法实现。因此,特别重要的是,将影响评价作为综合监测、评价和研究计划和系统的一部分加以处理,该计划和系统产生并提供一系列证据,为决策提供信息。这也将确保来自其他监测和评价活动的数据,如性能监视和过程评估,可以在需要时使用。

有关更多信息,请参见:

6可以用什么方法进行影响评价?

制定影响评估的边界

评价目的是指进行影响评价的基本原理。正在进行评估来支持学习应该清楚是谁打算从中学习,他们将如何参与评估过程,以确保它被视为相关和可靠的,以及是否有特定的决策点,预计这种学习应用。为支持问责制而进行的评价应明确谁负责、对谁负责以及对什么负责。

评估依靠事实和价值(即原则、属性或品质,被认为本质上是好的、可取的、重要的和具有普遍价值的,如“对所有人公平”)的结合来判断干预的价值(Stufflebeam, 2001)。评估标准指定将在评估中使用的值,从而帮助设置边界。

许多影响评估使用标准OECD-DAC标准(OECD-DAC于2015年访问):

  • 相关性:干预目标与受援国要求、国家需求、全球优先事项和合作伙伴政策的一致程度。
  • 有效性:考虑到干预目标的相对重要性,干预目标已达到或预期达到的程度。
  • 效率:对经济资源/投入(资金、专门知识、时间、设备等)如何转化为结果的衡量。
  • 影响:直接或间接、有意或无意干预所产生的积极和消极的主要和次要长期影响。
  • 可持续性:在主要发展援助停止后继续从干预中受益。干预措施必须在环境和财政上都是可持续的。在重点不在于外部援助的情况下,可持续性可以定义为关键利益相关者在捐助者资金停止后通过利用当地可用资源的努力维持干预利益的能力。

经合组织发援会的标准反映了评价发展援助的核心原则(经合组织发援会,1991年),并已被大多数发展机构采纳为评价良好做法的标准。其他常用的评价标准是关于公平、两性平等和人权。而且,有些用于特定类型的发展干预,如人道主义援助,例如:覆盖面、协调、保护、一致性。换句话说,并非所有这些评估标准都在每次评估中使用,这取决于干预类型和/或评估类型(例如,影响标准与过程评估无关)。

评价标准应被视为“概念”,必须在评价中加以阐述。它们的定义不充分,无法以透明的方式系统地应用于对干预做出评估性判断。在每个“通用”标准下,更具体的标准,如基准和/或标准*-与干预的类型和背景相适应-应与关键利益相关者确定并达成一致。

评价标准应清楚地反映在评价所要处理的评价问题中。

*基准或指数是一套相关的指标,用于对绩效进行有意义、准确和系统的比较;标准或量规是一套相关的基准/指数或指标,提供有关绩效的社会意义信息。

定义影响评估应解决的关键评估问题(KEQ)

影响评估应集中于回答少数高水平关键评价问题(KEQs),这些问题将通过证据的组合来回答。这些问题应与评价标准明确联系起来。例如:

KEQ1。 干预设计/内容的质量如何?[评估相关性、公平性、两性平等、人权]
KEQ2。 根据需要,干预措施的实施和调整情况如何?[评估有效性、效率]
KEQ3。 干预是否在短期、中期和长期产生了预期的结果?如果是,为谁,在什么程度上,在什么情况下?[评估效力、影响、公平、两性平等]
KEQ4。 干预产生了哪些意外结果——积极和消极的结果?这些结果是如何发生的[评估效力、影响、公平、两性平等、人权]
KEQ5。 有什么障碍和推动者,使成功和令人失望的干预实施和结果之间存在差异?[评估相关性、公平性、两性平等、人权]
KEQ6。 这些结果对服务提供者、客户、社区和/或相关组织有多大价值?[评估相关性、公平性、两性平等、人权]
KEQ7。 干预措施在多大程度上代表了最佳利用可用资源,以实现对参与者和社区最大价值的结果?[评估效率]
KEQ8。 有任何积极的结果可能会持续下去吗?在什么情况下?[评估可持续性、公平、两性平等、人权]

然后应阐明一系列更详细的(中级和下层)评估问题以详细解决每个评估标准。所有评估问题都应明确联系起来的评估标准,以确保全部涵盖标准。

KEQs还需要反映影响评价的预期用途。例如,如果评估的目的是为扩大试点方案提供信息,那么仅仅问“它是否有效?”是不够的。或“影响是什么?”需要很好地了解如何在活动和支持性背景因素方面取得这些影响,以复制一个成功试点的成就。公平问题要求影响评价超越简单的平均影响,以确定这些方案是为谁以及以何种方式取得成功的。

在KEQ中,识别不同类型的问题也很有用——描述性、因果性和评价性。

  • 描述性的问题询问情况如何以及发生了什么,包括描述初始情况及其变化,干预活动和其他相关计划或政策,参与者特征方面的背景,以及实施环境。
  • 因果关系问题询问是否以及在多大程度上,观察到的变化是由于评估的干预而不是其他因素,包括其他方案和/或政策。
  • 评价性问题询问关于一项方案或政策是否可以被视为成功、改进或最佳选择的总体结论。

影响评估必须对所有这些问题有可靠的答案。

有关更多信息,请参见:

定义影响

影响通常被理解为晚于中间结果,并作为中间结果的结果。例如,在改善妇女健康和福祉的预期最终影响之前,就可能实现改善获得土地的机会和提高社区决策参与程度的中间结果,并为其作出贡献。结果和影响之间的区别可能是相对的,取决于干预的既定目标。还应注意,一些影响可能是突发的,因此无法预测。

有关更多信息,请参见:

定义成功,做出评估性判断

根据定义,评估就是答案评价问题,即关于质量和价值的问题。正因为如此,评价才比仅仅衡量指标或对观察和故事的总结更有用、更有意义。

在任何影响评估中,首先定义“成功”(质量、价值)的含义非常重要。这样做的一种方法是使用一个特定的量规,为每个评估标准定义不同的绩效水平(或标准),决定将收集哪些证据,以及如何综合这些证据,以得出有关干预价值的合理结论。

至少,在平衡多重影响或分配影响时,应该明确哪些权衡是合适的。由于发展干预措施往往具有多重影响,这些影响分布不均,因此这是影响评价的一个基本要素。例如,如果一项经济发展方案增加了家庭收入,但也产生了有害的环境影响,该方案是否应被视为成功?如果平均家庭收入增加,但最贫困家庭的收入减少,这是否算是成功?

要回答评估性问题,必须首先定义“质量”和“价值”的含义,然后收集相关证据。质量指的是某物有多好;价值是指在特定的情况下它有多好,特别是考虑到用于生产它的资源和它应该解决的需求。评估性推理需要综合这些元素来形成对评估性问题的可辩护的(即,理由充分和证据充分的)答案。

无论使用何种方法或评估方法,评估推理都是所有评估的一项要求。

评估应该有一组有限的关于整体绩效的高级问题。每个KEQ都应该通过询问关于具体绩效维度的更详细的问题来进一步解包,有时甚至是低级问题。评估推理是对低级问题的答案进行综合的过程将中级问题转化为直接回答高级问题的辩护判断。

有关更多信息,请参见:

运用变化理论

如果评估不仅调查活动和影响之间的联系,而且还调查活动、产出、中间结果和影响之间因果链上的联系,则会产生更有力、更有用的结果。一种“变化理论”,解释了如何理解活动以产生一系列有助于但是,对于实现最终预期影响,有助于在影响评估中指导因果归因。

在每次影响评估中应以某种形式使用变革理论。它可以与任何旨在推断因果关系的研究设计,它可以使用一系列定性和定量数据,并提供支持从混合方法影响评估中产生的数据。

在规划影响评估和制定职权范围时,应对计划或政策的任何现有变更理论进行适当性、全面性和准确性审查,并在必要时进行修订。在评估过程中,如果干预措施本身或不充分,应继续对其进行修订对其工作方式——或预期工作方式——的认识发生了变化。

然而,有些干预措施无法事先充分规划,例如,在执行工作必须对正在出现的障碍和机会作出反应的情况下的方案,例如在不稳定的政治环境中支持立法的发展。在这种情况下,将需要不同的策略来发展和使用影响评估的变化理论(Funnell和Rogers 2012)。对于一些干预措施,随着不同的策略被试验、调整或取代,可能有可能记录正在出现的变化理论。在其他情况下,可能会有一个关于变化将如何发生的高层次理论(例如,通过提供激励),也可能有一个新兴的理论,关于在特定环境下必须做什么来实现变化。在其他地方,它的基本基础可能围绕着适应性学习,在这种情况下,变化理论应该集中于阐明不同的行动者如何收集和使用信息,以进行不断的改进和适应。

变革理论可以通过多种方式支持影响评估。它可以识别:

  • 具体的评价问题,特别是与尚未有实质性证据的变化理论的那些要素有关的问题
  • 应包括在数据收集中的相关变量
  • 在评估期间不会发生利益影响的情况下,可作为成功标志的中间结果
  • 应审查的实施方面
  • 应在数据收集和分析中解决的潜在相关上下文因素,以寻找模式。

评估可以确认变化理论,也可以根据证据分析提出改进建议。影响评估可以检查因果链是否成功,如有必要,还可以检查其他因果路径。例如,未能实现中间结果可能表明实施失败;未能实现最终预期影响可能是由于理论失败,而不是实施失败。这对评估得出的建议具有重要影响。在实施失败的情况下,建议采取措施提高实施质量是合理的;在理论失败的情况下,有必要重新思考实现影响的整体战略。

有关更多信息,请参见:

决定评估方法

评估方法规定了如何回答关键评估问题(KEQ)。它规定了因果归因的设计,包括是否以及如何构建比较组,以及数据收集和分析的方法。

➟决定因果归因的策略和设计

OECD-DAC将因果归因定义为:

“将观察到的(或预期将观察到的)变化与具体干预之间的因果关系归因于此。”(OECD_DAC 2010)

这一定义并不要求变更完全或完全由所调查的项目或政策产生(UNEG 2013)。换句话说,它考虑到可能还涉及其他原因,例如有关领域的其他方案/政策或某些背景因素(通常称为“外部因素”)。

在影响评估中有三种广泛的因果归因策略:

  • 估计反事实(即,与观察到的情况相比,在没有干预的情况下会发生什么)
  • 检验变化理论中明确的因果关系的证据的一致性
  • 排除其他解释,通过一个合理的,有证据的过程。

使用这些策略的组合通常有助于增加得出的结论的强度。

有三个设计选项可以解决因果归因:

  • 实验设计–通过随机分配构建控制组。
  • 准实验设计–通过匹配、回归不连续性、倾向评分或其他方法构建对照组。
  • 非实验设计–系统地研究证据是否与干预产生影响时的预期一致,以及其他因素是否可以提供替代解释。

一些个人和组织对影响评估的定义较窄,仅包括包含某种反事实的评估。这些不同的定义在决定评估的预期用户或合作伙伴或资助者认为哪些方法或研究设计可信时非常重要。

有关更多信息,请参见:

➟ 数据收集、管理和分析方法

精心选择和实施的数据收集和分析方法对所有类型的评价都是必不可少的。影响评价需要超越评估影响的大小(即平均影响),以确定一个方案或政策对谁以及以何种方式取得成功。必须预先考虑什么是“成功”,以及如何分析和综合数据以回答具体的关键评价问题(KEQs),因为数据收集应面向对项目或政策作出适当判断所需的证据组合。换句话说,分析框架- -以系统和透明的方式寻找模式来分析数据的“意义”的方法- -应在评价规划阶段具体说明。该框架包括数据分析如何处理关于方案如何产生预期结果的方案理论中所作的假设。在真正的混合方法评估中,这包括使用适当的数字和文本分析方法,并对多个数据源和视角进行三角分析,以最大限度地提高评估结果的可信度。

通过查看现有数据的可用程度,开始数据收集计划。在审查当前可用信息后,创建一个评估矩阵(见下文)很有帮助,该矩阵显示了将使用哪些数据收集和分析方法来回答每个KEQ,然后确定需要通过收集新数据来解决的数据差距并确定其优先顺序。这将有助于确认计划的数据收集(和现有数据的整理)将涵盖所有KEQ,确定不同数据源之间是否有足够的三角测量,并有助于设计数据收集工具(如调查问卷、访谈问题、用于文件审查的数据提取工具和观察工具)以确保收集必要的信息。

评估矩阵:将数据收集与关键评估问题相匹配

关键评估问题(KEQ)示例

项目参与者的调查

关键线人访谈

项目记录

项目执行情况观察

KEQ 1执行的质量如何?

课程目标达到了什么程度?

KEQ 3该计划还有哪些其他影响?

该项目如何改进?

收集数据有许多不同的方法。尽管许多影响评估使用多种方法,但“混合方法评估”的区别在于系统集成评估所有阶段的定量和定性方法和方法(Bamberger 2012)。混合方法的一个关键原因是,它有助于克服单独使用时每种方法固有的弱点。当来自不同数据源的信息汇聚时,它还提高了评估结果的可信度(即,他们对调查结果的方向保持一致)并能加深对方案/政策及其影响和背景的理解(Bamberger 2012)。

良好的数据管理包括为以下方面开发有效的过程:持续收集和记录数据、安全存储数据、清理数据、传输数据(例如,在用于分析的不同类型软件之间)、有效地呈现数据以及使数据便于他人验证和使用。

具体的分析框架和具体数据分析方法的选择将取决于影响评价的目的和与之内在联系的KEQs类型。

回答描写的KEQs提供了一系列分析选项,这些选项大体上可分为两大类:定量数据选项(数字)和定性数据选项(如文本)。

回答因果KEQS,因果归因分析基本上有三种广泛的方法:(1)反事实方法;(2)具有因果关系的证据的一致性;(3)排除替代方案(见上文)。理想情况下,这些方法的组合用于建立因果关系。

回答评价应采用KEQs,即与所采用的评价标准(如OECD-DAC标准)相联系的具体评价标准,以便综合证据并对干预措施的价值做出判断(见上文)。

有关更多信息,请参见:

7如何报告调查结果并支持其使用?

评估报告的结构应反映评估的目的和KEQs。

首先,应对与经合组织发援会的相关性、有效性、效率、影响和可持续性标准有关的详细问题以及公平、两性平等和人权方面的考虑因素提供简洁的证据,但要有足够的细节来证实结论和建议。

具体的评价指标应用于“解释”证据,并确定哪些考虑是至关重要或紧急的。随后应综合多方面的证据,以产生对高级别评价性问题的答案。

评估报告的结构可以极大地鼓励简洁地报告对评估问题的直接回答,并以足够详细的评估推理和方法为后盾,使读者能够遵循逻辑并清楚地看到证据基础。

以下建议将有助于确定对评估报告的明确预期,这些评估报告具有很强的评估推理能力:

  1. 执行摘要必须包含直接和明确的对KEQs的评价性回答,用于指导整个评估。

  2. 在呈现结果时必须使用明确的评估语言(而不是仅仅描述结果的价值中立语言)。应该提供例子。

  3. 使用清晰和简单的数据可视化,以简单易懂的“快照”形式展示干预措施在各个方面的表现。

  4. 调查结果部分的结构使用KEQ作为副标题(而不是经常使用的证据类型和来源)。

  5. 所使用的评价推理必须清晰透明,非评价者和对主题内容缺乏深入专业知识的读者都能清楚地理解这些解释。这些解释在报告正文中应宽泛而简短,更多细节见附件。

  6. 如果评价准则的规模相对较小,则应将其纳入报告主体。如果规模较大,则应在报告正文中简要概述至少一个或两个,并在附件中完整列出所有评价标准。

有关更多信息,请参见:

资源

概述/介绍影响评估

儿童基金会影响评价方法简报和录像:

概述简报(1,6,10)以英文提供,法语和西班牙语支持三种语言的白板动画视频;Brief 7 (rct)还包括一段视频。

联合国儿童基金会-更好的评价、影响评价网络研讨会系列

2015年,BetterEvaluation与联合国儿童基金会研究办公室——因诺琴蒂为儿童基金会工作人员举办八次影响评价网络研讨会。其目的是提供互动式能力建设经验,专门针对儿童基金会的工作和开展国际发展方案和政策影响评估的独特情况。网络研讨会是基于影响评价系列-一个用户友好的包,包括13个方法学摘要和4个动画视频-并由摘要的作者提出。每个页面不仅提供了8个网络研讨会的链接,而且还提供了每个网络研讨会演示后的实际问题及其答案。

讨论文件

指南

互动影响评估指导说明和网络研讨会系列:

方法实验室出版物

方法实验室是海外发展研究所(ODI)、BetterEvaluation(BE)和澳大利亚外交和贸易部(DFAT)在2012-2015年间开展的行动学习合作。方法实验室试图开发、测试和制度化影响评估的灵活方法。它侧重于因其多样性和复杂性而难以评估的干预措施,或传统影响评估方法可能不可行或不适当的干预措施,其更广泛的目的是确定具有更广泛应用潜力的经验教训。查看更多信息在这里. 方法实验室编制了若干指导文件,包括:

现实主义影响评估:导论-本指南解释现实主义影响评估何时最适合或最可行用于评估特定计划或政策,并概述如何基于现实主义方法设计和进行影响评估。阅读更多。

在影响评估中处理性别问题-本文件为那些希望在委托或进行评估时真正关注性别影响的从业人员和评估人员提供了资源。阅读更多。

影响评估的评估性评估-本指南概述了可评价性评估的用途和具体指导,并提供了在进行影响评估之前实施可评价性评估的工具。阅读更多。

何时以及如何开发面向影响的监测和评估系统-许多发展方案工作人员有这样的经验:在项目或方案快结束时委托进行影响评价,结果发现监测系统没有提供关于执行情况、背景、基线或临时结果的充分数据。本指导说明是针对这一常见问题而制定的。阅读更多。

可以找到其他指导文件在这里

页面的贡献者

本页内容由:Greet Peersman编辑

内容基于“联合国儿童基金会影响评估方法摘要”,这是联合国儿童基金会研究办公室- Innocenti、BetterEvaluation、皇家墨尔本理工大学和国际影响评估倡议(3ie)之间的合作项目。这些摘要由(按字母顺序):E. Jane Davidson, Thomas de Hoop, Delwyn Goodrick, Irene Guijt, Bronwen McDonald, Greet Peersman, Patricia Rogers, Shagun Sabarwal, Howard White撰写。

参考文献

班贝克M(2012)。影响评估中的混合方法介绍。指导注意3号。华盛顿特区:交互。看:https://www.interaction.org/blog/impact-evaluation-guidance-note-and-webinar-series/

Funnell S和Rogers P(2012)。有目的程序理论:逻辑模型和变化理论的有效使用. 旧金山:乔西·巴斯/威利。

经合组织发援会(1991年)。原则发展援助评价。巴黎:经济合作与发展组织 - 发展援助委员会(OECD-DAC)。看:http://www.oecd.org/dac/evaluation/50584880.pdf

OEDC-DAC(2010年)。基于评估和结果的关键术语词汇表. 巴黎:经济合作与发展组织——发展援助委员会(OEDC-DAC)。见:http://www.oecd.org/development/peer-reviews/2754804.pdf

OECD-DAC(访问2015年)。评估发展计划。DAC评估发展援助的标准。经济合作与发展组织 - 发展援助委员会(OECD-DAC)。看:http://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance.htm

StufleBeam D(2001年)。评估值和标准清单。卡拉马祖:西密歇根大学清单项目。见:https://www.dmeforpeace.org/resource/evaluation-values-and-criteria-checklist/

联合国评价小组(2013年)。联合国机构评价系统中的影响评价:选择、规划和管理指南指导文档.纽约:联合国评价小组(评价小组)。见:http://www.uneval.org/papersandpubs/documentdetail.jsp?doc_id=1434

引用本页

Peersman, g (2015)影响评估.BetterEvaluation。从检索//m.szbpn.com/themes/impact_evaluation

特别感谢本页的贡献者
著者
主任,评价能力加强,更好的评价。
澳大利亚墨尔本。
评论家
首席执行官BetterEvaluation。
墨尔本。

评论

里克达维斯的照片
里克·戴维斯

关于OECD DAC对因果归因任务的看法:将观察到的(或期望观察到的)变化与特定的干预联系起来,这似乎是不平衡和片面的。

Goertz&Mahoney(2012年:42)争辩说有两种同样合法的看法归属:

  • 原因的影响(通常是实验研究的重点)
  • 影响的原因(通常是定性研究的重点)

这与复杂性的角度来说更符合,因为给定的事件可以具有多种原因和多种后果,我们可以将我们的分析集中在这张照片的任一侧。

马奥尼,J.,戈尔茨,G.,2006年。两种文化的故事:定量和定性研究的对比. 政治分析14227-249。关于谷歌图书http://goo.gl/2jOpfn

(这条评论不仅仅是要求你关注quant!)

里克达维斯的照片
里克·戴维斯

对不起,错误的参考书。它应该是

《两种文化的故事:社会科学中的定性和定量研究》。普林斯顿大学出版社。

http://goo.gl/2jOpfn

帕特里夏·罗杰斯的照片
帕特里夏·罗杰斯

谢谢你,瑞克,说了这么重要的一点。承认多重原因和多重后果(在适当情况下)对影响评价很重要,设计和方法需要能够解决这些问题。在RAMESES(现实主义和元叙事证据综合:演进的标准)中对此进行了一些讨论。讨论清单https://www.jiscmail.ac.uk/cgi-bin/webadmin?A2=RAMESES;1fc28313.1411.期望用不同的方法来确定一个结果的原因,而不是一个原因的结果,这是否合理?

罗布·科沃德的照片
罗布·科沃德

这是一个有用的影响评估概述,这与我组织在很大程度上与我的组织对此进行了思考。然而,一个关键差异是在项目规划期间,我们在项目规划期间培养了我们的变革理论(或“术语”的影响“。这在程序开始时以透明方式建立了产出,中间结果和长期影响之间的关系。这种方法还有助于我们与参与者和利益相关者咨询和寻求共识。这使我们能够在我们承诺重大投资之前调整我们的逻辑/假设和目标。当然,使用这种方法通常会产生意外的影响,但似乎增加了所需影响的可能性。

我几乎晚了一年才对这一资源作出回应,但我想了解其他人对我们方法的看法。

帕特里夏·罗杰斯的照片
帕特里夏·罗杰斯

很高兴听到这个在项目规划过程中开发和验证变更理论/影响链的例子。正如您所指出的,这使得从变更理论中获得更多价值成为可能。

Dadak的照片
达达克乔西

你好帕特丽夏,
谢谢你的回复,非常有帮助。
我已经为变化理论开发了一个因果关系模型,我想为大家回顾一下,并提出一些建议。
我是否可以向您发送Microsoft Word文件?

匿名者的照片
穆罕默德·阿里

先生,我有问题,我有两年的农业技术采用数据(2006-07基准,2018-19终点),包括1440个农民访谈。在2006-07年和2018-19年,同样的受访者采访了他们所采用的农业技术。先生,我要检查一下农业技术在2006-07和2018-19的影响,我应该如何应用它的影响?第二个问题是什么是控制和治疗?请问采用农业技术的人是对照组吗?在我的情况下,我该怎么称呼那些不接受的人呢?谢谢提前

匿名者的照片
爱德华多·恩里克·佩雷斯

卓越的调查团队!!!!!

匿名者的照片
亚伯拉罕Lebeza

谢谢你的影响评估材料

匿名者的照片
塞西莉亚巴伯

我发现这个网站非常有帮助,在我的脑海中把各种各样的文本连贯在一起。我正在写一个项目管理和评估的硕士实习。

添加新注释

登录登录并以BetterEvaluation会员的身份发表评论,或者只需填写以下字段即可。