贡献分析

贡献分析是一种在实际项目评估中评估因果问题和推断因果关系的方法。它提供了一种循序渐进的方法,旨在帮助管理者、研究人员和政策制定者得出关于他们的项目已经(或正在)对特定结果做出贡献的结论。贡献分析的基本价值在于它提供了一个方法旨在减少不确定性干预的贡献是对观察到的结果通过增加理解为什么观察结果发生(或不!)和角色扮演的干预和其他内部和外部因素。

捐助分析在方案不是试验性的情况下特别有用,即不是在试验性项目中,而是在方案根据相对明确的说明获得资金的情况下变化的理论以及几乎没有或根本没有改变计划实施方式的余地。贡献分析有助于确认或修正变化理论;它并不是用来浮出水面,揭示和展示一个迄今为止含蓄或费解的变化理论。贡献分析的报告不是决定性的证据,而是提供了证据和推理,从中我们可以得出一个似是而非的结论,即在一定的置信度范围内,项目对记录的结果做出了重要贡献。

脚步

要制作一个可信的贡献故事,需要采取六个步骤:

1:列出需要解决的归因问题

确定要解决的具体问题。并不是所有的因果关系问题都是有用的。贡献分析不太适合传统的因果关系问题,如:程序是否导致了结果?在多大程度上,在数量上,这个计划导致了结果?这些方法通常没有那么有用,因为它们将程序视为一个黑盒子,而不了解通常涉及许多原因的事实。贡献分析更适合于贡献问题:程序是否影响了观察结果?程序是否对观测结果有重要贡献?为什么会出现这样的结果?干预起到了什么作用?对于管理方面的问题:得出这个项目带来了改变的结论是否合理? What does the preponderance of evidence say about how well the program is making a difference? What conditions are needed to make this type of program succeed?

2:发展一套关于变化和风险的理论

开发描述程序如何工作的程序逻辑/结果链。还要确定可能导致观察结果的主要外部因素。在结果链的基础上,发展程序所基于的变化理论。这个改变的理论应该导致在计划的活动和所寻求的结果之间有一个似是而非的联系。变革理论必须包括在结果链中所作的假设、内在风险以及捐助者压力、同行影响和资源水平等外部影响。变革理论中的一些联系将被相当好的理解或接受。其他的则不那么为人所理解、争论不休,或者受到项目以外的重大影响。这样你就承认归因确实是个问题

3:收集关于变革理论的现有证据

首先使用现有的证据,如过去的相关评估或研究,以及之前的监测,来检验变化理论是有用的。它列出了预期结果(产出、中间和最终结果)。关于这些不同结果的发生,目前有哪些证据(来自绩效衡量和评估的信息)?变革理论中的联系也需要评估。关于这些联系背后的假设和风险,目前存在哪些证据?哪一个是强的(好的证据可用、强逻辑或广泛接受),哪一个是弱的(证据少、逻辑弱或利益相关者之间很少达成一致)?关于已确定的其他影响因素及其可能作出的贡献,存在哪些证据?

4:收集和评估贡献故事,或性能故事,以及对它的挑战

有了这些信息,您将能够组装您的贡献描述,以表达为什么假设程序的操作贡献了所观察到的结果(以您可能想尝试和描述的某种方式)是合理的。现在你必须评估它。这个故事有多可信?通情达理的人会同意这个故事吗?观察到的结果模式是否验证结果链?故事的主要弱点在哪里?弱点总是存在的。故事中的弱点指向哪里需要额外的数据或信息。

5 .寻找更多证据

在确定了贡献故事的可信性较差的地方之后,现在收集了更多的证据,以增加关于结果发生了什么、关键假设有多合理、外部影响和其他促成因素的作用等方面的证据。扩大证据可以包括收集额外的新数据,如来自调查、实地访问、行政数据、重点小组、国家统计数据等,以及综合来自其他研究和评价的证据。

6:修改,额外的证据许可,加强贡献故事

有了新的证据,你应该能够建立一个更实质性、更可信的故事,一个理性的人更有可能同意的故事。这可能不是万无一失的,但更多的证据将使它更有力、更可信。

使用因果关系的生成视角来推断一个程序对已观察到的预期结果做出了重要贡献,贡献分析认为,如果:

  • 干预有一个理性的变化理论:为什么干预预期会起作用,背后的关键假设是有意义的,是可信的,可能得到证据和/或现有研究的支持,并得到至少一些关键参与者的同意。
  • 干预活动是按照改变理论的规定实施的。
  • 变化的理论——或其关键要素——由观测结果和潜在假设的证据支持和证实——预期结果链发生了。变化的理论还没有被推翻。
  • 对其他影响因素进行了评估,结果显示,这些因素要么没有作出重大贡献,要么承认它们在促进预期结果方面的相对作用。

问题

当采用这种方法时,可能会出现一些问题:

  • 减少干预对观察结果贡献的不确定性。
  • 在现实生活中的程序评估中推断因果关系。
  • 确认或修改一个项目的变化理论——包括其逻辑模型。

风险和假设被标记为[O],其中干预没有或很少影响,或[I],干预可以(应该)有直接或间接的影响,或[C],干预应该能够直接控制。

资源

指南

  • 通过贡献分析解决归属问题:明智地使用性能度量.本文摘自加拿大项目评估杂志概述了使用贡献分析作为工具来发现项目对特定结果的贡献所涉及的关键步骤。
  • 贡献分析:一种探究因果关系的方法:这篇来自机构学习与变革倡议(ILAC)的简报探讨了贡献分析以及如何使用它来提供可信的因果评估。
  • 梅恩,j .(2011)。通过贡献分析解决简单和复杂环境中的因果关系。在评估复杂,R. Schwartz, K. Forss,和M. Marra (Eds.),交易出版商。
  • Mayne, J.(2011)贡献分析:复杂性评估中的因果关系,K. Forss, M. Marra and R. Schwartz (Eds.), transactions Publishers;皮斯卡塔韦,新泽西。

来源

评论

爱丽丝Macfarlan的照片
爱丽丝Macfarlan.

嗨谢尔比,

非常感谢分享链接-

最好的

爱丽丝

BetterEvaluation网站协调员

Wouter Rijneveld的照片
沃特·里杰维德

嗨Emmanouil,只要有明确的随意关系开始,您就可以使用CA。例如。官僚主义施用对变化x或y的影响。问候,韦特

约翰的照片
约翰·梅恩

Wouter是正确的。你只需要建立一个合理的因果关系变化理论模型,这当然是一个挑战!

匿名的照片
里克。戴维斯

请允许我怀疑一下。。。上述6个步骤的过程与理论测试的一般方法有何不同?CA的独特之处是什么?

我很想回答我自己的问题:这种分析的结果是可以接受的,对这类索赔的模糊描述。

但请随意指出我的错误:-)

匿名的照片
里克。戴维斯

寻找替代理论就足够了吗?

如果已知或预期只有一个x导致y的例子,那么搜索和测试另一种理论是有意义的。但是如果可能有多个实例,那么我建议在搜索这些类型之前需要其他步骤实例第一:

  1. 错误否定,即偏好理论所描述的条件不存在,但预期的结果存在
  2. 假阳性,即存在偏好理论所描述的条件,但没有预期的结果
  3. 附加的真正性,当被偏爱的理论描述的条件出现时,预期的结果是

如果上述每个类别中有多个实例,那么下一步需要仔细且合理地选择实例。

在测试程序集中,应找到最不相似的实例。如果这两种理论都适用,那么这就是对该理论的有力支持(如果它是受欢迎的理论,或者其他)

在FPs和FNs中,选择的实例应该是尽可能相似对于TP实例的所有其他属性,除了分别出现在理论条件(FP)和理论结果(FN)中的属性

只有在仔细选择可供比较的实例之后,才应该努力识别和检验可供选择的理论

匿名的照片
naeem

大家好!我正在寻找关于贡献跟踪的贝叶斯更新的excel电子表格。如果有人有,请与我分享。我早就想到你了。

致以最亲切的问候

Naeem

添加新评论

登录登录并以BetterEvaluation会员的身份发表评论,或者只需填写以下字段即可。