了解原因

大多数评估都需要解决因果问题的方法——不仅要记录发生了什么变化,还要理解为什么发生了变化。

影响评估侧重于了解干预措施(项目、计划、政策、网络和组织)的长期结果,始终包括了解原因。

了解原因在其他类型的评估中也很重要。例如,在流程评估中,通常需要对实施的好坏进行一些解释,以便能够提出改进或维持实施的方法。

近年来,在评估中理解原因的方法有了相当大的发展,对于哪些选项适用于哪些情况也有相当大的讨论和分歧。

在这些不同选项之间进行选择时考虑可能涉及的不同类型的因果推断:

  • 一因一果T–有必要且足以生产E效果

  • 两个或两个以上原因组合以产生效果(例如,两个程序或一个程序)内存当与其他因素(如特定参与者特征)结合时)–其中一个原因是必要的,但还不够

  • 两种或两种以上的原因是产生效果的替代方式-他们中的任何一个是充分的,而不是必要的

对于这些不同类型的因果关系,可以使用不同的标签-因果归因意味着只有一个原因,也就是因果贡献暗示一套因果因素,以及因果推理用于指代所有这些

同样重要的是考虑不同类型的问题可能会被问到因果关系:

  • 干预是否起到了作用?

  • 干预对谁、在什么情况下以及在哪些方面产生了影响?

  • 这次干预带来了多大的影响?

  • 具体影响在多大程度上可以归因于干预?

  • 干预是如何起作用的?

探索评估中理解原因的不同方式,下载概述其中列出了不同的方法、设计、过程和方法。您还可以探索以下三种广泛的因果推理策略。

任务

1.检查结果是否与因果贡献一致

这一战略应成为包括因果问题在内的所有评价的一部分。如果干预导致了观测到的变化,可以使用多种选择和方法来检查数据是否与预期一致。

2.将结果与反事实进行比较

这种策略适用于某些但不是所有的评估。有许多选择和方法可以用来建立一个反事实的估计,即对没有干预会发生什么情况的估计,并将其与干预后的结果进行比较。

3.调查可能的替代解释

该策略应该是包括因果问题在内的所有评估的一部分。有许多选项和方法可用于确定可能造成影响的其他因素,并查看是否有可能排除这些因素。

资源

录制的网络研讨会:简·戴维森的 因果推理的选择 在一个美国评估协会咖啡休息系列20分钟网络研讨会。 对所有人免费,包括非会员。 

因果关系和因果推理模型。芭芭拉的论文贝法尼讨论关于因果关系的不同思考方式,并调查因果关系。

提出因果索赔.约翰·梅恩关于思考所涉及的逻辑的论文产生结果的多种因素。

评论

匿名者的照片
卡西贝尔

你好我在加拿大的一个公共部门联盟工作,该联盟正在实施一项五年教育计划。虽然形成性评价已经由教职员工及其主管进行,但终结性评价现在才刚刚发展起来。确定项目影响和/或结果的最有效评估是什么?

谢谢

帕特里夏·罗杰斯的照片
帕特里夏·罗杰斯

嗨,卡西,

最有效的评价设计或方法将取决于干预的性质、评价的目的和资源的可用性,特别是时间、资金和现有数据。我建议您查看一下我们的影响评价页面,它为您处理各种需要考虑的问题提供了指导,同时也为您如何着手进行选择提供了指导。//m.szbpn.com/en/themes/impact_evaluation

史蒂夫·蒙塔古的照片
史蒂夫·蒙塔古

嗨,卡西/帕特里夏,

很抱歉在六月错过了这个。我还想指出,Patricia和她的同事Sue Funnell已经写了关于信息/教育原型的变化理论(如目的性计划理论pg 352-357)。在我任教的加拿大卡尔顿大学,我们大量使用betterevaluation.org和目的性项目理论作为核心资源,我们有许多学生项目着眼于信息/教育项目的因果关系(影响)。我建议回顾一下过去在这一领域的工作。也许是因为我们在加拿大,我们倾向于贡献分析——基于方法由约翰·梅恩在渥太华和面向的谨慎应用程序理论和“因果包”和最近的想法非常适应现实主义理论方法应用于关键环节(因果通路)。作为一个例子,请看https://pubmed.ncbi.nlm.nih.gov/28557934/.卡尔顿学院的“我们”与这个项目没有任何关系(但它非常符合我们的典型做法——如图2所示),所以我觉得我可以毫不犹豫地推荐它。如果你对学生实习项目感兴趣,请告诉我们。我们的团队已经在今年9月启动了——但明年9月我们还会继续寻找。)

希望这可以帮助!祝你好运。

添加新评论

登录登录并以BetterEvaluation会员的身份发表评论,或者只需填写以下字段即可。