持续和新兴影响评估(SEIE)

1.什么是SEIE?

持续和新兴影响评估(SEIE)是指在干预结束(可能是一个项目、政策或一组项目或计划)或参与者参与持续干预结束后的一段时间内,侧重于影响的评估。它检查了预期影响持续的程度,以及随着时间的推移出现了哪些意外影响(正面和负面)。

这种类型的评估通常被称为“项目后”影响评估,以区别于接近结束或干预结束后不久进行的“影响评估”。标签,持续和新出现的影响评估,强调对长期影响的关注,不仅需要包括预期影响,还需要包括非预期影响。

SEIE可以确定导致许多活动和成果在几年后得以持续的因素(例如,参与者仍保留知识并实践特定行为)和持久影响(例如,项目后营养不良持续减少)。SEIE还可以记录新出现的或意外的结果,如知识的传播和对新社区的使用,或参与者和合作伙伴对项目采取的完全意外的新方向,或他们自己从提供的培训中获得的新联系。

它最常用于有限时间范围内的干预措施,如由国际发展机构、多边组织或慈善基金会资助或实施的项目,或由国家政府资助一段时间的地方项目。

2.为什么SEIE ?

SEIE提供项目/计划周期中的“缺失部分”评估,如下图所示,由重视声音:

如图所示,当可持续性目标在项目设计中明确时,它们也成为整个项目周期监测和评估的组成部分。因此,SEIE在理想情况下是可持续性评估过程的顶点。

然而,在资助结束数年后再进行评估是很少见的。许多“影响评估”仅评估项目接近尾声时的影响,因此根据不完整的证据得出干预措施持久价值的结论。

持续和新出现的影响评估对于问责制很重要,因为它包括了预期受益人和负责项目结束后继续开展活动的机构的声音。SEIE促进对持久结果的了解,并有助于为未来更好的干预措施提供信息。SEIEs可以提供关于过去设计质量的重要课程,在什么环境下工作以及为什么工作。当关于可能的变化轨迹的信息不足时,SEIE尤其重要——影响将如何随时间变化。

项目结束时的调查结果并不总是持久效益的可靠预测指标。干预结束后,可能发生的情况是,已经取得的影响可能会保持、增加或减少。可能会出现其他重要影响。SEIE收集证据以了解其中哪些已经发生,以及如何发生。例如:

持续影响:A以儿童为中心国际非政府组织九年后返回的肯尼亚生计项目发现一些投资得以维持。水箱和贵宾厕所以及卫生和金融服务大楼和爱尔兰土豆都得到了维护(国际计划2010)。

增加的影响:A.粮食安全项目在尼日尔,在收尾三年后,持续的农业实践促进了粮食安全30%的改善。这些持续的成果被认为是由于两年多以来合作伙伴和参与者参与的移交过程(CRS尼日尔2015)

A.微型企业项目其中包括作为“变革代理人”的培训参与者,在项目结束后,随着微型企业银行的扩张和资产的三倍增长,成果有所提高(PACT Nepal 2006)

减少影响:A.审查的数据对超过200000个水系统的研究表明,安装10年后,大约四分之一的水系统不再运行(IDB 2016)

新兴的影响:A干旱/恢复项目减少妇女在水运中的劳动在减少性别暴力方面有意想不到的积极结果(路德会世界救济/盖茨基金会,尼日尔2013)

如果没有这些额外信息,关于资金来源、下一代项目设计以及实施和监测战略的决策依赖于在许多情况下基于项目周期期间和结束时资源仍在流动时发生的情况的假设。

如果干预的影响仅在融资结束时进行评估,则会产生许多风险,包括:

  • 将做出选择,以实现无法持续或不会导致长期影响的短期结果水平或类型

  • 最终更加可持续和有效的方法的价值将不会得到重视,有效的投资和方法将过早终止

  • 这些新出现的影响完全隐藏在我们的理解中,这剥夺了我们的经验教训,即社区本身有足够的价值来维持他们自己的资源,或从我们催化的东西中创造新的东西。

这些经验教训对于设计和新的资助、监测和评价至关重要。

可持续发展目标

鉴于国际社会对所有国家可持续发展目标(SDG)的关注,重要的是进行评估,了解什么能有效产生持久效益。SEIE可以通过阐明在特定环境下长期维持的目标,为实现可持续发展目标做出有价值的新贡献。目前,SGD指标实际上并未将干预措施的可持续性与部门指标的状态以及随时间的变化联系起来。将SEIE数据(作为哨兵站点)添加到SDG跟踪中,以了解哪些干预措施有助于或没有促进国家一级的持续改善,这对未来的进展和规划非常有启发性。

通过让参与者、利益相关者机构和当地评估人员参与评估过程,促进(国家或地区)对结果的地方所有权,可以鼓励使用结果。

3.什么时候做SEIE?

SEIE评估的时机应取决于预期的变化轨迹。之后需要足够长的时间,以便能够看到初始影响的一些变化,但不要太长,以至于难以收集数据,也不可能使用这些信息来通知决策。

在干预结束后的2至10年内,已经完成了许多SEIE。在某些情况下,评估的时间要长得多——例如,对发展中国家国际发展项目长期影响的评估科西山尼泊尔地区回顾了30年来在该地区实施的各种项目和方案的综合和持久影响。

4.谁应该参与评估过程?

需要就可评价性、职权范围、评价小组概况和评价管理达成若干决定。

有关SEIE范围的决策可能由以下方式来完成:

  • 原始出资人
  • 当地执行机构
  • 当地社区组织
  • 国家受援国政府
  • 研究机构
  • 以上各项的结合。

参与进行评估的人员(在收集、分析和报告数据方面,以及澄清应使用的评估标准方面)可能包括:

  • 原资助机构
  • 地方执行机构
  • 不在国家或社区的外部评估人员或评估团队
  • 当地评估人员或评估团队
  • 当地社区
  • 上述因素的组合

F或者举个例子Koshi Hills SEIE由尼泊尔政府和英国国际发展部共同管理,并由外部评估师组成的联盟承担,其中包括与当地评估师合作的国际评估师。许多seee是由国际非政府组织私人资助、内部管理和外部评价人员执行的。

为了了解当地环境和影响影响影响可持续性的因素,让当地实施者、社区成员和当地评估人员参与是很重要的。由本地和外部评估人员组成的联合评估团队可以提供相互学习的机会,充当期望和假设的宝贵传声筒,并根据国际趋势确定调查结果。

按照嵌入的链接,了解有关的选项的更多信息管理评估决定谁来进行评估参与式方法.

5.可以使用哪些流程和方法进行SEIE?

与任何评估一样,可以使用不同的方法和过程,应该谨慎地选择它们,以适合SEIE的目的,被评狗万取款手机客户端估的内容的性质,以及时间、金钱、数据和其他资源的可用性。理想情况下,SEIE的规划被纳入到干预的监测和评估系统的规划中。

发展规划理论

发展一种包括可持续性理论在内的变革理论是有帮助的——如何维持预期的影响?

  • 设计是否明确预测了影响的可持续性或短期结果?
  • 干预是否需要持续的资金(例如,当地用户是否会支付维护水基础设施的费用)?或者当地机构是否会持续提供资金或人员来维持服务?
  • 参与者是否有能力自己维持活动(例如,了解价值链个人以维持营销?)
  • 或者,即使活动没有持续,影响是否会持续,甚至超过预期(例如,社会规范的变革性变化或技术变革的影响)。

例如,美国国际开发署/粮食换和平组织通过了一项四柱退出战略和可持续性框架这将能力、资源、动机和联系视为捐助者资助之外的“变革催化剂”。

“最佳评估”任务页发展变化理论有关于发展变化理论的指导,以及一些供进一步阅读的资源。

确定“成功”是什么样子

利用正式和非正式来源,有许多选择可用于确定可用于评价的可能标准和标准。也有许多选择可以用来协商应该使用哪种方法以及如何权衡。“最佳评估”任务页确定“成功”是什么样子有指向这些选项的链接。

一种通常被推荐用于SEIE以确定成功的方法是参与式方法. 当采用参与式方法时,用于定义“成功”以作出评估判断的价值观,理想情况下不仅反映出资人的标准和标准,而且特别是打算成为干预受益者的社区。理想情况下,在确定以下各项时,应考虑到他们对成功的不同看法:

  • 评估中应包括哪些影响,
  • 什么水平的表现才算成功,而且
  • 如何将绩效综合到整体判断中——特别是积极影响是否会被消极影响所抵消,以及利益分配是否是一个考虑因素(例如,最弱势群体是否从项目中获得任何利益、某些利益、最大利益?)。

描述影响

测量或描述影响以及条件随时间变化的方式有很多选择,包括:

一次数据收集和二次数据收集的有效组合分析方法,以及适当的取样而足够的响应率,是在任何一个数据源的限制之间进行三角测量的理想选择。案头审查,包括审查来自组织的自我报告数据,本身不太可能足够。

鉴于自干预结束后一段时间后进行SEIE的挑战,当参与者或关键信息提供者(包括实施人员)已经移动,且干预或参与者列表中的完整基线或终点数据不可用时,在方法选择上可能需要一些创造性。方法的选择需要考虑评估是否可能满足利益相关者的阻力,因为项目承诺可能没有被转移到项目后的现实中。

拥有原始项目结果、参与者和合作伙伴名单的数据,以找到这些受访者或在实施期间密切参与的其他人,并与他们进行跟进,以及了解该地区和社区在迄今为止的干预年间发生了怎样的变化,这一点尤其有用。通常,在干预结束时,数据被汇总并埋在执行机构的数据档案和报告中,以PDF格式保存在捐助者数据库中,很少有当地访问。直到最近,一些项目数据才开始在开放数据集中共享,这些数据在全国范围内可供地方评估团队使用。

理解原因

SEIE评估的一个主要挑战是因果推理–解释观察到的变化是否或在多大程度上归因于特定干预。这在很长一段时间内尤其困难,因为在此期间,具有相同目标的项目已在同一地区投产,或者正在审查几个项目的综合影响。

在某些情况下反事实设计已经从一开始就建立了,或者可以为SEIE评估创建。

例如,对先发制人计划的长期评估跟踪了随机分配参加先发制人或进入对照组的儿童(美国DHHS,2010年).

在某些情况下,可以使用准实验设计,例如回归间断方法,并比较那些刚好高于或低于纳入干预的阈值的,或找到充分匹配的位点以创建对照组.

然而,在许多情况下,可能需要一些创造性来创建一个可信的反事实小组,无论是前瞻性的还是回顾性的。如果无法创建可信的反事实,则需要非实验性选项——例如,进程跟踪,比较案例研究质量影响协议,它使用一系列数据来测试因果推断的合理性。这些方法和途径对于在拥挤的实施环境中调查特定项目对许多其他项目的贡献特别有用。

报告和支持使用

在开始SEIE之前,重要的是预测结果将如何与那些可能从结果中受益的人分享。这包括执行机构,以及在同一背景下执行或资助类似项目的其他机构。当然,与被评估者——社区、地方合作伙伴和地方政府——分享调查结果对于确认准确性、知识管理和改进SEIE后的未来规划也至关重要。

可能需要多种报告格式,使不同的受众能够了解调查结果。看到更好的评价了吗报告和支持使用关于不同报告方式的一些想法。

资源

讨论文件

建立项目后评估的证据基础:案例研究审查和评估清单:这份由Laurie Zivetz和Valuang Voices的Jindra Cekan提交给快速发展基金的报告比较了八次项目结束和后续项目后评估的结果。鉴于其稀有性,几乎没有关于项目对长期可持续性影响的真实证据。本报告旨在帮助建立这一证据。

网站

重视声音–该网站上有许多关于这个问题的博客文章存储库超过30个SEIE,并链接到其他资源,包括成功SEIE的先决条件.

INTRC:援助撤出和退出战略

反馈实验室:LabStorm重述:结果数据是否足以增加开发影响?

工具书类

齐维茨(2016)。“缺失的环节:持续和新兴的影响评估”[博客]。更好的评价。检索自://m.szbpn.com/en/blog/SEIE

Cekan,J.,Rogers,B.L.,Rogers,P.和Zivetz,L.(2016)。《拔出一棵更好的树:关于SEIE的课程——持续和新兴影响评估》。AEA演示文稿。检索自:http://valuingvoices.com/wp-content/uploads/2016/11/Barking-up-a-Better-...

美洲开发银行评估和监督办公室(2016年)。农村地区水和卫生倡议的绩效和可持续性研究小型社区饮用水供应和卫生(PR 0118). 检索自:https://publications.iadb.org/bitstream/handle/11319/7614/Study-on-the-P...

人大/ DFID(2013)。尼泊尔Koshi山发展干预措施的长期影响研究. 加德满都:尼泊尔政府国家规划委员会(NPC)/尼泊尔国际开发部(DFID)。检索自:https://www.gov.uk/government/uploads/system/uploads/attachment_data/fil..。

美国卫生和公共服务部,儿童和家庭管理局(2010年1月)。起步影响研究. 最后报告。华盛顿特区。检索自:https://www.acf.hhs.gov/sites/default/files/opre/executive_summary_final...

评估语音网站(n.d.)检索自:www.valuingvoices.com

引用本页

Cekan,J.,Zivetz,L.,和Rogers,P.(2016)。持续和新出现的影响评估. 更好的评价。从中检索[月份][日期]//m.szbpn.com/themes/SEIE

特别感谢本页的贡献者
著者
总统,重视Cekan咨询公司的声音。
美利坚合众国华盛顿。
著者
独立顾问,重视Cekan咨询公司的声音。
美利坚合众国华盛顿。
著者
首席执行官BetterEvaluation。
墨尔本。
审核人
主任,评价能力加强,更好的评价。
澳大利亚墨尔本。

评论

凯里赫特的照片
凯莉·哈钦森

非常感谢这篇新文章!

我认为,您介绍SEIE作为一种独特的评估形式,将对我们理解项目的可持续性做出非常重要的贡献。

如果读者对如何促进项目可持续性的前端也感兴趣,他们可能会有兴趣查看我的新指南,生存与发展:确保项目可持续性的三个步骤.

金德拉·切坎的照片
金德拉·切坎博士

亲爱的克莱尔、凯莉和辛迪

谢谢你的评论。我很高兴探索持久的利益(持续的影响)是有趣的!我想知道,你认为我们的评估实践和捐赠者需要做些什么,才能1)超越资助周期和RCT——方法的重点,勇敢地寻找可能“存在”的东西,2)融入“新兴”这一迷人的概念——我们甚至没想到会在项目后出现什么?要做到这一点,人们还需要知道什么?很高兴有机会进行这项工作,正如凯莉所说,首先要为它进行设计,正如辛迪的帖子所指出的,回到未来:)。热烈欢迎,金德拉

爱丽丝Macfarlan的照片
艾丽丝·麦克法兰

让我们谈谈持续和新出现的影响评估——我们希望听到一些关于这方面的想法:

  • 我们如何将“新出现的”影响纳入项目后评估的范围,使其不仅仅关注预期结果和影响?
  • 您是否进行过SEIE(项目后评估)?如果有,你是怎么做到的?你面临的障碍和你能够利用的资源是什么?
  • 您认为我们的评估实践和资助者需要采取什么措施来超越资助周期,并在项目或计划结束后一段时间内对持续的内容进行评估?什么有助于更广泛地开展这类评估?
  • 您对SEIE还有其他意见或问题吗?
金德拉·切坎的照片
金德拉·切坎博士

伊万,我非常同意你的清单!我们必须为这些制定计划。劳里·齐维茨和我刚刚完成了一份由迈克尔·斯克里文的快速前进基金(基金会赠款)共同资助的报告。在本研究中,我们使用了8个案例研究来探索项目后评估带来的增值,而不是在最终评估时结束。我们必须为此作出计划;理想情况下,正如你所说,我们从一开始就为可持续性而设计。我们开发了一些清单来帮助解决这个问题。请参阅:http://valuingvoices.com/building-the-evidence-base-for-post-project-eva...

金德拉·切坎的照片
金德拉·切坎博士

读者可能会对我们的研究报告感兴趣,该报告由迈克尔·斯克里文(Michael Scriven)的快速发展基金(Faster Forward Fund)共同资助,显示了项目后评估与最终评估的增值,该报告在美国评估协会(American evaluation Association)和美国国际开发署(USAID)广受欢迎,我们于今年11月在美国国际开发署(USAID)上发表:

http://valuingvoices.com/building-the-evidence-base-for-post-project-eva...

添加新注释

登录登录并以BetterEvaluation会员的身份发表评论,或者只需填写以下字段即可。