成果收获

结果收集收集(“收获”)已发生变化的证据(“结果”),然后反向工作,确定干预是否以及如何促成这些变化。

结果收获已被证明在复杂的情况下特别有用,当不可能具体定义一项干预措施的目标,甚至在多年期间将采取什么具体行动。

1什么是成果收获?

成果收集是一种评估方法,在这种方法中,评估人员、赠款发放者和/或方案管理人员和工作人员在未充分理解因果关系的方案编制环境中确定、制定、验证、分析和解释“成果”。

结果被定义为“明显的行为”(如行动、关系、政策、实践)一个或多个受干预影响的社会行动者。例如,一位宗教领袖发表了史无前例且被认为是重要的宣言;组织之间或社区之间行为的改变;法规、正式法律或文化规范的变化。

与某些评估方法不同,成果收集并不衡量实现预定目标或成果的进展,而是收集已发生变化的证据,然后反向工作,确定干预是否以及如何促成这些变化。结果可以是积极的或消极的,有意的或无意的,直接的或间接的,但干预和结果之间的联系应该是合理的。

利用一系列方法收集或“收获”信息,为有用的、可操作的问题提供基于证据的答案(“收获问题”)。

结果收集可用于监测以及评估(包括发展性、形成性或终结性评估)干预措施或组织。

2.收获结果从何而来?

该方法受成果图的启发,并以以利用为重点的评价. 它由Ricardo Wilson Grau及其同事开发,作为共同评估者,他们在不同的情况下应用了它,并在多年的评估实践中进一步完善了它。

*Barbara Klugman, Claudia Fontes, David Wilson-Sánchez, Fe Briones Garcia,Gabriela Sánchez, Goele Scheers, Heather Britt, Jennifer Vincent, Julie Lafreniere, Juliette majt, Marcie Mersky, Martha Nuñez, Mary Jane Real, nataliortiz, and Wolfgang Richert。

3.什么时候可以使用结果收获?

当结果,甚至输入、活动和输出在规划干预措施时不够具体或不可测量时,结果收集尤其有用。因此,成果收获非常适合在动态、不确定(即复杂)情况下进行评估。

在以下情况下推荐收获结果:

  1. 重点主要是结果而不是活动.结果收获是为决策者(作为“收获用户”)最感兴趣的情况而设计的。换句话说,强调的是效力,而不是效率或绩效。当目标是理解变化的过程以及每个结果如何对这个变化做出贡献时,这种方法也非常适合。
  2. 编程环境很复杂. 结果获取适用于因果关系尚未完全理解的编程环境。旨在确定结果的传统监测和评估将计划的结果与实际取得的结果进行比较,并将计划的活动与实际完成的工作进行比较。然而,在复杂的环境中,目标和实现目标的途径在很大程度上是不可预测的,预定义的目标和变革理论必须随着时间的推移进行修改,以应对环境中的变化。在这些更加动态和不确定的环境中,意外结果占主导地位,包括消极结果,结果收获尤其合适。因此,成果收获特别适合于评估社会变革干预或创新与发展工作。
  3. 目的是评估. 结果收集可用于跟踪受干预影响的社会行为者的行为变化。然而,它的目的是超越这一点,支持学习这些成就。因此,成果收获对于正在进行的发展性、中期形成性和期末总结性评估特别有用。它可以单独使用,也可以与其他方法结合使用。

“收获”的时机取决于收获结果对确保干预朝着正确方向发展的重要性。如果确定性相对较大,那么进行A将产生B,则收获的时间可以与预期的结果一致。相反,如果干预将取得的结果存在很大的不确定性,则应尽快安排收获,以确定实际取得的结果。

4.谁应该参与成果收获?

一个高度参与的过程是必然性收获过程和产品。

根据情况,由外部或内部人员(“收获者”)来领导结果收获过程。Harvesters促进和支持适当的参与,确保数据可信,分析证据的标准和标准是严格的,以及合成和解释的方法是可靠的。

“收获用户”是指需要调查结果做出决策或采取行动的个人或组织。他们应该在整个过程中参与进来。随着过程和结果的展开,这些用户必须参与有关方法的设计和重新设计的决策。此外,随着调查结果的产生,收获的主要用途可能会发生变化,这反过来可能需要重新设计决策。

收割机还需要让知情者参与进来,这些知情者了解干预取得了什么成果以及如何实现,并且愿意将他们所知道的记录在案。“最接近行动”的现场工作人员往往是最好的线人。

5如何收获结果(概述)?

收割机从实施干预的个人或组织获取信息,其行动旨在影响结果,以确定社会参与者的实际变化以及干预如何影响他们。

“结果描述”的起草细节被认为有助于回答收获问题。描述可以简单到一句话,也可以详细到一页或多页文本。它们可能包括解释背景、与他人的合作或他人对具体结果的贡献;对结果的不同看法;以及结果的重要性。收集到的信息经过几轮修改,使其足够具体和全面,可以核实。

随后,通过将选定结果的信息与从其他知识丰富、权威但独立的来源收集的信息进行比较,验证选定结果的信息。

最后,对经验证的成果描述进行分析和解释——无论是作为个人成果还是作为一组成果——以了解其在实现任务、目标或战略方面的重要性,并用于回答收获问题。

6成果收获是如何完成的(六个关键步骤)?

结果收集方法应根据主要预期用户/用途的特定需求进行定制。下文讨论的六个“步骤”更多地是作为指导原则,而不是要遵循的僵化公式。尽管如此,严格执行所有六项原则对于取得可靠的成果是必要的。

  1. 设计收获的结果:第一步是确定收获的主要预期用户及其收获过程和结果的主要预期用途。在此基础上,收割用户和收割者同意需要知道的内容,并编写有用的、可操作的问题来指导收割(收割问题)。例如,一个有用的问题可能是:什么受让人的集体效应是否使国家治理制度更加民主这是什么意思投资组合的策略?然后,为了回答问题,他们同意收集哪些信息,从谁那里收集。这至少涉及获取有关社会行动者的变化以及干预如何影响他们的信息。

  2. 审查文档并草拟结果描述:从报告、以前的评价、新闻稿和其他文件中,采收者确定了潜在的结果(即个人、团体、社区、组织或机构的变化)以及干预措施对这些变化的贡献。例如改变可以是总统公开承诺保持透明(行为);两个政府机构合作而非竞争(关系);解雇腐败公务员的部长(行动);立法机关通过新的反腐败法(政策);或连续第三届政府公布其采购记录(惯例)。变革动因的影响范围可以从激励和鼓励、促进和支持,到说服或迫使社会行动者变革。

  3. 与举报人一起制定结果描述:矿车直接与线人接触,根据文档审查结果描述,并确定和制定额外的结果。告密者通常会咨询他们组织内外的其他人,了解他们所贡献的成果。

  4. 证实: Harvest用户和harvesters审阅最终结果,并选择需要验证的结果,以增加结果的准确性和可信度。收割者获得一个或多个独立于干预(第三方)的个人的观点,但了解一个或多个结果和变化代理的贡献。

  5. 分析和解释:矿车,对所有结果进行分类,经常与线人协商。分类通常来源于有用的问题;它们也可能与干预的执行者或其他利益攸关者(如捐助者)的目标和战略有关。对于大的、多维的收获,需要一个数据库来存储和分析结果描述。收获者解释信息,并为收获问题提供基于证据的答案。

  6. 支持调查结果的使用:收割者根据收割问题的循证答案,向收割者提出问题供讨论。它们有助于与用户进行讨论,其中可能包括用户如何利用调查结果。

这些步骤不一定是不同的;它们可以重叠,并且可以是迭代的;反馈可以激发重新设计下一步或返回或修改前一步的决策。通常,步骤4(证实)和步骤5(分析和解释)的反馈不会影响前面的步骤;步骤6(使用支持)的反馈仅影响步骤5(分析和解释)。尽管如此,当然,所有步骤的反馈都会影响有关未来收获的决策,无论是出于监测还是评估目的。

应该指出的是,“成果收获”是尽可能经常地进行的,以了解变革动因正在实现什么。根据所涵盖的时间段和涉及的结果数量,该方法可能需要线人投入大量时间。为了减少告密者的时间负担,可以每月、每季度、每半年或每年收集结果。调查结果可能被证实、分析或解释的频率较低。

上面的步骤将在成果收获作者:Wilson Grau R和Britt H(2013)。

7成果收获在何处使用,由谁使用?

非政府组织、社区组织、网络、政府机构、资助机构、大学和研究机构在143多个国家使用成果收获。2013年,联合国开发计划署(开发署)评价办公室将成果收获选为11个项目之一有前途的创新在监测和评价实践中。在世界银行学院的10个小组试点了一种定制版本的成果收集后,为该学院定制的方法和工具被列入其内部监测和评价资源中。美国国际开发署(USAID)选择“收获成果”为五种方法之一特别适用于动态、不确定情况下的监测和评估。

因此,结果收集已被证明是一个有用的方法,在不同的地方和不同的干预。一些例子:

8 .收获结果的优势和局限性

以下是公认的优势结果收获:

  • 克服了寻找干预措施意外结果的常见故障;

  • 产生可验证的结果;

  • 使用一种常识性的、可接近的方法,很容易让线人参与进来;

  • 采用各种数据收集方法,如访谈和调查(面对面、电话、电子邮件)、研讨会和文件审查;

  • 用具体证据回答可采取行动的问题。

限制和挑战包括:

  • 确定和拟订高质量的结果说明需要技能和时间以及及时性;

  • 只有告密者知道的结果才会被捕获;

  • 影响结果的人的参与至关重要;

  • 从结果开始,向后看,对于一些参与者来说,这是一种新的思考变化的方式。

9资源

  • 什么是收获?: Ricardo Wilson-Grau(2014年9月)在这个简短的视频(< 3分钟)中解释了结果收获方法的本质。

  • 成果收获这篇简短的文章由Ricardo Wilson Grau和Heather Britt撰写,介绍了成果采伐所使用的关键概念和方法(由福特基金会于2012年5月出版;2013月中修订)。

  • OutcomeHarvesting.net:这个网站是一个应用程序、事件和资源的来源,以支持成果收获的从业者社区的发展。BetterEvaluation是OutcomeHarvesting.net的三个姐妹网站之一。

  • 成果收获论坛:将分享、挑战和推进关于如何将这一替代方法应用于监测和评估的全球经验教训讨论。

引用本页

威尔逊·格劳(R)(2015年)成果收获.BetterEvaluation。从检索//m.szbpn.com/plan/approach/outcome_harvesting

特别感谢本页的贡献者
著者
里卡多·威尔逊·格劳顾问有限公司负责人。。
巴西里约热内卢。
审核人
主任,评估能力加强,更好的评估。
澳大利亚墨尔本。
审核人
用户体验设计师/信息架构师,更好的评估。
澳大利亚墨尔本。

评论

阿乌尔·庞奇博士的照片
Awuor PONGE

谢谢里卡多的分享。这是对您之前为福特基金会在中东和北非地区发表的相同主题的工作的很好的总结和补充。我用这个来帮助我的学生,性别与发展方面的参与性办法和工具。我将其作为新兴的参与式评估方法之一。下一次,我将邀请你通过网络研讨会直接向我的学生展示,这样他们就可以直接从马自己的嘴里得到它。里卡多,我们如何才能使成果收获具有性别敏感性和公平性?这将很好地融入我在所教单元中的关注。谢谢你,里卡多!

里卡多·威尔逊·格劳的照片
里卡多·威尔逊·格劳

谢谢你的关注和这个问题。如果你给我发邮件,我会建议我们举行“对话”,讨论如何在OH论坛上收获性别敏感和公平的成果,因为坦率地说,我不是回答你问题的最佳人选。Ricardo.Wilson-Grau@inter.nl.net

里卡多·威尔逊·格劳的照片
里卡多·威尔逊·格劳

感谢您提出这个问题,并允许我在收获成果论坛上发起这个讨论(请参阅上面参考资料9中的链接)。我有一个方法论上的答案,我确信,在明确的性别敏感或注重公平的M&E以及发展性、形成性或终结性评估中使用成果收获的经验比我丰富的同事可以丰富我的答案。

我的方法建议:

1) 我确保职权范围明确或至少隐含地要求主要预期用户的一个或多个主要用途是成果收获过程和产品应具有性别敏感性或注重公平性,或两者兼而有之。

2) 如果指导成果收获应用的收获或评估问题不是性别敏感的或注重公平的,或者两者都不是,那么在谈判职权范围时,我会明确提出这些问题。

3) 在收割设计中,我确保回答收割问题所需的信息,以及如何收集这些信息,是性别敏感的或以公平为重点的,或两者兼而有之。

通常,对于2)和3)它将是一个或多个共同评估专家在这些领域,谁将与主要用户和我一个适当的过程。也就是说,性别反应或公平焦点不仅要在方法论上合理,还要适应主要用户对这些术语的理解,并将其与Outcome Harvest应用的具体使用情况相关联。

4) 然后,在整个成果收获过程中,主要用户、共同评估者和我将检查性别反应或公平重点,并根据需要进行调整,正如我们检查以确保收获过程和结果在其他主要用途方面证明有用一样。

下面是我的方法建议。希望本论坛的同事们能够为Awuor示范他们如何在性别响应或注重公平的M&E和评估中定制成果收获的使用。

阿乌尔·庞奇博士的照片
Awuor PONGE

亲爱的里卡多!

非常感谢您的快速回复。我非常感谢你对方法学指导方针的意见,我希望这将为这场辩论和前进的步伐奠定基础。

当我们思考方法论指导方针时,我们是否也能思考我们如何能使这个过程促进性别平等?我们能否谈谈收获成果的六个步骤中的每一个步骤都发生了什么,以及每一个步骤如何解决性别问题?

我期待着向本论坛的所有成员学习,无论是从他们如何开展这一进程的实践中,还是从如何开展这一进程的理论建议中。

非常感谢你,里卡多。

阿乌尔·庞奇博士的照片
Awuor PONGE

感谢Benson Chakaya和Ole Stage的评论。我期待着很快在这里总结这些贡献。这里的材料非常有用,甚至我的学生也对此表示赞赏。我在这里与他们分享了一些贡献。

匿名者的照片
帕特里克

亲爱的管理员,

我想请求成为这个令人兴奋的论坛的一部分

wmusyoka的照片
威克利夫

我一直在后台跟踪这些讨论,分享的信息非常丰富和清晰。我会向你提出问题,如果我遇到任何挑战,你愿意帮助!

当做

威克利夫

匿名者的照片
侯赛因·J·穆罕默德

谢谢Ricardo分享这个。这对我来说真的很有帮助,因为我即将开始一项新的任务,用成果收集方法评估一个建设和平项目的成果。

匿名者的照片
罗伯特·卡库鲁

我想成为一个更好评价的成员。我需要什么?

匿名者的照片
安东尼Ombara

这是一个很好的方法

添加新注释

登录登录并以BetterEvaluation会员的身份发表评论,或者只需填写以下字段即可。