快速评估

EleanorWilliams的照片2021年5月12日EleanorWilliams

埃莉诺·威廉姆斯(Eleanor Williams)是维多利亚卫生部评估和研究证据中心的主任。在这个职位上,她领导着该部门的评估和研究策略。她也是维多利亚公共部门评估网络和澳大利亚评估协会维多利亚委员会的联合召集人。埃莉诺拥有墨尔本大学公共政策与管理硕士学位和评估硕士学位。作为研究的一部分,埃莉诺对为本文提供信息的快速评估方法进行了广泛的文献综述,并对维多利亚州Covid-19服务和卫生与人类服务实践变化进行了快速评估。

在新冠病毒-19大流行期间,决策者,特别是卫生部门的决策者,要求迅速转变证据,以告知服务和实践的变化。这一背景对既定的评价准则和标准提出了真正的挑战,这些准则和标准通常在较长的时间内运作。国际上的政府部门和研究单位,包括维多利亚州卫生部评估和研究证据中心,已响应这一呼吁,更快地提供评估和证据,“快速评估”不仅变得更为普遍,而且更为必要。

快速评估可以在几天到几个月内部署,对于突发或史无前例的事件(如新冠病毒-19大流行)尤其有用。但是,尽管在最近这段时间里,人们对快速评估方法的兴趣有所增加,但实际上,快速评估方法背后有一段漫长的历史,我们可以从中学习。本博客逐步介绍了快速评估的常见组成部分,以及这些方法的来源,希望能为这些方法的增值提供一些帮助。

当前环境和挑战

目前对快速方法的需求反映了人们的担忧,即无论是在紧急情况下还是在标准的政府决策中,标准的研究和评估方法都过于缓慢,无法付诸实施。

例如,在实验设计中,随机试验从开始到发表大约需要5.5年,加上提交拨款申请的时间后需要7年或更长时间。即使在紧急管理情景之外,这些时间框架也往往不足以为决策提供信息,例如,对于致力于3年或4年选举周期的政府,或者对于需要立即决定是否延长或扩大计划的决策者。更重要的是,在这么长的时间内,环境可能会发生变化,使评估结果变得无关紧要或过时。

虽然目前对这一问题的关注集中在大流行病上,但这并不是一个新问题,评估人员长期以来一直在探索如何迅速获得适当证据,为决策提供信息。

快速评估从何而来,又将走向何方?

加速研究和评价方法有着悠久的历史,特别是在国际发展和应急管理方面。在1980年代初步采用快速方法之后,联合国在1990年代进一步推动了实时评价,以应对人道主义危机的增加和对快速、有证据的评价的需要。

卫生相关方案快速评估方法国际会议,由联合国大学组织,于1990年11月举行,提高了人们对设计、评价和改进营养和初级保健方案的人类学方法的兴趣和期望。随后,快速方法在21世纪初扩展到公共卫生领域,与其他方法学进展一起,从“快速和肮脏”方法转向更稳健和标准化的快速方法。

最近,快速方法被用于响应政府的需求,即在项目和项目实施时,而不是在实施数年后,更快、更早地为决策提供证据。这既是由于在Covid-19危机期间要求快速决策的压力,也是更广泛的原因增加政府决策活动的速度和数量.为说明这一点,南非规划、监测和评价部发布了一份报告指南和工具包对于2020年的快速评估,明确响应高级管理层的要求和对信息的紧急需求。

快速评估方法涉及什么?

从一开始,快速方法就在广泛的术语和方法下被提及,包括:

  • 快速评估,
  • 快速人种学评估(REA),
  • 快速定性查询(RQI),
  • 快速评估程序(RAP),
  • 快速评估、响应和评估模型(罕见模型),
  • 快速、集中或短期的民族志,
  • 实时评估(RTE),
  • 快速反馈评估(RFE)
  • 快速评价方法(REM)
  • 快速周期评估(RCE)。

虽然上面列出的每种快速方法都有不同的背景、方法和实践背景,但快速方法通常共享一套类似的技术,用于在关键时刻向决策者提供可操作的信息。

大多数快速评估模型都包含类似的要素,这些要素既反映了它们对新出现的情况作出反应的需要,也反映了它们对稳健可靠结果的渴望:

  • 迭代/柔性设计;
  • 多种方法和数据源(但通常更依赖定性数据)
  • 加快数据收集和分析流程以及并行的工作流程
  • 面向行动的调查结果和建议
  • 定制通信产品
  • 多学科和高技能团队,以及
  • 参与式的方法

用于加速评价的一些具体战略包括并行进行数据收集和分析,取消使用成绩单,以及利用更大的评价小组分担工作量。

尽管这些方法取得了重大进展,但在某些情况下,快速方法有时仍被认为比长期方法质量低。来自RREAL的Cecilia Vindrola-Padros博士据推测,这部分是由于快速方法缺乏明确的质量标准,以及在术语上缺乏共识。对于不同类型的快速评估,何时以及如何使用这些评估,以及评估人员如何能够缓解评估时间紧迫所需的任何方法权衡,也可能存在误解。

快速评估类型

根据需要速度的原因,快速评估模型通常分为三种类型之一:

  • 快速评估短期或频繁的决策
  • 快速评估由于资源约束
  • 快速评估由于短期影响

评估的原因将决定资源分配方法以及数据分析和参与的可能水平。例如,在卫生危机中,重要的是部署一个资源充足和经验丰富的团队进行快速评估,因为及时和准确的结论对项目成功至关重要。然而,在其他情况下,由于资源限制,评估是快速的,快速方法可能由单一的评估人员部署,其限制了其数据收集和咨询的范围,以提供尽可能具有成本效益的结果。

对近期或频繁的决策进行快速评估,以满足在紧迫时间内工作的决策者的需要。这可以采取短期评估的形式,为长期过程提供信息,也可以采取模型的形式,在长期项目的多个时间点部署快速方法,在整个项目设计和实施过程中提供反馈回路。这种快速评估类型包括上面列出的所有共同特征,包括采用多学科团队和多种方法来实现稳健设计。

相比之下,为时间和资源有限的情况而设计的快速评估必然涉及必须对快速评估设计做出的牺牲。在这些情况下,更有可能是单一的评估者而不是团队,单一的方法而不是混合的方法。速度将取决于数据收集、分析和报告的时间长短,而不是主题的上下文需求。这并不是说,这种类型的产品快速评估的价值不能和班贝克(2004)有用,实际的建议关于如何定制方法当时间,金钱和人力资源供不应求,像敏感减少数据收集的范围和规模,管理有效性相关的威胁,并在不容易获得的地方重建基线数据。

最后,还有一类较小的快速评估,预计在快速评估的时间范围内会发生实质性变化,例如在健康危机中,您希望在项目过程中看到传播率降低。与其他快速评估一样,这些环境需要多个团队成员和多种方法来满足决策所需的短时间框架和鲁棒性水平的要求。此外,他们通常需要一个具有强烈参与性因素的多学科团队,以产生多个观点,确保项目结果是可靠的,并有足够的利益相关者参与,从而导致项目调整或决策。

在开始快速评估之前,有必要反思一下快速性背后的原因,以及这对您将使用的方法意味着什么。例如,如果涉及短期或高风险决策,则值得寻求适当的资源,以确保您能够在可用的时间范围内提供可靠的结果。或者,如果驱动因素是缺乏时间和资源,则需要仔细考虑如何适当减少数据收集、分析和/或报告。

最后的想法

在当前大流行环境和政府决策速度日益加快的情况下,显然需要更迅速地进行评价。仍然需要开展工作,以汇集快速评估的悠久历史,并商定什么符合证据的可接受阈值,以便在快速工作时告知现实生活中的决策和结果。保持开放的心态是很重要的,特别是在短期内可以实现的新领域正在形成的情况下。稳健、快速的评估是一个强大的工具,可以在这些不确定的时期为决策提供更多的证据。

进一步阅读

方法页:快速评估

快速评估是在时间或资源有限的情况下,快速、系统地进行评估的一种方法。快速评估方法已被用于多种环境,包括公共卫生、应急管理、国际发展和农业,作为一种快速提供方案评估结果以为决策提供信息的方式。有关快速评估的更多信息和资源,请访问此方法页面

实时评估:Patricia Rogers和Alice Macfarlan的博客博客:为什么我们需要更多的实时评估?

看看我们最近的博客,“为什么我们需要更多的实时评估?”由帕特里夏·罗杰斯(Patricia Rogers)和爱丽丝·麦克法兰(Alice Macfarlan)撰写的博客着眼于实时评估,一种快速评估的形式,以及它在实践中是如何工作的。阅读更多。

外部资源

这个伦敦大学学院快速研究、评估和评价实验室(RREAL)还提供快速定性方法方面的培训,这对于那些希望建立快速交付技能和工具包的人来说是一个很好的选择。

研究实验室,比如伦敦大学学院快速研究、评估和评价实验室(RREAL),满足了早期发现和更快流程的需要。

工具书类

班贝克,m(2004)。小本评估:在预算、时间和数据的限制下设计影响评估。美国评估杂志,25(1) 5-37。

规划、监测和评价部(南非)(2020)评价指南(第2.2.21号):如何进行快速评价南非共和国。

McNall,M.和Foster Fishman,P.G.(2007)快速评估、评估和评估方法,美国评估杂志28(2):151-168.

Messer,E.(1991年)规划和评价卫生相关方案的快速评估方法国际会议:解释性摘要。在里面食品和营养公报.1991 13(4): 287 - 292。

Vindrola-Padros, C., Brage, E. & Johnson, G. A.(2021)快速、响应性和相关性?卫生保健快速评估的系统综述,美国评估杂志, 42(1) 13-27

特别感谢本页的贡献者
著者
维多利亚卫生部评估和研究证据中心主任。
澳大利亚墨尔本。

评论

匿名的照片
收听。

嗨,我需要一个关于健康促进快速评估的例子

SimonDavies的照片
西蒙•戴维斯

亲爱的阿桑

我鼓励你加入我们的讨论组,并把这个问题提交给我们的成员,他们中的许多人在这方面有专门知识。以下是你可以加入的链接:百富勤讨论小组-主页

温暖的问候

西蒙

匿名的照片
埃莉诺·威廉姆斯

嗨收听,

刚刚看到你的评论。我很乐意通过一些健康促进的例子——请随时通过LinkedIn联系。

另一种选择是向澳大利亚公共部门评估网络(APSEN)提出问题,该网络是澳大利亚评估协会的一个特殊利益集团:https://www.aes.asn.au/special-interest-groups/apsen

添加新评论

登录登录并以BetterEvaluation会员的身份发表评论,或者只需填写以下字段即可。