陕西师范大学教育实验经济研究所

当前位置是:首页 > 研究所介绍 > 研究方法

 

在国际上,影响评估已经逐步成为项目设计的一部分,其最大的挑战是如何判断结果变化确实是由于项目干预或政策实施所致。开展影响评估主要基于如下问题:

第一,有限的资源是如何使用的;

第二,有限资源的利用有没有改善的空间;

第三,是否有必要进一步推广或者增加投入。

要回答这三个问题,关键是要评估项目是否有效地达成了预期目标,这就需要进行科学、定量的影响评估。

 

影响评估的方法可以分为非试验性影响评估方法和试验性影响评估方法两类。非试验性影响评估的主要方法有事前事后评估比较法、倍差分析法、匹配法、工具变量法、断点回归法等;而试验性评估方法即随机干预试验(Randomized Controlled Trials, RCTs),其最大的优点是避免了非试验性评估的选择误差问题。

在各类影响评估方法中,随机干预试验(RCTs)方法被认为是影响评估的黄金准则” (Guo et al., 2010)RCTs 最早用于对医疗卫生服务中的某种疗法或药物的效果进行检测和评估,后常用于医学、药学、护理学等自然科学研究,近年来在农业经济、教育等社会科学领域得到越来越多的应用,如农业推广服务、公共健康和教育项目等。

影响评估的核心问题是归因。影响是指政策(或者干预)的作用对象与它在未接受政策(或干预)的情况下在结果上的差别。同时,影响程度的大小也随时间变化而改变(1)。影响评估就是要在控制其他因素作用的情况下,分解出哪些影响和变化是由于某项()因素干预所引起的。


此类归因要借助于反事实分析,或者说找到一组有说服力的对照组(不接受干预,也称控制组)用来与干预组(接受干预,也称处理组)进行对比,影响评估的难点也在于此。那么反事实对照组从哪里来呢?最理想化的方案是,对于同一个接受项目干预的主体,比较其在某一时点接受项目干预与不接受项目干预之间的结果差异。但这在现实中不可行,因为我们不能既看到主体接受项目干预后的结果变化,同时又让其回到干预前的原点重新开始发展,得到该主体未接受干预的结果变化,再比较这两个变化的差异(这就是影响)。如果只是比较此主体在接受干预前后的差异,则通常不能得到可靠的结果,因为其中有一个非常关键的假设,即与结果变量相关的其他任何因素在干预时期内不能发生变化,但是现实中这一假设可能不成立。

有鉴于此,我们利用科学影响评估的前沿方法——随机干预试验(Randomized Controlled Trials, RCTs)进行影响评估。随机干预试验(RCTs)法,也叫做社会试验、随机分配研究等,这类方法使用的前提是可以对干预对象进行随机分配,在合格目标群体中随机分配其中的一部分对其实施干预,另外部分则作为对照组,不实施任何干预。由于干预组和对照组在干预前没有系统差异,RCTs 方法能够将两个组在项目实施之后的差异归因于干预,而不是其他因素,从而能得出与项目影响效应最接近的估计值。

开展随机干预试验首先要进行因果链分析,其次确定干预的单位和随机的方法,然后进一步分析其他可能对结果变量产生影响的因素,并在试验设计时加以控制,最后计算试验规模的大小。随机干预试验的执行过程:第一步是基线调查,第二步随机选择样本实施干预,第三步是评估调查。


RCTs的试验设计

采用RCTs 方法进行影响评估,首先要考虑的问题是如何设计试验。试验设计过程中涉及到的具体问题包括:

(1) 建立干预与结果变量之间的因果链,探索合适的干预措施。研究者需要确认干预措施与结果变量之间存在明确的因果关系。例如,如一个项目的目的是减少儿童缺铁性贫血,那么干预措施就应该是补充铁元素,而不是补充蛋白质;而结果变量的选取也取决于干预时间的长短,短期影响的结果变量只能用儿童体质指数(BMI)、贫血水平等指标,但中长期的指标就可以是学生的学业表现、工资收入等。

(2) 明确干预的单位。干预的单位可以是个人、农户、社区等,根据项目的总体目标和干预措施的性质决定。例如,如一个项目旨在研究服用驱虫药对减少儿童肠道寄生虫感染率的影响,那么研究者在设计干预时就要考虑到肠道寄生虫在儿童间的交叉感染可能会影响到最终结果,最好选择以社区或学校为单位进行干预,而不是以儿童个人为单位进行干预。

(3) 随机选择的方法。可选择的方法包括摇奖法、轮流干预法和逐步推进法等。在RCTs 执行过程中,如采用摇奖法,只对部分参与者进行干预,考虑到对照组的参与者可能会因不能受益而不愿意参与该项目,在实施项目时可采用逐步推进法,开始只对干预组进行干预,过一段时间后再对对照组进行干预。

(4) 识别可能影响到项目设计的因素,常见的包括项目是否存在溢出效应和交叉效应。例如,如果要评估营养知识培训对提高婴幼儿健康水平的影响,研究者就要考虑如在一个村内既有干预组的婴幼儿,又有对照组的婴幼儿那么干预组的婴幼儿家长就可能将培训信息传递给对照组家长,产生交叉效应。

(5) 样本选择和样本规模。确定RCTs 样本的规模十分重要,规模的大小要具有足够的”(power),确保能够识别出干预的影响(或者在备选假设为真的条件下具有80%以上的概率拒绝虚拟假设)。因此样本量的多少通常取决于干预类型的数量、置信水平、检验的、干预单位组内相关性、预期影响的大小等(Spybrook et al.,2008)。采用RCTs方法进行影响评估时,最不希望看到的结果是:由于样本量过少,是的从理论上来说应该有效的干预手段,却未能在评估结果中显示出来。


RCTs的操作步骤

设计好RCTs 方案后,研究人员就可以通过三步曲”(基线调查、干预试验和评估调查)来展开试验。

(1) 开展基线调查(Baseline Survey)。在项目干预之前,需要通过基线调查来掌握项目参与者的基本信息,其核心是收集主要结果变量以及可能影响结果变量的控制变量信息。这一阶段要做的工作包括设计调研方案、开展预调查、完善调查表等。调查问卷设计要涵盖因果关系链中的各种因素,通过调研取得相应的资料,对RCTs 提供数据支撑。

(2) 开展干预试验。基于随机分配原则,将所有样本按照预定的干预方案分成不同的干预组和对照组,并在干预过程中进行实时监测,确保因果关系链中的因素得到控制,避免因果链断裂。例如,并不是所有受邀参加婴幼儿营养知识培训的家长都会实际参加培训,即可能出现违约者;由于那些愿意参与项目的样本和那些被选中而不肯参与项目的样本本身就存在一些特定的差异,这就需要随时进行记录并在最后分析时进行区分。

(3) 评估调查。当干预实施达到预定时间点后,开展第三步工作,即评估调查。评估调查不仅是重复基线调查的所有内容,同时还要附加定性访谈,深入理解干预因果链。评估调查可以根据项目干预的性质不同而重复多次,以便区分不同时间段项目干预的效果及其变化。评估时最常遇到的问题就是样本流失,即基线调查的样本未被追踪到。如干预组和对照组的流失样本存在系统差异,那么仅利用追踪到的样本进行影响评估就会出现偏差。

 

作为经济学的一个新兴领域,严格科学的影响评估越来越广泛地被应用于经济研究、政府决策、项目管理、管理咨询等领域。与传统非试验性影响评估方法相比,RCTs 通过利用随机分配,使干预组和对照组在结果上的差异可以完全归因于干预,由此可以得到与项目影响效应最为接近的估计值。进一步借助于因果链分析,RCTs 可以帮助研究者和政策决策者打开影响评估的黑匣子,理解项目或政策的作用机理,从而寻找到项目或政策成功与失败的源头,为未来进一步完善设计、改进决策奠定基础。因此,我们认为中国的研究者和政策决策者应当更多地将RCTs 的影响评估方法运用到项目或政策的试点中,科学地、定量地评估项目或政策的影响,认真分析影响产生的路径,进行以事实为基础的决策。


返回顶部