社科网首页|论坛|人文社区|客户端|官方微博|报刊投稿|邮箱 中国社会科学网
“复制性研究”:社会科学定量分析新趋势
陈云松 等
《中国社会科学报》总第350期
2012-12-31

   【核心提示】复制性研究是一项有利于学科长远发展和个人学术进步的重要工作,其学术目的不在于追问前人的研究是否可以得到100%的精确再现,而在于在前人研究的基础上开展拓展研究。

  社会科学的定量研究,理论上说应该是可以被再现的。这是因为数理统计自身的特点,决定了结果必然可被校验,如最小二乘法回归分析的结果显然是具有唯一性的。随着STATASPSS等统计软件的普及应用,利用既有的数据和程序代码对以往的研究进行校验和复制,具有一定的可行性。但值得注意的是,能够被研究者成功复制校验的文献并不多。1986年,德瓦德、瑟斯比和安德森三人(DewaldThursby and Anderson)尝试对投给美国Journal of Money,Credit and Banking92篇论文进行复制研究,结果发现只有9篇提供了足够的数据。而对这9篇论文的检验结果表明,仅有2篇论文结论能够和发表的论文一致。这个结果公布后,在西方学界引起震动。

  解决定量研究中存在的问题,一方面需要研究者加深对统计推断的理解,把理论和分析工具结合得更加紧密;另一方面,则需要一个有力的学术透明化和开源机制,使研究成果可以得到他人的验证,让数据和研究方法可以在更大范围内得以交流。而这个透明化和开源机制的核心和操作性层面,就是“复制性研究”(replication study)。在经济学领域,美国最重要的经济学期刊之一《美国经济学评论》要求在该刊发表论文的作者必须提供数据和程序代码。《应用计量经济学期刊》特别欢迎对已发表在本刊的论文进行拓展研究,甚至专为复制性研究增刊。在政治学领域,哈佛大学肯尼迪政府管理学院的教授Gary King就是复制性研究的首倡者。在社会学领域,威斯康辛大学麦迪逊分校社会学系教授R. Hauser早在1987年就建议建立数据共享机制;北卡罗来纳大学社会学系Jeremy Freese则是近几年来复制性研究的积极倡导者。

  复制性研究为何重要?

  首先,学科特征呼唤复制性研究。无论是政治学、经济学还是社会学,在当代社会科学中都是一种“集体性”学术事业。从纵向的角度,任何一项研究,都是建立在前人的相关研究的结论和方法基础之上,并有待后人的检验和深化。从横向的角度,无论是问题的提出、思路的厘清,还是模型的选择和结论的形成,研究的全过程都极少处于封闭状态,研究者都会在学术圈内通过交流获益。了解一项研究成果的可信度以及对于学科的贡献度,就必须评估产生这个结论的全过程。作为研究对象的数据和程序代码,理应做到公开透明,以接受学术集体的检验,并成为学科的公共产品。

  其次,学术伦理提倡复制性研究。定量分析往往“失之毫厘,差以千里”。从事社会科学定量分析的学者都非常清楚,模型的基本设置、变量的操作化、样本删除等方面的细微差别,都有可能导致结果很大的差异。尽管我们一般都要进行稳健性分析、敏感性分析,以观察不同的模型设置、不同操作定义和不同样本方案是否会对统计结果产生大的影响,但这类分析仅仅是研究者自身的主观检验。从这个角度,定量分析中确实存在“玩弄数据”的空间,即我们不能排除研究者倾向于采用某个特定的模型设置、操作定义或样本选取方式,以导向符合自己意向的结论。学者理应主动为“第三方”校验提供方便,尽最大可能公开所用数据和代码,以避“瓜田李下”的嫌疑。

  最后,学科训练亟待复制性研究。复制性研究在学术训练上的优势主要体现在:第一,使用现有数据可省略不必要的数据搜集时间;第二,针对已发表重要文献的复制研究,可以让研究者面对原始数据,深入理解和体会前人研究中变量的选择、概念的操作化、模型的选取、样本的处理等具体方法。第三,通过复制校验,可培养研究者敏锐的学术判断力,通过比较发现自己在定量分析方法上的不足或发现前人研究中的问题。

总之,复制性研究是一项有利于学科长远发展和个人学术进步的重要工作,其学术目的不在于追问前人的研究是否可以得到100%的精确再现(尽管理论上所有定量研究都应如此),而在于在前人研究的基础上开展拓展研究。复制性研究者应认识到,校验和拓展不是为了挑刺,而应着眼于理论贡献和学科发展。

 

(作者单位:牛津大学社会学系;香港科技大学社会科学部)