去年，为了确定心理学研究实验的“可复制性”，由270名科学家组成的非营利机构“开放科学中心”（Center for Open Science）试图重现100个已发表的研究结果。而超过半数的研究结果以失败告终，即无法复制。该研究得出结论认为，超过半数的心理学实验不可复制。一时之间使得心理学领域的“复制性危机”成为了全世界范围的轰动话题。
今年3月3日，两位哈佛教授和弗吉尼亚大学的科学家称，这篇去年发表在《科学》杂志上的研究结果是错误的。哈佛大学和弗吉尼亚大学的科学家们认为，这项研究的研究方法设计糟糕，不恰当地应用和引入了错误的统计数据，因此结果严重高估了失败率。
哈佛大学和弗吉尼亚大学的科学家们经过深入调查数据后发现，“开放科学中心”犯了很严重的错误，使其得出了完全无根据的悲观结论。他们撰写批判文章，并于3月4日作为评论发表在《科学》杂志上。
复制研究与原始研究方法不同
哈佛大学心理学家丹尼尔·吉尔伯特（Daniel Gilbert）是这篇批评文章的首席作者，他在3月3日的一份声明中称，这样的结论对心理学研究有严重危害，“它导致了许多科学期刊的政策变化，导致基金捐助机构优先级的变化，也严重破坏了心理学的公众认知。”
许多复制研究的方法与原始研究有很大不同。研究人员称，这些“失真”有两个重要的后果。
首先，引入数据统计误差的方法导致“开放科学中心”明显低估了本应在偶然条件下失败的复制。如果100个原始研究结果准确无误，将统计误差考虑进去的话，统计中失败率不高于人们期待的失败率。
其次，吉尔伯特等科学家发现，低保真研究失败的可能性是高保真研究的4倍，这表明当复制器偏离了原始的方法进行研究时，他们会使自己的研究失败。
最后，“开放科学中心”使用了一个“低能量”设计。当四个研究人员应用这种设计公布高重复率的数据库时，它也会显示出低重复率，这点表明“开放科学中心”的设计从一开始就低估了心理学科学的可重复性。吉尔伯特称，这些问题足以让从事这项研究的科研人员提出质疑。
复制研究的筛选并非随机
当这些问题出现时，正如大多数阅读“开放科学中心”论文的科学家那样，吉尔伯特等人感到震惊而失望。但是当他们开始仔细研究方法并再次分析原始数据后，他们立即注意到，根源在于复制器如何选择100个原始实验。
哈佛大学定量社会科学研究所主任盖瑞·金（Gary King）说，“如果你想估计一个人口的参数，那么你必须随机从人口中提取样本或修正统计数据，而“开放科学中心”在这两点上都没有做到。”
他们并非随机选择需要复制的研究。“他们做的是创建一个特殊的、随机的抽样规则列表，该列表从样本中排除大部分心理学分支学科，排除那些在研究方法上可能是最好的一类研究，等等。”哈佛大学科学家们指出，“然后他们继续违反规则。更糟的是，他们实际上允许一些复制器选择他们想要复制的实验。所以我们首先意识到的就是，无论他们发现什么——好的或者坏的消息——他们无法估计心理学研究的再现性，而他们的论文标题却宣称可以做到。”
没有考虑到偶然性失败
“而这只是个开始。”盖瑞·金说，“如果你要重复100个实验，其中一些将会偶然性失败，这是基本的采样理论。所以你必须用统计数据来估计有多少实验预计将偶然失败，否则的话，失败率数据是没有意义的。”
根据盖瑞·金所言，“开放科学中心”做了这些工作，但犯了一个关键的错误。
“当他们做计算时，没有考虑这样的事实，即他们的重复性实验不仅仅是用来自同样人口中的新样本。这些样本往往在许多方面都不同于原初的样本，这些差异是统计误差的来源。因此，我们重新运用了正确的计算方法，然后应用到他们的数据上。你猜怎么着？他们观察到的失败的实验数量只是本应观察到的偶然性事件——即使所有100个最初实验都准确无误。与原初实验相匹配的重复性实验的失败是复制的失败，而不是原实验的失败。”
并非完全照搬原始研究
吉尔伯特指出，大多数人都会知道，复制实验就是重复原始研究。“读者肯定认为，如果一组科学家做了100个复制实验，那么他们必须使用相同的方法来研究同一群人。但是他们的研究不符合这种假设。复制当然总是会多少不同于原件，但如果你像我们一样仔细阅读他们的报告，就会发现许多重复性实验都有很惊人的差异——这些差异甚至很难令人理解他们为何能被称为复制。”
吉尔伯特举了个例子，某项原始实验是让一群斯坦福大学的白人学生观看四个斯坦福大学的学生讨论大学招生政策的视频。视频中的三人是白人，另一个是黑人。在讨论中，一名白人学生对平权法案发表了攻击性言论。
“那么他们是怎么做重复性实验的呢？用阿姆斯特丹大学的学生！”吉尔伯特说，“他们让荷兰的学生观看远在5000英里外的斯坦福大学的学生用英语讨论平权法案的视频。”换句话说，不像原始实验中的参与者，重复性实验中的参与者将观看异国学生用不同的语言讨论和他们毫无关联的事件。
根据吉尔伯特所言，这还不是方法论上最麻烦的部分。“开放科学中心”的研究者意识到在荷兰做这项实验可能会是个问题，所以他们明智地决定在美国做另外一个版本的实验来挽救局面。这一次他们选择了斯坦福大学的学生。但是吉尔伯特及其团队成员发现，这一次实验是可以复制的。但是这次实验结果却没有在“开放科学中心”的论文中得到承认。
盖瑞·金认为，“他们希望公众听到‘心理学研究不可复制’而不是‘如果正确实验，这一项心理学研究可以复制’，因为后者并不是一个让人兴奋的标题。”
“这是科学批判，不是人身攻击”
尽管在这一里程碑意义的研究中发现了严重的问题，吉尔伯特和盖瑞·金强调，他们的批评并不是坏事，而只是正常的科学调查过程中的一部分。“我们要清楚，没有一个参与这项研究的人试图欺骗任何人，他们只是犯了错误，就像科学家们有时犯的一样。许多研究人员都是我们的朋友。所以，这不是人身攻击，而是科学批判。我们都关心同样的事情：做好科学，发现真相。很高兴看到他们对我们评论的回复，‘开放科学中心’纠结于一些小问题，但在大问题上做了退让（承认了大的错误），即他们的报告并没有为消极结论提供事实证明。”
“开放科学中心”的这项研究花了4年，由270名科学家一同完成，由“开放科学中心”主任、弗吉尼亚大学心理学研究员布雷恩·诺斯克（Brian Nosek）领导。对于批评声，诺斯克称这是因为看待数据的方式不同。“批评者给出的解释是，问题在于复制方法存在问题，而我们的解释是数据存在不确定因素。”“如果你违反了科学的基本规则，你会得到错误的答案。”盖瑞·金说。
