2025年4月8日,預(yù)印本平臺bioRxiv發(fā)表了一項(xiàng)由巴西50多個(gè)研究團(tuán)隊(duì)參與的大規(guī)模研究復(fù)現(xiàn)性項(xiàng)目調(diào)查結(jié)果,結(jié)果令人擔(dān)憂:研究團(tuán)隊(duì)僅成功復(fù)現(xiàn)了不到一半的實(shí)驗(yàn)結(jié)果。
原文鏈接:https://www.biorxiv.org/content/10.1101/2025.04.02.645026v3
該研究由巴西里約熱內(nèi)盧聯(lián)邦大學(xué)(UFRJ)發(fā)起的巴西可重復(fù)性倡議項(xiàng)目(Brazilian Reproducibility Initiative)開展。項(xiàng)目團(tuán)隊(duì)希望通過大規(guī)模實(shí)驗(yàn),基于研究方法而非研究領(lǐng)域、重要性或引用次數(shù)來評估相關(guān)論文。
該調(diào)查項(xiàng)目涉及巴西56個(gè)實(shí)驗(yàn)室的213名研究者,他們從1998-2017年間發(fā)表的生物醫(yī)學(xué)論文中,隨機(jī)選擇了60篇使用特定方法的論文進(jìn)行復(fù)現(xiàn)嘗試。這些方法包括細(xì)胞代謝檢測、基因擴(kuò)增技術(shù)和嚙齒動物迷宮測試等。最終,研究團(tuán)隊(duì)對47個(gè)實(shí)驗(yàn)進(jìn)行了97次有效的重復(fù)實(shí)驗(yàn)。
1
調(diào)查結(jié)果
研究通過五項(xiàng)標(biāo)準(zhǔn)來評判一篇論文的可重復(fù)性,其中包括"至少半數(shù)的結(jié)果需和原研究得到方向一致的統(tǒng)計(jì)學(xué)顯著性"。最終僅有21%的實(shí)驗(yàn)?zāi)芊现辽侔霐?shù)的標(biāo)準(zhǔn)。
作者還發(fā)現(xiàn),原始研究中得到的效應(yīng)量平均比復(fù)現(xiàn)實(shí)驗(yàn)高出60%,這表明發(fā)表的結(jié)果往往會高估干預(yù)措施的效果。
此外,原始研究中的變異系數(shù)(衡量數(shù)據(jù)相對于平均值的變化程度)比復(fù)現(xiàn)實(shí)驗(yàn)低60%,這意味著原始研究的數(shù)據(jù)要“表現(xiàn)良好”得多,這可能是選擇性地報(bào)告了更有利于得出現(xiàn)有結(jié)論的結(jié)果,或者是對不一致數(shù)據(jù)的忽視。
2
專家觀點(diǎn)
盡管這一結(jié)果可能令人震驚,但與其他大規(guī)模復(fù)現(xiàn)嘗試的研究一致。例如,2011年啟動的一項(xiàng)心理學(xué)研究復(fù)現(xiàn)嘗試中,270名科學(xué)家僅成功復(fù)現(xiàn)了98篇論文中36%-47%的結(jié)果[2]。巴西圣保羅大學(xué)生物化學(xué)家Guilherme Menegon Arantes指出,復(fù)現(xiàn)失敗并不一定意味著存在錯(cuò)誤或?qū)W術(shù)不端,而可能反映了實(shí)驗(yàn)設(shè)計(jì)的局限性、實(shí)驗(yàn)記錄不完整或?qū)嶒?yàn)室間存在的差異。
巴西坎皮納斯州立大學(xué)的生物學(xué)家Marcelo Mori也指出,生命科學(xué)領(lǐng)域的實(shí)驗(yàn)復(fù)現(xiàn)尤其具有挑戰(zhàn)性,因?yàn)樯矬w(如嚙齒動物和細(xì)胞培養(yǎng))對環(huán)境變化(如溫度、飲食、微生物群或培養(yǎng)基成分)的反應(yīng)可能不同,而且試劑(如抗體)也可能存在批次差異。
盡管如此,Mori強(qiáng)調(diào),低復(fù)現(xiàn)率凸顯了我們在科學(xué)生產(chǎn)、記錄和傳播過程中存在的結(jié)構(gòu)性缺陷。他呼吁采取行動,例如開放共享數(shù)據(jù)和實(shí)驗(yàn)方案。
該研究已于4月8日發(fā)布在生物預(yù)印本服務(wù)器bioRxiv上,但尚未經(jīng)過同行評審。
本文整理自:https://www.nature.com/articles/d41586-025-01266-x
參考文獻(xiàn):
1.Amaral, O. B. et al. Preprint at bioRxiv https://doi.org/10.1101/2025.04.02.645026 (2025).
2.Open Science Collaboration. Science 349, aac4716 (2015).
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.