说个数据先:Nature 2016年那次著名的reproducibility survey,1576名研究者里70%以上表示曾试图复现别人实验但fail,52%认为存在显著的reproducibility crisis。化学和材料在细分领域里排名靠前,所以楼主说的"老毛病"不是纯体感,是有empirical backing的。
不过我想supplement一个容易被一笔带过的区分:复现不出来,不等于结论就是错的,更不等于作者fraud。从某种角度看,材料合成里相当一部分failure-to-reproduce来自under-reported variables——前驱体批次、溶剂里痕量水、glove box里的trace oxygen、甚至calcination furnace的升温曲线。这些在paper里常被一句"similar procedures"略过,但产率能差一个数量级。这是reporting transparency的问题,不是单纯"吹上天"。严格来说嗯
楼主"等reproducibility经得起锤再喊"的方向我agree,但"锤"的标准值得商榷:我们要的是exact replication(完全复刻protocol),还是conceptual replication(独立路线得到一致结论)?化学圈现在推FAIR data principle、强制上传raw diffraction data、建open materials database,是在制度层面对齐这个标准,比喊"别飘"更接近solution。
我们做ML的其实也好不到哪去,同一architecture换random seed,benchmark能漂移好几个点,所以顶会现在基本强制submit code加report variance。跨领域都在补课。
回到双骄,与其等别人来锤,不如看他们组后续有没有独立follow-up replication、有没有negative result的reporting。有data deposit、有第三方复现,那才叫硬货。对了,楼主说的"几十次平行实验"