重新思考统计显著性

原文towardsdatascience.com/rethinking-statistical-significance-a6150f588b9a统计显著性如今是科学探究的支柱之一但几年前我在《自然》杂志上发现的一份由 800 多名研究人员签署的请愿书让我重新思考了一些关于统计测试长期以来的观点和想法。这些观点和想法认为统计测试可能会搞砸相当一部分科学研究而不是帮助它。传统上研究结果是按照预定义的 p 值阈值分类为“显著”或“非显著”的例如 0.05、0.01 或 0.001这些是在化学和生物科学中使用的典型阈值当然与其他领域的使用不同。这种做法的第一个问题特别体现在非专家中他们简单地误解了结果非显著的结果并不否定效应的存在相反它表明缺乏对该效应的结论性证据。但除此之外还有其他更普遍的问题我将在下面讨论这些问题甚至可能影响专家尤其是在存在隐藏偏见和利益冲突的情况下尤其是在竞争激烈的科学和工程领域。对我来说正如可以在文献中的讨论中追踪到的许多其他人一样论文应该呈现的不是统计测试而是核心数据的详细和平衡的图表甚至可能是原始数据让读者从中提炼出自己的结论。近年来科学家们提出了这些和其他类似的想法争论说我们依赖于从统计显著性测试中得出的“效应 vs. 无效应”的二进制度量可能正在误导我们导致误解并且我认为这是一个关键点扭曲了科学景观。正如我在开头段落中提到的“请愿书”就是这样。它由《自然》杂志上的三位研究人员撰写的一篇评论组成揭示了 800 多名签署者对科学研究中统计显著性误解释和误用的担忧。其核心在于这种批评挑战了基于任意阈值的传统做法将结果分类为二进制结果例如常用的 p 值水平——并且不仅限于这个确切值或指标还包括任何其他水平和类型的截止值无论是 p0.01 还是 p1/10¹⁰或者是 95%或 99.99999%的置信区间……你明白我的意思……总之就是不再盲目依赖这些数字。问题的核心在于统计测试带来的“二分法”和“绝对化”思维。不仅非专业人士可能会这样认为即使是专业人士如果受到其他偏见的影响也会如此。将非显著结果解释为“无差异”或“无效应”的证据的倾向是普遍存在的但它忽略了每个统计分析中固有的细微差别可能导致错误的结论。因此人们可以轻易地忽视可能至关重要的效应仅仅因为它们没有达到一个任意的显著性阈值。例如查看这个有趣的例子可以看到结论如何取决于阈值和统计值的截断选择。行动《自然》杂志的呼吁不仅将问题聚焦还提出了一些行动建议。最激进的我无法不支持就是它主张完全放弃统计显著性的概念。相反研究人员被敦促关注“效应估计”及其相关的不确定性。而且我比他们更明确地补充说研究人员应该关注数据的透明呈现可以伴随可能的解释但不应该包含任何用公式或算法计算的“是或否”指标。也就是说科学文章应该尽可能呈现未受污染的数据在相关的文本中只讨论作者的解释。以培养使用“效应估计”的精神相同发表在《自然》杂志上的评论建议用“兼容性区间”来代替“置信区间”。这种重新表述意味着只传达与数据兼容的值范围再次避免以“效应与否”为思考方式的陷阱。再次强调目标是远离基于统计阈值的简单是与否的决策转向对现有证据的更全面考虑。注意尽管我的重点是科学文章中的数据但同样的想法可能也适用于技术报告、文档材料等。可能唯一的例外是高度标准化的协议它是标准操作程序的一部分可能要求使用特定的统计测试然而这些通常是广泛验证的并且详细说明了它们必须如何执行与在其他情况下测试是即兴进行的相反通常没有对精确实验设置、采样方案、数据集大小等进行充分规划——诚然有时这些是有限的人们对此无能为力例如在尝试对某些人群使用某些药物时。效应大小而非效应与否以及更重视原始数据建议的转向效应量而非效应与无效应的变动承认了无论其统计显著性如何发现的实际重要性并且让读者有更多“自主权”来得出结论。当然进行研究的个人有机会以书面形式表达他们的结论并附带他们需要的所有论据。但数据就是数据。关于更广泛展示数据的要点我强调在此现代计算机媒体允许出版商采用大量解决方案而这些解决方案他们尚未采用但应该采用。只需看看例如我最近展示的这些技术中的一种在网络上以视觉方式展示数据的广泛可能性网络数据可视化和分析最先进的库在这个互动媒体如此普遍且易于编码的现代时代出版物仍然停留在静态数据可视化上不包含交互式图形对我来说是不可接受的。不仅交互式图形允许通过在图表上旋转和缩放来更好地探索展示的数据它还可以允许进行数据整理甚至是在我上文链接的文章中分析的 CanvasXpress 这样的网络库中或展示本质上为 3D 的数据例如分子结构。结论虽然完全废除统计显著性的提议可能看起来很激进但它反映了人们对传统统计分析方法固有缺陷的认识日益增长。通过促进透明度、对不确定性的更深入理解甚至可以说尤其是在高度竞争的科学领域研究人员可能能够培养出更严谨、更可靠和更开放的科学讨论。《自然》评论文章的作者提出的这类范式转变的目标是通过优先考虑效应的大小而不考虑统计显著性我们可以实现更平衡、更少偏见的对研究发现的、基准的或任何其他类型比较的理解。此外背景因素如研究设计和先验知识可以在解释结果时发挥更高的作用。对这一改革的呼吁不仅超越了统计指标还涵盖了更广泛的科学报道领域。通过详细说明估计值、不确定性和避免严格的显著性阈值研究人员可以呈现一个更全面、更客观的发现描述。虽然挑战既定规范可能会引起担忧但我认为潜在的益处提高准确性、更好的结论支持、更明智的决策远远超过了风险。关键参考文献如果你想了解一个具体的例子关于结论如何依赖于统计数据上的严格截止值在成千上万的例子中你都可以找到请查看这篇有趣的文章。《自然》杂志的呼吁Amrhein, V., Greenland, S., McShane, B. (2024). 科学家们站起来反对统计显著性。www.nature.com/articles/d41586-019-00857-9www.lucianoabriata.com我会写关于我广泛兴趣范围内的所有事物自然、科学、技术、编程等。通过电子邮件订阅我的新故事订阅。关于小型工作咨询请查看我的*服务页面。你可以在这里联系我**。在这里给我打赏打赏*。