多重比较谬误

多重比较谬误，通常也称为α-错误膨胀，在统计上描述了通过在同一样本中进行多次测试，全局α错误概率（xxx类错误概率）的增加。 在具有固定显着性水平的数据集上测试的假设越正确，这些假设中至少有一个被（错误地）拒绝的可能性就越大。

在一项研究中，不仅经常定义零假设，而且要使用获得的数据回答几个问题。 这些可以是进一步的零假设，也可以是置信区间或估计值。

多重测试是指同时执行多个测试。在一个简单的测试问题中，考虑原假设 H 0 和反假设 H 1。 在多重检验的情况下，几个原假设 H 1 , H 2 , … , H k 与相关的反假设 K 1 , K 2 , … , K k 是考题，多题有几个题：

• 考虑的一系列假设和测试应满足特定的一致性要求。 在同时比较三个平均值时，不能拒绝原假设 μ 1 = μ 2 ，但原假设 μ 1 = μ 2 = μ 3 不能拒绝（一致性要求）。

当原假设 μ 1 = μ 2 = μ 3 在三个均值的同时比较中被拒绝时，很难解释值 ，但同时三个原假设 μ 1 = μ 2 不能被拒绝（谐和要求）。

• I 类错误的概念必须推广到多项测试。
• α-误差的膨胀：对于 k独立测试，具有简单的零假设，其所需的显着性水平 α l o k a l 已用尽，并且对于其中如果原假设为真，则至少有一个检验拒绝原假设的概率（即累积 alpha 风险）为 1 − ( 1 − α l o k a l ) k（使用相应的相反概率计算）。 累积 alpha 风险随着测试次数的增加而增加。 在多个测试问题的情况下，在局部 α 水平（仅涉及单个假设）和全局 α 水平（针对整个假设族）之间进行区分。 有几种方法可以拟合（调整）局部 α 水平。 因此，在 Bonferroni 校正中，全局 α 水平除以测试次数得到局部 α 水平。 这相应地降低了 alpha 风险： 1 − ( 1 − α g l o b a l k ) k 。 更准确地说，将应用 Šidák 校正，并且对于每个零假设，将根据以下公式在全局水平的基础上调整局部 α：α l o k a l = 1 − ( 1 − α g l o b a l ) 1 / k 其中 k= 单个假设的数量。 还有其他调整方法。

存在不同类型的多重检验，它们在原假设的表述上有所不同。

有时，一个多重检验问题可能会发现假设的符号不同，与上面的符号相比，这很容易导致恼火。 k 备选假设然后用 H 1 , H 2 , … , H k 和 H 0 表示同时否定所有替代假设 H 1 , H 2 , … , H k。 在这样定义的多重检验中，如果所有 H i都为假，则 H 0 为真，而 H 0 为如果假设 H i 至少有一个是正确的，则为假。

但是如何抵消或纠正这种 α 误差膨胀呢？

Bonferroni 校正是调整多个 α 水平的最简单和最保守的方法。 全局 α 水平在各个测试中平均分配：

P ( H i 被拒绝，尽管 H i 是正确的 ) ≤ α k 对于 i = 1 , … , k ,

因此，每个单独的测试都是在水平 α / k下进行的。由此可以得出使用 Bonferroni 不等式，不等式

P ( 至少有一个 H i 被拒绝，尽管所有 H i 都是正确的 ) ≤ α {\displaystyle P

因此，局部水平 α / k 导致全局水平 α 。非常保守的 Bonferroni 校正方法的缺点是结果是非常必须的被认为具有统计显着性的低 p 值。 Bonferroni-Holm 程序等进一步的发展试图避免这种情况。

Bonferroni-Holm 程序是 Bonferroni 校正的扩展，这里使用以下算法：

• 确定全局 α 水平 α g l o b a l
• 执行所有单独的测试并确定 p 值
• 将p值从小到大排序
• 计算局部 α 水平作为全局 α 水平与测试数量的比率 - i，其中： i = 1 , … , k
• 将 p 值与计算出的排序局部 α 水平进行比较，并重复此步骤，直到 p 值大于相应的 α i值。
• 拒绝所有 p 小于局部 α 值的零假设（意思是：效果显着，假设备择假设是正确的）。 该过程以 p 大于局部 α 水平的原假设结束。 不拒绝以下所有原假设（低于全局 α 水平）。

Bonferroni-Holm 过程不如 Bonferroni 校正保守。 只有xxx个测试需要在 Bonferroni 校正所需的水平上具有统计显着性，之后所需的水平稳步下降。 然而，与 Bonferroni 校正一样，此过程也有一个缺点，即未使用测试统计数据之间的任何逻辑和随机依赖性。

如果单个测试是随机独立的，或者如果测试统计总体上遵循多元正态分布并且单个测试统计的拒绝范围与各自的期望值对称，则可以应用 Šidák 校正。 每个测试的显着性水平如下

α i = 1 − ( 1 − α g l o b a l ) 1 / k 对于 i = 1 , … , k

设置为保证全局水平 α g l o b a l  。

除了所描述的调整之外，还有其他适应全局 α 水平的选项。