在功效分析中确定样本后超出样本量的后果

机器算法验证 样本量 样本 统计能力 规模效应
2022-03-05 10:43:14

挑战

在我们的办公室,我参与了关于样本量及其对效应量影响的讨论——你能帮我解释一下吗?

根据

在进行功效分析时,可以确定特定设计中特定效应大小的样本大小。

问题/讨论

如果超出了先验确定的样本量(例如,功率分析中确定的样本为,但我们可以获得)会发生什么?N=100N=1000

位置 1: 大样本量会破坏/破坏效应量。当使用比功效分析中确定的更大的样本时,会出现“一切都变得重要”的危险(即使是很小的,实际上不相关的影响)。因此,我们应该依靠功效分析确定的样本。这样做,我们可以揭示“真实/相关”的影响。

或者

位置 2: 样本量的确定是指显示给定效果所需的最小样本量。大样本量是有益的,例如因为减少了测量误差。因此,可以更容易地揭示实际效果。事后效应大小计算提供有关效应相关性的信息。

或者

位置 3: 位置 1 与位置 2 取决于研究设计(例如位置 1 用于 t 检验,因为寻求“相关效应”,但位置 2 用于 CFA/SEM 以获得更稳定、可靠的结果)。

或者

位置 4: 替代解释的另一个可能位置。

1个回答

危险发生了,“一切都变得重要”(即使是很小的,实际上不相关的影响)。

这不是反对大样本量的论据,而是反对针对您的特定问题进行假设检验的直接论据。

如果您在拒绝小效应量时遇到问题,请不要使用普通的假设检验

您可能需要进行等效性检验(或者可能是非劣效性检验)。

您可能需要效果大小的区间估计(即置信区间)。

可能是你需要别的东西。

这也与位置 3 有关。如果您有“相关效应”的概念,则不应使用普通的假设检验

如果您的立场不是越强越好,请停止使用那些假设检验这不是该工作的正确工具。