我有成千上万的受试者,我对每个受试者都有一个拟合的伽马分布,参数是根据每个受试者的数据估计的。很容易查看一个主题的分布(比如 qq-plots 等),以了解拟合的好坏。但是我怎样才能大规模地为所有科目做到这一点呢?
如何评估数千个分布的拟合度?
我会建议使用有代表性的地块。拉出 16 或 20 个主题,并在 4x4 或 4x5 图表中显示他们的 QQ 图。有时,您可以在同一个情节中绘制多个主题。这并不能替代其他表示拟合的方式,但另一方面,我认为您也不能避免这一步。它在面板(纵向)数据分析中被大量使用。你真的需要看看有代表性的情节。
参见本书中的图 12-1.3 。这不是分布,而是相同的想法:显示主题的样本图。
当然,您可以花哨并绘制 3d 图或等高线图,其中 x 轴是主题,但有时很难直观地分析这些图。不过,它们可能会揭示重要的模式。
更新您还可以显示 Kolmogorov-Smirnov 统计的直方图。确实,计算临界值的成本很高,但统计数据本身很容易计算。因此,您可以获得每个主题的 KS-stat,并显示获得值的直方图。这将为您提供一个很好的视觉提示,以了解伽马分布的总体拟合方式。这几乎就像自举。
我希望您能正确理解您的情况和问题。考虑到您的数据集的分布数量,在这种情况下,视觉探索方法(例如您提到的 QQ 图)是不可行的。因此,您必须求助于分析方法,例如拟合优度 (GoF)测试,正如上面评论中已经提到的那样。
由于您已告知分布参数是根据数据估计的,因此我假设您已经使用或计划使用其中一种分布拟合方法。最流行的拟合方法之一(与最小二乘法一起,在较小程度上)是最大似然估计 (MLE),它通常很容易执行,例如,使用fitdistr()packageR中的函数MASS。但是,根据您的特定数据,拟合 viafitdistr() 可能不是那么简单。有些人更喜欢R包fitdistrplus,因为他们认为它更先进或更有用。
在这个简单的步骤之后,您需要验证估计结果,对连续数据使用以下一项或多项GoF 测试(考虑它们的优缺点):卡方(通过 binning)、Kolmogorov-Smirnov(通过校正表值或蒙特卡洛模拟,我在这里列出只是为了完整性,因为你试图避免这种情况)、Anderson-Darling、Lilliefors、Cramér–von Mises 和 Watson。在性能方面,问题被简化为执行相对大量的非参数 GoF 测试,恕我直言,这可以通过在更强大的硬件上进行(即租用 Amazon EC2虚拟实例),或通过并行化代码。
回到你问题的本质,我对可能方法的想法是通过引导(类似于这个优秀答案中提出的方法)或某种平均方法来聚合结果,类似于集成方法(例如,看看在这篇研究论文中)。