如果我用一些第一阶段估计代替一些参数,MLE 会出现什么问题?

机器算法验证 估计 最大似然 渐近的
2022-04-06 12:14:45

假设最初我正在处理对数似然函数,其中 .logL(θ1,,θm,θm+1,,θk)θjR

假设无论出于何种原因,我决定输入一些第一阶段估计以某种其他方式获得,然后最大化超过所有 , ,都是真实参数值 , ,logLθ~m+1θ~klogLθ1θmθ~m+1θ~kθ0,m+1θ0,k

我的问题是:在这种情况下,MLE 可能会出现什么问题?MLE 估计器是否具有与以前相同的渐近属性?有什么取决于的收敛速度吗?θ^1θ^mθ~m+1θ~k

1个回答

您的技术本质上是最大化条件对数似然,以完整的最大对数似然是所有这些其他参数中该条件最大值的最大值。这经常用于产生似然扫描,特别是当并且只有一个条件化参数时。的函数的最大对数似然的置信区间很有用θ~m+1,,θ~kk=m+1θ~kθk

从哲学上讲,总是有固定的条件参数——你总是可以在你的模型中添加额外的参数。每个似然函数都是条件似然函数,反之亦然;条件对数似然函数的最大化具有最大化似然函数可能期望的所有统计特性。唯一的区别本质上是非统计的,处理最大化背后的假设。例如,简化模型的合理性如何?通常你可能想知道你有一个确切的θ~k,或者有一些特定领域(非统计)的论据让它具有一定的价值。例如,在OLS(一种似然最大化)中,假设误差是对称的、高斯的,并且独立于解释变量(例如非异方差)。您总是可以为偏度、​​非高斯性和异方差性添加参数,但这通常被认为是不必要的。*

在你的情况下,你只有一个统计估计,有一些置信区间。关键问题是您的估计值是取自在似然最大化期间使用的相同数据,还是取自独立数据集。在后一种情况下,您正在执行一个非常常见的过程。传播到最终结果的一种临时程序θ~θ~从某种参数引导的置信区间内,并最大化每个样本的条件对数似然,从而产生扩展的置信区间。另一种技术是让参数在对数似然中浮动,但为其置信区间添加约束项;例如,将可能性乘以高斯 pdf,忽略不相关的常数。exp((θkθ~k)2/2σk2)

另一方面,如果您的估计是使用在似然最大化中使用的相同数据进行的,那么您的程序是一个更值得怀疑的过程。集合作为固定给定,条件对数似然最大化在统计上是有效的,但不能保证在的任何置信区间内都能很好地发挥作用。上述用于将约束项添加到似然性或对参数进行参数采样的过程是无效的,因为这些参数随后会受到同一数据集的双重惩罚。您可以扫描θ~θ~θ~θ~m+1,,θ~k,在一个覆盖合理置信区间的网格中。只有您可以确定这是否比简单地最大化整个对数似然更好/更容易。

笔记

  • 也许不是最好的例子,因为通常建议您研究 OLS 回归的诊断图/残差以检查这些事情。我能想出的更好的例子是特定领域的。