点过程的对数似然函数在什么情况下是凹的?

机器算法验证 最大似然 优化 点过程
2022-04-10 20:54:51

我试图了解在什么情况下点过程凹的对数似然函数。假设该过程可以由条件强度函数定义,并且存在对数似然函数。当对数似然函数是凹的(因此您可以可靠地找到 MLE)时,是否有一般理论或良好的参考来理解?

2个回答

这取决于条件强度函数的参数化(常规)点过程似然由下式给出,

L=[iλ(ti)]exp(λ(u)du)

使用条件强度函数(来自Daley & Vere-Jones,2002)。主要问题是它是功能性的;它是实现历史的函数。因此,需要有限或非参数化参数化来实际估计它。λ(t)

一类成功的估计器假定对历史的线性形式的依赖。在神经科学界,它(不幸地)被称为 GLM,因为它在时间离散时类似于(泊松)广义线性模型。这里条件似然参数化为其中是过程的离散化有限历史,是(有限向量)参数,是(逐点)非线性函数。可以证明,当为凸对数凹时,对数似然是凹的。参见(Paninski 2004)。λ(t)=f(hr)rhf()f

似然函数作为一种函数形式,也是一种密度。由于我们对似然的对数感兴趣,所以问题可以分为两部分:
a)密度是“对数凹的”吗?(它的对数是随机变量的凹函数吗?)
b)密度(被视为参数的函数)在感兴趣的参数中是对数凹的吗?

这种两步法的原因是,我们有许多关于密度对数凹度的既定结果(列表参见http://works.bepress.com/ted_bergstrom/31/)。

然后,当我们检查关于参数的函数形式时(例如,当参数和变量线性连接时),我们可以使用各种其他结果,这些结果提供了“继承”对数凹度的条件。本质上,这些是一般凹/凸的“继承”规则。

要将这种方法应用于@Memming 的更重要的答案,这种情况下的对数似然是

lnL=ilnλ(ti)λ(u)du

lnL=ilnf(hri)f(u)du

如果是对数凹的,则在其参数中是凹的,无论它可能是什么。现在,这个参数是参数向量的元素的线性组合,因此,同样根据已建立的结果,如果仅将 \ln f()视为也是凹的。但是,凹函数的总和也是凹的。f()lnf()hlnf()h

关于对数似然的另一个分量,积分,我们希望它是凸的,因此它的负数是凹的。一个充分条件是是非递减的,无论它是凹的还是凸的......我不明白的凸性如何保证积分的凸性,因为凸函数可以在其参数中减少。另一方面,如果不减小,则假设凸性似乎是多余的。 fff

我欢迎任何关于这一点的解释。