我试图了解在什么情况下点过程凹的对数似然函数。假设该过程可以由条件强度函数定义,并且存在对数似然函数。当对数似然函数是凹的(因此您可以可靠地找到 MLE)时,是否有一般理论或良好的参考来理解?
点过程的对数似然函数在什么情况下是凹的?
这取决于条件强度函数的参数化。(常规)点过程似然由下式给出,
使用条件强度函数(来自Daley & Vere-Jones,2002)。主要问题是它是功能性的;它是实现历史的函数。因此,需要有限或非参数化参数化来实际估计它。
一类成功的估计器假定对历史的线性形式的依赖。在神经科学界,它(不幸地)被称为 GLM,因为它在时间离散时类似于(泊松)广义线性模型。这里条件似然参数化为其中是过程的离散化有限历史,是(有限向量)参数,是(逐点)非线性函数。可以证明,当为凸对数凹时,对数似然是凹的。参见(Paninski 2004)。
- Paninski, L. (2004)。级联点过程神经编码模型的最大似然估计。网络:计算机。神经系统,15(04):243-262。
似然函数作为一种函数形式,也是一种密度。由于我们对似然的对数感兴趣,所以问题可以分为两部分:
a)密度是“对数凹的”吗?(它的对数是随机变量的凹函数吗?)
b)密度(被视为参数的函数)在感兴趣的参数中是对数凹的吗?
这种两步法的原因是,我们有许多关于密度对数凹度的既定结果(列表参见http://works.bepress.com/ted_bergstrom/31/)。
然后,当我们检查关于参数的函数形式时(例如,当参数和变量线性连接时),我们可以使用各种其他结果,这些结果提供了“继承”对数凹度的条件。本质上,这些是一般凹/凸的“继承”规则。
要将这种方法应用于@Memming 的更重要的答案,这种情况下的对数似然是
如果是对数凹的,则在其参数中是凹的,无论它可能是什么。现在,这个参数是参数向量的元素的线性组合,因此,同样根据已建立的结果,如果仅将 \ln f()视为也是凹的。但是,凹函数的总和也是凹的。
关于对数似然的另一个分量,积分,我们希望它是凸的,因此它的负数是凹的。一个充分条件是是非递减的,无论它是凹的还是凸的......我不明白的凸性如何保证积分的凸性,因为凸函数可以在其参数中减少。另一方面,如果不减小,则假设凸性似乎是多余的。
我欢迎任何关于这一点的解释。