正交参数化

机器算法验证 多元分析 信息几何
2022-03-19 06:59:22

一般来说,为什么正交参数是有用的,为什么值得尝试找到一个使参数正交的新参数化?

我看过一些教科书的例子,不是很多,并且会对更具体的例子和/或动机感兴趣。

2个回答

在最大似然中,当您可以实现多参数似然函数的清晰分解时,使用术语正交参数。假设您的数据有两个参数θλ. 如果你可以重写联合似然:

L(θ,λ)=L1(θ)L2(λ)

然后我们打电话θλ 正交参数明显的情况是当您具有独立性时,但这对于定义来说不是必需的,只要可以实现分解即可。正交参数是可取的,因为如果θ很有趣,那么您可以使用L1.

当我们没有正交参数时,我们尝试找到像这样的分解

L(θ,λ)=L1(θ)L2(θ,λ)

并使用执行推理L1. 在这种情况下,我们必须争辩说,由于排除导致的信息丢失L2低。这就引出了边际可能性的概念。

这是一个很好的问题,如果没有详细说明的话。

简而言之,获得正交参数化允许感兴趣的参数方便地与其他参数相关联,特别是在建立所需的最小化时。这是否有用取决于您尝试做什么(例如,在某些物理问题的情况下,正交参数化可能会掩盖感兴趣的对称性)。

在统计推断的情况下,正交参数化可以通过正交参数的最小化(或其对偶)来允许使用统计数据。例如,Cox 和 Reid使用干扰参数的正交性(以及它们适当应用的最大似然估计)来构建感兴趣参数的似然比统计量的概括。

要了解正交性如何实现这一点,需要了解常用数学空间的属性和估计量的构造,这本质上是信息几何的问题。有关正交性及其在统计推断中的作用的清晰但技术性描述,请参阅信息几何、贝叶斯推理、理想估计和误差分解。