我正在研究一个贝叶斯回归问题,我想估计受此约束(惩罚)的 beta 系数:
或类似的
这基本上是套索或 L2 惩罚。
现在,如果我理解正确,我们通过贝叶斯分析中的先验来约束系数。因此,我的问题是 Beta 的合适先验是什么?我应该注意,就我而言,贝塔被限制为正数,不能为负数。
我正在研究一个贝叶斯回归问题,我想估计受此约束(惩罚)的 beta 系数:
或类似的
这基本上是套索或 L2 惩罚。
现在,如果我理解正确,我们通过贝叶斯分析中的先验来约束系数。因此,我的问题是 Beta 的合适先验是什么?我应该注意,就我而言,贝塔被限制为正数,不能为负数。
L2 惩罚惩罚 beta 平方和,但不是通过诸如之类的约束。L1 惩罚是套索。对于贝叶斯套索,请参阅 Trevor Park 和 George Cassella 于2008 年发表的 JASA 论文。
对于套索惩罚,这对应于双指数先验 - 只要您将后验模式作为您的估计。如果您将 beta 约束为正,那么您有一个指数先验。指数分布有对应关系,因为您可以选择每个值以达到相同的最大值。贝叶斯先验是约束的朗朗日形式(对数尺度)。对于将参数限制为正的岭惩罚只是截断的正态分布。
对系数的约束是 Tikhonov 正则化。
事实证明,对于先验是多元正态且模型是线性的情况,后验也是多元正态的。事实证明,后验分布的均值出现在参数空间中的一个点,该点也可以通过 Tikhonov 正则化获得,并且 Tikhonov 正则化参数与等效多元正态先验之间的关系非常简单。
这是可以在 Tarantola 的教科书以及其他地方找到的教科书材料。
当拟合的模型是非线性的,或者对参数有额外的约束(例如你的非负性约束),或者先验不是 MVN 时,这一切都变得更加复杂,这种简单的等价性就会失效。
如果您希望您的 s 是非负的并且总和为给定值,那么似乎先验比例的 Dirichlet 是有意义的。