机器算法验证 - 线性回归中的约束优化算法 - 吾爱随笔录

线性回归中的约束优化算法

机器算法验证自习优化线性模型正则化

2022-03-21 20:32:28

我对线性回归中的以下约束参数估计感兴趣，

min_{β} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2} + λ \sum_{j}^{p} f (β_{j})

$\min_\beta\sum_{i=1}^{n}(y_i-x_i\beta)^2 + \lambda \sum_{j}^{p}f(\beta_j)$ 其中模型是，并且是惩罚函数。从最小化问题可以看出，导致套索问题有一些成熟的算法，例如 LARS。我记得在一次会议上，有人谈到使用 lars 表示的一般形式。所以我的问题是关于我可以实现（希望在 R 中）以获得最小化问题的解决方案的最有效算法。

y = x β + e

$y=x\beta+e$

e_{i} \sim i . i . d . N (0, σ^{2})

$e_i\sim i.i.d. N(0,\sigma^2)$

f

$f$

f (β) = | β |

$f(\beta)=|\beta|$

f

$f$

1个回答

Zou 和 Li在非凹惩罚似然模型中的一步稀疏估计中描述的所谓局部线性逼近(LLA) 算法的某些凹选择的优化问题。具体来说，对于和一个凹函数，它在上是可微的。 $f$

f (s) = p (| s |)

$f(s) = p(|s|)$

p : [0, \infty) \to [0, \infty)

$p : [0,\infty) \to [0,\infty)$

(0, \infty)

$(0,\infty)$

该算法通过迭代求解加权惩罚优化问题来工作。在迭代中，解为每次迭代都可以使用例如R或其他计算套索解决方案并允许权重的标准实现来解决。 $\ell_1$ $k+1$

\arg min \sum_{i = 1}^{n} (y_{i} - x_{i}^{T} β)^{2} + λ \sum_{j = 1}^{p} p^{'} (| β_{j}^{(k)} |) | β_{j} | .

$\arg \min \sum_{i=1}^n (y_i - x_i^T \beta)^2 + \lambda \sum_{j=1}^p p'(|\beta_j^{(k)}|) |\beta_j|.$ glmnetlars

该算法是一种 MM 算法（实际上在某些情况下可以解释为 EM 算法），并且在论文中表明它具有下降属性。给出了精确的收敛结果。

顺便说一句，该论文确实提倡一步估计器，其中算法的一步仅取自 OLS 解决方案。这在计算上更便宜，但在统计上与运行算法直到收敛一样有效。

其它你可能感兴趣的问题

上一篇是否应该使用留一法进行标准化？下一篇一致性相关性和类内相关性有什么区别？