什么是稀疏回归模型

机器算法验证 回归 时间序列 参考 特征选择
2022-03-31 20:58:07

我正在学习稀疏回归的概念并面临术语方面的初步障碍。

稀疏回归模型解释了稀疏的定义。当样本数n小于信号维度p然后我们说它是稀疏回归模型。

  1. 对于一个模型,xt=a1xt1+a2xt2+whitegaussiannoise, 参数(a1,a2)不随时间而变化n=t样本我们只得到两个参数。那么,报纸怎么这么说ARn×p? 这是什么意思?A是系数向量而不是矩阵。然后做什么Rn×p意思是?

  2. 我所理解的是,零系数的数量更多,但如果是这样,那么是否有一个上限表明信号是稀疏的?

  3. 我正在寻找可以找到如此稀疏的 AR 和 MA 模型的参考。有人可以指出一个链接或帮助创建这样一个模型吗?

谢谢

2个回答

我正在使用稀疏回归进行一个研究项目,到目前为止我学到和理解的是A是输入矩阵,使得ARn×p在哪里n是样本数,并且p是特征的数量。

您正在尝试找到一组最佳投影向量xiRp这主要是零,很少有非零条目,因此非零条目的比率数和p是你的稀疏参数(通常s) 乘以输入矩阵时的此类向量A将丢弃大部分输入特征,并产生投影pi=Axi这样,piRn

我在做什么(不确定这是否是标准),是我找到另一个向量β使用投影向量拟合回归模型pi较早发现,因此y^=β0+iβipi

我希望这有帮助

我自己一直在寻找这个问题的答案,并一直在这个线程上结束。我想解决您的问题 #2,以防您仍然感兴趣或其他人偶然发现这篇文章。

我认为您对稀疏回归的理解是错误的。我相信稀疏回归是惩罚大型模型并因此执行变量选择的任何回归的总称。例如 LASSO、岭回归或稀疏主成分分析(依赖于 LASSO)。

“稀疏”是指参数向量的维数已经降低。这和稀疏数据不一样!以下是维也纳科技大学研究人员的引述:

“'sparse' 表达式不应与包含许多零条目的稀疏数据技术混淆。这里,稀疏性是指估计的参数向量,它被迫包含许多零。” http://www.statistik.tuwien.ac.at/public/filz/papers/2011JChem.pdf