降维技术参考

机器算法验证 主成分分析 多元分析 参考 降维 多维尺度
2022-04-03 22:01:09

这是 PCA 是否适合比较面板数据子集的后续问题?.

事实证明,是的,PCA 是合适的。但是还有许多其他方法可以将 n 维数据减少到可以可视化的 1-3 维,而且我在获取可用技术集的全局视图时遇到了麻烦。例如,在这个问题这个问题中提到了几个。后一个问题与 Wikipedia 上的Nonlinear Dimensionality Reduction有链接,该链接相对全面,甚至是百科全书,用于 Wikipedia 关于技术主题的文章。但它仍然是维基百科,我想把所有东西都放在一个地方。编辑:今天也有这个问题

是否有关于降维的比较全面的参考资料?例如,我真的很想解释为什么“基于流形的”方法(例如 ISOMAP)与基于距离的方法(例如经典 MDS)不同或更好。理想情况下,它还将包括对不同距离度量的一些处理。最终,我试图掌握每种技术旨在回答的问题类型

显然,这可能是一个比我意识到的更大的主题。我知道,例如,自组织地图是一种神经网络,而神经网络在“幕后”与多维缩放完全不同。我希望存在一个参考或一组参考,不需要我知道每种方法的血淋淋的底层细节。学习所有关于统计的知识是一个漫长的过程,我还没有完全到那里(尽管我取得了很好的进展,部分归功于这个网站)。

1个回答

这是一篇将各种降维技术与 PCA 进行比较的好论文: http ://www.iai.uni-bonn.de/~jz/dimensionality_reduction_a_comparative_review.pdf

简而言之,本文涵盖了以下技术,但还有更多:

(1) 多维缩放,(2) Isomap,(3) 最大方差展开,(4) 内核 PCA,(5) 扩散图,(6) 多层自动编码器,(7) 局部线性嵌入,(8) 拉普拉斯特征图,( 9) Hessian LLE,(10) 局部切线空间分析,(11) 局部线性坐标,和 (12) 流形图

事实上,附录 A 中简要介绍了许多未涵盖的方法。

进入本文,您可以看到上述技术对其理论基础进行了一些详细的描述。表 1 比较了优化凸性、参数、计算复杂度和内存复杂度的算法。

表 4 显示了在许多示例数据集上运行的算法的结果,以及由此产生的泛化错误率。

最后,作者认为 PCA 非常有用/好。有关降维的更多信息,请参阅他的参考资料。

编辑:这是一个特定的句子,突出显示您想了解的有关 MDS 与 Isomap 的内容:

使用测地线距离执行 MDS 与执行 Isomap 相同。

奖励:我最喜欢的使用 PCA 分析的论文