我有一个大型数据集（数以万计的预测变量），我想在其上执行特征缩减，以便更好地构建预测模型。Deep Belief Networks 似乎以这样一种方式解决了这个问题，即它们产生的输出与 PCA 的输出有些相似，即一系列可用于解释数据变化的“虚拟”维度。
然而，与 PCA 不同的是，似乎每个 DBN 示例都遵循 Hinton 的原始示例，用于为前馈神经网络生成一系列起始权重。有没有理由似乎没有人使用堆叠 RBM 作为线性回归或 k 最近邻的输入？
深度信念网络（堆叠 RBMS）可以单独用作数据集生成器吗？
机器算法验证
机器学习
神经网络
深度学习
深度信念网络
2022-04-11 18:51:09
1个回答
请注意，如今使用 DBN 初始化神经网络更像是一个历史轶事。使用 dropout 正则化和分段线性激活函数的直接监督训练在存在许多标记训练示例的情况下往往效果更好。
更直接地回答您的问题：
1）使用 DBN 特征进行线性回归或逻辑回归只不过是微调网络。不同之处在于，如果您初始化神经网络，您还可以调整整个层次结构的参数。
2) KNN 已被用于神经网络之上，参见（Salakhutdinov、Ruslan 和 Geoffrey E. Hinton。“通过保留类邻域结构来学习非线性嵌入。”国际人工智能与统计会议。2007。）但是，方法更复杂，因为 DBN 针对 KNN 的使用进行了进一步的微调。
3) DBN 也被用作高斯过程的输入（Salakhutdinov、Ruslan 和 Geoffrey E. Hinton。“使用深度信念网络学习高斯过程的协方差内核。”NIPS。2007。）
4) 深度网络也被用于学习支持向量机的内核。（唐一川《使用线性支持向量机进行深度学习》）
其他方法，如 GBM 或 RF，似乎没有被考虑，因为它们不可微，因此无法微调特征提取器。
其它你可能感兴趣的问题