自编码器的架构

机器算法验证 自动编码器
2022-03-27 15:20:55

普通的自动编码器架构(不是变分自动编码器、堆叠去噪自动编码器等)似乎只有三层:输入、隐藏/代码和输出/重建。有没有使用由多个隐藏层组成的架构的论文示例?如果不是,那么在自动编码器中仅使用一个隐藏层的理论依据是什么?

1个回答

有没有使用由多个隐藏层组成的架构的论文示例?

是的,例如寻找“深度自动编码器”又名“堆叠自动编码器”,例如 {1}:

在此处输入图像描述

Hugo Larochelle 上有视频:神经网络 [7.6]:深度学习 - 深度自动编码器

Geoffrey Hinton 也有一个视频:Lecture 15.2 — Deep autoencoders [Neural Networks for Machine Learning]


不使用预训练的深度自动编码器示例: http ://ufldl.stanford.edu/wiki/index.php/Stacked_Autoencoders

为堆叠式自动编码器获得良好参数的一个好方法是使用贪心逐层训练。

例如,{2} 使用具有贪心逐层训练的堆叠自动编码器。

请注意,可以使用比前馈全连接神经网络更高级的自动编码器,例如 {3}。


参考: