普通的自动编码器架构(不是变分自动编码器、堆叠去噪自动编码器等)似乎只有三层:输入、隐藏/代码和输出/重建。有没有使用由多个隐藏层组成的架构的论文示例?如果不是,那么在自动编码器中仅使用一个隐藏层的理论依据是什么?
自编码器的架构
机器算法验证
自动编码器
2022-03-27 15:20:55
1个回答
有没有使用由多个隐藏层组成的架构的论文示例?
是的,例如寻找“深度自动编码器”又名“堆叠自动编码器”,例如 {1}:
Hugo Larochelle 上有视频:神经网络 [7.6]:深度学习 - 深度自动编码器
Geoffrey Hinton 也有一个视频:Lecture 15.2 — Deep autoencoders [Neural Networks for Machine Learning]
不使用预训练的深度自动编码器示例: http ://ufldl.stanford.edu/wiki/index.php/Stacked_Autoencoders
为堆叠式自动编码器获得良好参数的一个好方法是使用贪心逐层训练。
例如,{2} 使用具有贪心逐层训练的堆叠自动编码器。
请注意,可以使用比前馈全连接神经网络更高级的自动编码器,例如 {3}。
参考:
- {1} Hinton、Geoffrey E. 和 Ruslan R. Salakhutdinov。“用神经网络降低数据的维数。” 科学 313,没有。5786 (2006): 504-507。https://scholar.google.com/scholar?hl=en&q=Reducing+the+Dimensionality+of+Data+with+Neural+Networks&btnG=&as_sdt=1%2C22&as_sdtp= ; https://www.cs.toronto.edu/~hinton/science.pdf(~5k引用)
- {2} Heydarzadeh、Mehrdad、Mehrdad Nourani 和 Sarah Ostadabbas。“使用深度自动编码器进行床内姿势分类。” 在医学和生物学工程学会 (EMBC) 中,2016 年 IEEE 第 38 届年度国际会议,第 3839-3842 页。IEEE,2016。https ://scholar.google.com/scholar?cluster=16153787462804186587&hl=en&as_sdt =0,22
- {3} Aaron van den Oord、Nal Kalchbrenner、Oriol Vinyals、Lasse Espeholt、Alex Graves、Koray Kavukcuoglu。使用 PixelCNN 解码器生成条件图像。NIPS 2016。https ://arxiv.org/abs/1606.05328;http://papers.nips.cc/paper/6527-tree-structured-reinforcement-learning-for-sequential-object-localization.pdf
其它你可能感兴趣的问题
