网络宽度小于输出大小?

数据挖掘 机器学习 神经网络 深度学习 喀拉斯 lstm
2022-03-02 21:58:21

我想弄清楚网络的宽度可能小于输入/输出大小是否有意义?

例如,我给神经网络 2048 个数字,我期待 2048 个数字返回。我还想使用 LSTM,它需要大量的时间/空间等来训练,并且将一个或几个 2048 或更大的 LSTM 层连接到 Dense 层将需要大量的空间/时间来训练。但也许这就是要走的路?

有没有人有过这类问题的经验?谢谢!

1个回答

在像一维空间这样的高维空间中,你必须使用一个非常简单的网络,可能只是一个神经元,并调查你的数据在那个无法可视化的特征空间中是否是线性可分的。如果您观察到您的性能不佳,您可以逐步增加网络的大小或层数。你可以概括一下我刚才提到的其他网络,比如 RNN。

我提到的意思是你的数据可能是一种可分离的方式,尽管它在 1000 维空间中,你只需要一个神经元来对其进行分类。