您会选择哪个 NN 来估计连续函数F:R2→ Rf:R2→R?

人工智能 神经网络 目标函数 激活函数 回归
2021-11-02 10:10:22

假设我们要估计一个连续函数f:R2R基于使用 NN 的样本(大约 1000 个示例)。这个函数是无界的。你会选择哪种架构?多少层/神经元?哪些激活函数?哪个损失函数?

直观地说,我会选择一个隐藏层,两个神经元,L2损失,也许是输出的 Bent 标识和隐藏层中的 sigmoid?

做一些比这更“花哨”的事情有什么好处?

您是否还会选择使用 NN 来完成这项工作,或者您是否会考虑使用回归 SVM 或其他东西(知道精度是目标)?

1个回答

这取决于您的问题的复杂性。R2R1看起来很简单,但我可以给你一些需要深度网络的废话复杂的例子。因此,问题的复杂性决定了层数和神经元的数量。问题的类型将决定您的网络架构(是否需要内存)。在大多数情况下,均方误差是可以的。但是,对于激活函数,我会选择 ReLU。

如果 SVM 足以解决您的问题,请继续使用它。您的问题是一般性的,准确的答案需要有关该问题的更多信息。