网络的力量来自具有非线性激活函数的隐藏层。所述非线性激活函数使解析解的计算变得不可能（除了一些非常特殊的情况，这些情况并不是真正有用的）。

如果您需要更令人信服的逻辑回归：具有 sigmoid 激活的单神经元网络，它没有解析解。

至于为什么没有封闭形式的解决方案，您需要了解您在示例中给出的线性回归是一个非常简单的问题，即在 'plane' 上投影 'point'。在一个神经元上使用激活函数等同于在复杂流形上投影一个点，这不会产生解析解（同样，对于一些微不足道的情况除外）。对于连续的神经元，我什至不确定是否存在几何解释。