考虑一个简单的ANN：

$$x \rightarrow f=(U_{m\times n}x^T)^T \rightarrow g = g(f) \rightarrow h = (V_{p \times m}g^T)^T \rightarrow L = L(h,y)$$

在哪里$x\in\mathbb{R}^n$,$U$和$V$是矩阵，$g$是逐点的 sigmoid 函数，$L$通过比较输出返回一个表示损失的实数$h$有目标$y$, 最后$\rightarrow$表示数据流。

最小化$L$超过$U$和$V$使用梯度下降，我们需要知道$\frac{\partial L}{\partial U_{ij}}$和$\frac{\partial L}{\partial V_{ij}}$，我知道有两种方法可以做到这一点：

1. 明智地进行微分，并且很难弄清楚如何对其进行矢量化
2. 展平$U$和$V$成一个行向量，并使用多元微积分（取一个向量，产生一个向量）进行微分

出于教程或说明的目的，以上两种方法可能就足够了，但是如果你真的想在现实世界中手动实现反向支持，你会用什么数学来做导数？我的意思是，meth 中是否有一个分支或方法可以教你如何对矩阵的向量值函数求导？