在批量归一化中，样本均值和标准差是通过放入网络的原始数据的均值/标准差进行归一化的，还是我们当前正在处理的层中的输入的均值/标准差？

例如，假设我的小批量大小为 2，其中包含$\textbf{x}_1, \textbf{x}_2$. 假设现在我们在$k$th 层和前一层的输出是$\tilde{\textbf{x}}_1,\tilde{\textbf{x}}_2$. 当我们在这一层执行批量规范时，将减去样本均值$\textbf{x}_1, \textbf{x}_2$或$\tilde{\textbf{x}}_1,\tilde{\textbf{x}}_2$?

我的直觉告诉我，它一定是$\tilde{\textbf{x}}_1,\tilde{\textbf{x}}_2$否则我认为它不会被标准化为 0 均值和 1 的标准差。