数据挖掘 - Sutton 和 Barto 中的矩阵表示法 - 吾爱随笔录

数据挖掘机器学习强化学习矩阵

2022-02-27 04:17:26

在第页。在 Barto 和 Sutton 的Reinforcement Learning的 206 中，关于标量积的结果有一个奇怪的说法：

正如我所解释的那样，A 是两个d维向量的标量积的期望：应该是标量，对吗？那么他们如何从中获得dxd矩阵呢？它是标量矩阵的简写吗（与重复系数成对角线，即这个标量积）？

1个回答

在 Sutton & Barto 中，向量默认被视为列向量。所以如果你有这种产品：

a b^{T}

$\mathbf{a}\mathbf{b}^T$

其中和是维向量，它不计算标量积。相反，它将两个向量都视为矩阵并计算矩阵乘积，这将是一个矩阵，因为您将一个矩阵乘以一个矩阵。 $\mathbf{a}$ $\mathbf{b}$ $d$ $d \times d$ $d \times 1$ $1 \times d$

值得注意的是，如果遵循相同的矩阵乘法规则但将第一个向量转置 $1 \times 1$

a^{T} b

$\mathbf{a}^T\mathbf{b}$

这导致将1 × d矩阵矩阵。这就是为什么值函数近似可以写成（假设矩阵在符号方面与标量值相同，这是一个小小的自由）。 $1 \times d$ $d \times 1$ $\mathbf{w}^T\mathbf{x}_t$ $1 \times 1$

其它你可能感兴趣的问题