在Sutton 和 Barto 的书第 79 页的方程 4.9 中，我们有（对于策略迭代算法）：

$\pi ^{'}(s) = arg \max_{a}\sum_{s',r}p(s',r|s,a)[r+\gamma v_{\pi}(s')]$

在哪里$\pi$是以前的政策和 $\pi ^{'}$是新政策。因此在迭代中$k$它必须意味着

$\pi _{k+1}(s) = arg \max_{a}\sum_{s',r}p(s',r|s,a)[r+\gamma v_{\pi_{k}}(s')]$

但在同一本书第 77 页给出的示例中，我们有：

现在对于标记为红色的相关状态 -

所以$v_{\pi_{1}}$= -1 对于所有四个周围状态

r = -1 对于所有四个周围状态

p(s',r|s,a) = 1 对于所有四个周围状态

$\pi _{2}(s) = arg \max_{a}[1*[-1+1*-1],1*[-1+1*-1],1*[-1+1*-1],1*[-1+1*-1]]$ $\pi _{2}(s) = arg \max_{a}(-2,-2,-2,-2)$

因此，这应该给我们一个纵横交错的符号（4个方向箭头）$\pi_{2}$(s) 但这里给出了一个左箭头符号。

我的计算出了什么问题。