我正在阅读 Sutton 和 Barto 的“强化学习 - 简介”。

在页。59、状态值函数有贝尔曼方程

$\begin{array}{ll} v_{\pi}(s) &= \mathbb{E}_{\pi}[G_t|S_t=s] \\&= \mathbb{E}_{\pi}[R_{t+1} + \gamma G_{t+1}|S_t=s] \\&= \sum\limits_{a} \pi(a|s) \sum\limits_{s'} \sum\limits_{r} p(s^{'},r|s,a) \left[ r + \gamma \mathbb{E}_{\pi}[G_{t+1}|S_{t+1}=s'] \right] \end{array}$

我不明白为什么期望值在最后一个表达式中幸存下来。期望值的定义是$\mathbb{E}[X] = \sum\limits x \cdot p(x)$， 不是$\mathbb{E}[X] = \sum\limits \mathbb{E}[x] \cdot p(x)$

我不知道我的问题是否清楚。在定义的最后一个方程中$v_{\pi}(s)$, 我不会把期望值放在里面