通常，期望是针对某个随机变量 X 进行的。通常，在处理单个随机变量时，可以隐式推断它正在集成哪个随机变量，因此写作$\mathbb{E}$就够了。但是，在处理多个随机变量时，情况不再如此。然后，下标表示期望取哪个随机变量。

但是，下标也可以表示以哪个随机变量为条件。在我看来，您所指的页面就是这种情况。这里，$\mathbb{E}_{\pi'}$意味着您正在以根据分配的动作为条件$\pi'$.

（顺便说一句：有时您可能会看到以下内容：$\mathbb{E}_{a\sim \pi'}$, 这里的下标是"$a$根据分布 $\pi'$")

如需更多技术性答案，请查看Cross Validated 上的这个问题。

从页面开始的符号部分$xix$, 下标$_{\pi}$似乎被阅读：

...根据政策$\pi$

所以$\mathbb{E}$是期望，而

$\mathbb{E_\pi}$是政策下的期望$\pi$.

我们可以计算从 1 到 10 中选择的一组随机数的期望值。如果选择该范围内的每个数字的概率都相等，我们可以简单地取加权平均值。这将等于 5.5。

但是，如果我们基于一些不相等的权重进行选择，那么非随机动作（就像政策会给我们一样），我们就会有不相等的权重。现在答案将不再是简单的平均值，而是一个偏向于更重权重的值，即更可能的选择。

在那些特定的方程式中，如果我没记错的话，作者只是将下标放在那里$\mathbb{E}_{\pi}$明确表示我们正在根据该政策开展工作$\pi$. 下标仅出现在第三行，因为该策略已从期望的条件部分（竖线之后的部分）中删除。所以我们删除了相关的政策条款：$A_t = \pi'(s)$，并通过下标表明我们正在使用该策略。