定义 令步返回状态的概率，令。状态是周期性的，周期 iff$p_{ii}^{(n)}$$i$$n$$t\in\{2, 3\dots\}$$i$$t$

• $p_{ii}^{(n)} = 0$对于$n \neq t, 2t, \dots$
• $p_{ii}^{(n)} \neq 0$ for$n = t, 2t, \dots$

如果我们找不到这样的，则称该状态是非周期性的。$t$

解决方案 在您的情况下，绘制矩阵的转换图会很有用。您可以看到，如果链从开始，则可以在步骤处返回到。由于我们无法找到满足定义是非周期性状态。$c$$c$$2, 3, 4, 5, \dots$$t$$c$

╔═════╦═════╗
║  n  ║  p  ║
╠═════╬═════╣
║ 1   ║ 0   ║
║ 2   ║ >0  ║
║ 3   ║ >0  ║
║ ... ║ ... ║
╚═════╩═════╝

在一个irreducible chain所有状态都属于一个single communicating class。周期性是一个类属性。这意味着，如果不可约马尔可夫链中的一个状态是aperiodic，那么所有剩余状态也是非周期性的。由于，根据周期性的定义，状态是非周期性的。由于给定的马尔可夫链是不可约的，马尔可夫链的其余状态也是非周期性的。$p_{aa}^{(1)}>0$a

我们还可以观察到，two-step transition probability matrix(TPM)给定链的

$$\begin{equation*} P^{(2)}=\left( \begin{array}{ccc} 0.5& 0.25& 0.25\\ 0.5& 0.25& 0.25\\ 0.5& 0.25& 0.25\\ \end{array}\right) \end{equation*}$$ 请注意，所有元素$P^{(2)}$是积极的。这确保了，$P^{(3)}>0, P^{(4)}>0$等等。时代最大公约数$2,3,4,\cdots$是。因此，根据周期性的定义，每个状态的周期都是非周期性的。$1$

对于不可约马尔可夫链，

非周期性：当从某个状态 i 开始时，我们不知道在某个转换之后何时会回到相同的状态 i。我们可能会在 1,2,3,4,5.. 等过渡次数后看到状态 i。

Periodic：当我们可以肯定地说我们可以在某些转换之后返回到状态 i 时。如果在 2,4,6,8...等的转换步骤之后可以达到状态。那么它的周期为2。

对于您的示例，如果您绘制转换图，您可以看到在不同的转换（1,2,3,4）之后可能到达每个状态，这意味着状态没有周期或状态是非周期的。

这个链接也很好地理解了马尔可夫链的周期性。

对于任何状态，我们都找到可能的否。我们可以返回到相同状态的步骤。如果这些号码的gcd。=1 那么状态是非周期性的。如果 gcd 不等于 1（比如 'd'），则 period 等于 'd'。

对于自循环状态，可以以 1、2、3、4........ 步骤返回状态。Gcd = 1。所以状态肯定是非周期性的。

对于非自循环状态，我们发现可能没有。步骤，然后找到可能为 1 的 gcd。这使得状态非周期性。这里状态 3 是非自循环，但可以在 gcd =1 的 2、3、4、5 ......步骤中返回。所以状态是非周期性的。