如何从马尔可夫链状态图构造转移矩阵？

适用条件

• 马尔可夫链有有限个状态。
• 状态图显示了所有可能的转移及其概率。

理解与推导

1. 从图中识别马尔可夫链的状态。
2. 创建一个 $N \times N$ 矩阵，其中 $N$ 是状态数。
3. 对于每个状态 $i$（行）和状态 $j$（列），在图中找到从 $i$ 到 $j$ 的转移概率。
4. 用这个概率填充矩阵元素 $P_{ij}$。
5. 验证每行概率之和等于 1。

例子

对于具有状态 A 和 B 的两状态链，图显示 A->$A (0.3)$，A->$B (0.7)$，B->$A (0.4)$ 和 B->$B (0.6)$。矩阵构造为 $P = \begin{bmatrix} 0.3 & 0.7 \\ 0.4 & 0.6 \end{bmatrix}$。演讲者检查了 $0.3 + 0.7 = 1$ 和 $0.4 + 0.6 = 1$。

容易误解的地方

• 将从 $i$ 到 $j$ 的转移概率放在第 $j$ 行第 $i$ 列（转置了矩阵）。
• 忘记检查行和是否为 1，这是有效转移矩阵的必要条件。

观看对应讲解

继续追问

• 有什么简单的方法可以检查转移矩阵是否构造正确？
• 为什么视频说单元长度之和等于近似的圆的长度？