如何找到马尔可夫链的平稳分布？

从 $\pi P = \pi$ 导出的方程是线性相关的，因为转移矩阵 $P$ 的行和为 1。这意味着这些方程的和恒等于零，对于 $N$ 个状态只留下 $N-1$ 个独立约束。

适用条件：$P$ 是一个随机矩阵（行和为 1）。；$\pi$ 是概率行向量。

平稳分布是行向量 $\pi = [4/11, 7/11]$。

适用条件：转移矩阵是 $P = \begin{bmatrix} 0.3 & 0.7 \\ 0.4 & 0.6 \end{bmatrix}$。；$\pi$ 是满足 $\pi P = \pi$ 和 $\sum \pi_i = 1$ 的行向量。

平稳分布（也称为不变分布）是一个概率分布行向量 $\pi$，当它与马尔可夫链的转移矩阵 $P$ 相乘时保持不变。这意味着如果系统从该分布开始，它在所有未来的时间步都将保持在该分布中。

适用条件：$\pi$ 是一个行向量。；$P$ 是马尔可夫链的转移矩阵。；$\pi$ 的元素是非负的且总和为 1。

我们添加方程 $\pi(a)+\pi(b)=1$ 是因为 $\pi$ 是一个有效的概率分布，这意味着它的元素必须总和为 1。这提供了求解由冗余平衡方程创建的欠定系统所需的第二个独立方程。

适用条件：$\pi$ 是状态上的概率分布。；状态空间恰好有两个状态，a 和 b。

通过将 $\pi(b)=7/4 \pi(a)$ 代入 $\pi(a)+\pi(b)=1$，我们得到 $\pi(a) + 7/4 \pi(a) = 1$。合并项得到 $11/4 \pi(a) = 1$，求解 $\pi(a)$ 得到 $\pi(a) = 4/11$。

适用条件：平衡方程给出 $4\pi(b) = 7\pi(a)$，重排为 $\pi(b) = 7/4 \pi(a)$。；归一化方程是 $\pi(a) + \pi(b) = 1$。