[CS 70] 马尔可夫链——求平稳分布

1. 公式
   观察依据

   黑板上显示手写的方程$\pi_n = \pi_0 P^n$。

2. 声音
   观察依据

   主讲人说：“如我们之前所见，πₙ 等于 π₀ 乘以 p 的 n 次方。”

$\pi_n$

时间步$n$处的概率分布行向量。

马尔可夫链各状态上的概率行向量。

1. 公式
   观察依据

   黑板上显示 $\pi_0$ 在方程中 $\pi_n = \pi_0 P^n$。

2. 声音
   观察依据

   主讲人称其为“π₀”。

$\pi_0$

时间步0处的初始概率分布行向量。

马尔可夫链各状态上的概率行向量。

1. 公式
   观察依据

   黑板上显示 $P$ 在方程中 $\pi_n = \pi_0 P^n$。

2. 声音
   观察依据

   主讲人称其为“p 的 n 次方”，随后又称其为“转移矩阵”。

$P$

该马尔可夫链的转移矩阵。

一个每行元素之和为1的方阵。

1. 公式
   观察依据

   黑板上显示 $P^n$ 在方程中 $\pi_n = \pi_0 P^n$。

2. 声音
   观察依据

   说话人说“p 的 n 次方”。

$P^n$

转移矩阵的 $n$次幂 $P$，表示在恰好 $n$ 步骤。

一个每行元素之和为1的方阵。

1. 公式
   观察依据

   黑板上显示方程$\pi P = \pi$。

2. 声音
   观察依据

   说话人说：“当行向量 pi 乘以这个 p 后不发生变化……pi 乘以 p 等于 pi。”

$\pi$

一个平稳分布（或不变分布），即一个概率分布行向量，它在乘以转移矩阵后保持不变。

马尔可夫链各状态上的概率行向量。

1. 图示
   观察依据

   黑板上画了一个标有‘A’的圆圈，代表马尔可夫链中的一个状态。

2. 声音
   观察依据

   说话人说：“有两个状态 A 和 B。”

$A$

示例马尔可夫链中的两个状态之一。

马尔可夫链的状态空间。

1. 图示
   观察依据

   黑板上画了一个标有“B”的圆圈，代表马尔可夫链中的一个状态。

2. 声音
   观察依据

   说话人说：“有两个状态 A 和 B。”

$B$

该示例马尔可夫链中另外那个状态。

马尔可夫链的状态空间。

1. 公式
   观察依据

   $P = [[0.3, 0.7], [0.4, 0.6]]$

P

一个具有状态 A 和 B 的二状态马尔可夫链的转移概率矩阵。

2行2列的实数矩阵

1. 图示
   观察依据

   转移图中标签为 'A' 的状态节点。

2. 公式
   观察依据

   矩阵 P 中的行标签 'A'。

A

马尔可夫链中的两个状态之一。

离散状态空间中的元素

1. 图示
   观察依据

   转移图中标签为 'B' 的状态节点。

2. 公式
   观察依据

   矩阵 P 中的列标签 'B'。

B

马尔可夫链中的另一个状态。

离散状态空间中的元素

1. 公式
   观察依据

   π 等于 $π(a)$ 与 $π(b)$ 组成的区间

2. 声音
   观察依据

   令我们的 π 等于行向量 πa 和 πb

π

表示状态 A 与 B 上平稳分布的行向量。

$1\times 2$ 实数行向量

1. 公式
   观察依据

   $π(a)$ 作为向量 π 的第一个分量出现。

$π(a)$

处于状态 A 的平稳概率。

实数（概率）

1. 公式
   观察依据

   黑板上显示了方程$\pi P = \pi$。

2. 声音
   观察依据

   说话人说：“当行向量 pi 与这个 p 相乘后保持不变时，存在一种特殊情况……我们称 pi 为平稳分布；换言之，也称其为不变分布。”

平稳分布（又称不变分布）是一个概率分布行向量$\pi$，它在与马尔可夫链的转移矩阵$P$相乘后保持不变。这意味着：若系统初始处于该分布，则它在所有未来的时刻都将保持在此分布中。

1. $\pi$是一个行向量。

2. $P$是该马尔可夫链的转移矩阵。

3. $\pi$的元素均为非负数，且总和为1。

1. $\pi$
2. $P$

1. 声音
   观察依据

   说话人说：“为求得这样的分布，我们通常只需解这个线性方程组：pi P 等于 pi。”

要求马尔可夫链的平稳分布，需解由$\pi P = \pi$给出的线性方程组，并满足$\pi$中各概率之和为1这一约束条件。

1. $P$是该马尔可夫链的转移矩阵。

1. 平稳分布

1. 公式
   观察依据

   πP 等于 π

2. 声音
   观察依据

   求解方程 πP 等于 π

马尔可夫链的平稳分布 π 满足线性方程组 $πP = π$，其中 π 是一个概率行向量。

1. π 是一个行向量

2. P 是转移矩阵

1. 声音
   观察依据

   是一加零点四，加上零点六也是一。

1. 句子开头被截断；它很可能指的是第一行的和 $0.3 + 0.7 = 1$。

一个有效的转移概率矩阵的每一行之和必须为 1，以确保从任一状态出发，转移到所有可能下一状态的总概率为 1。

1. P 是一个随机矩阵

1. 公式
   观察依据

   黑板上明确写出 $πP = π$。

2. 声音
   观察依据

   主讲人表示将擦除马尔可夫链图示以腾出更多空间，表明当前展示的设定是求解平稳分布的起点。

对于这个两状态链，平稳分布 π 由不动点方程 $πP = π$ 定义，其中 P 是转移矩阵。视频中利用该方程推导出按分量成立的平衡关系。

1. π 是一个行向量。

2. P 是该马尔可夫链的转移矩阵。

1. 声音
   观察依据

   主讲人说：‘我们知道它是一个有效的概率分布，因此其各分量之和必须为一。’

2. 公式
   观察依据

   他写出 $π(a) + π(b) = 1$。

由于 π 是定义在两个状态上的概率分布，其各项之和必须等于 1。这提供了求解 $π(a)$ 和 $π(b)$ 所需的第二个独立方程。

1. π 是一个有效的概率分布。

2. 状态空间恰好包含两个状态：a 和 b。

1. 平稳分布方程

1. 声音
   观察依据

   主讲人将 $π(a) + π(b) = 1$ 称为‘可用作第二个非冗余方程的等式’。

在由平衡方程推导出 $π(a)$ 与 $π(b)$ 之间的关系后，该方法是将该关系与归一化条件配对，从而得到一个可解的方程组。

1. 其中一个方程来自平稳性/平衡条件。

2. 另一个方程来自总概率等于 1。

1. 概率分布的归一化条件

1. 声音
   观察依据

   讲解者指出，分布$\pi$通常在每个时间步都会发生变化，但存在一种特殊情况：当它与转移矩阵$P$相乘时保持不变。

2. 公式
   观察依据

   黑板上展示了方程$\pi P = \pi$。

1. 公式

   $$$$
   解释

   从时间$n$处分布的一般公式出发：$\pi_n = \pi_0 P^n$。

   步骤依据

   这是马尔可夫链一个已被确立的性质。

   视频直接表达
2. 公式

   $$$$
   解释

   考虑分布在相邻时间步之间不发生变化的情形，即$\pi_{n+1} = \pi_n$。

   步骤依据

   这正是某种特殊、恒定情形的定义。

   依据视频推导
3. 公式

   $$\pi P = \pi$$
   解释

   若令$\pi_n = \pi$，则有$\pi_{n+1} = \pi P$；令二者相等，即得$\pi P = \pi$。

   步骤依据

   基于‘无变化’条件所作的代数代入。

   依据视频推导
4. 公式

   $$$$
   解释

   一个分布 $\pi$ 满足 $\pi P = \pi$ 称为平稳分布（或不变分布）。

   步骤依据

   这是主讲人给出的定义。

   视频直接表达

平稳分布$\pi$由方程$\pi P = \pi$定义，即它是转移矩阵$P$对应特征值1的左特征向量。

1. 公式
   观察依据

   白板上展示的分步代数运算过程。

2. 声音
   观察依据

   讲解员逐条解释向量与矩阵相乘并化简的每一步。

1. 公式

   $$[\pi(a), \pi(b)] \begin{bmatrix} 0.3 & 0.7 \\ 0.4 & 0.6 \end{bmatrix} = [\pi(a), \pi(b)]$$
   解释

   将具体的矩阵 P 和向量 π 代入平稳方程 $πP = π$。

   步骤依据

   平稳分布的定义。

   视频直接表达
2. 公式

   $$0.3\pi(a) + 0.4\pi(b) = \pi(a)$$
   解释

   对第一个分量执行矩阵-向量乘法。

   步骤依据

   矩阵乘法法则。

   视频直接表达
3. 公式

   $$0.7\pi(a) + 0.6\pi(b) = \pi(b)$$
   解释

   对第二个分量执行矩阵-向量乘法。

   步骤依据

   矩阵乘法法则。

   视频直接表达
4. 公式

   $$3\pi(a) + 4\pi(b) = 10\pi(a)$$
   解释

   将第一个方程两边同乘10以消除小数。

   步骤依据

   代数等价性。

   视频直接表达
5. 公式

   $$7\pi(a) + 6\pi(b) = 10\pi(b)$$
   解释

   将第二个方程两边同乘10以消除小数。

   步骤依据

   代数等价性。

   视频直接表达
6. 公式

   $$4\pi(b) = 7\pi(a)$$
   解释

   将第一个化简后的方程重排，把$3π(a)$移至等号右侧。

   步骤依据

   代数运算。

   视频直接表达
7. 公式

   $$7\pi(a) = 4\pi(b)$$
   解释

   将第二个化简后的方程重排，把$6π(b)$移至等号左侧。

   步骤依据

   代数运算。

   视频直接表达
8. 公式

   $$4\pi(b) = 7\pi(a) \iff 7\pi(a) = 4\pi(b)$$
   解释

   观察可知，两个推导出的方程完全相同。

   步骤依据

   逻辑等价。

   视频直接表达

方程组 $πP = π$ 仅给出一个关联 $π(a)$ 与 $π(b)$ 的独立线性方程，因此若无归一化等额外约束，该方程组是欠定的。

1. 声音
   观察依据

   “我们实际上无法解这个方程组……因为有两个未知量……但我们只有一个有效的方程。那么该怎么办呢？”

1. 公式

   $$\text{Unknowns: } \pi(a), \pi(b)$$
   解释

   确定待求解的变量。

   步骤依据

   问题设定。

   视频直接表达
2. 公式

   $$\text{Independent Equations: } 1$$
   解释

   统计由 $πP = π$ 推导出的线性无关方程的个数。

   步骤依据

   前一步推导的结果。

   视频直接表达
3. 公式

   $$1 < 2$$
   解释

   将方程个数与未知量个数进行比较。

   步骤依据

   算术比较。

   依据视频推导

仅用 $πP = π$ 无法唯一求解该系统；还需要一个独立的第二方程。

1. 公式
   观察依据

   黑板上已写出：$10\times (0.3π(a) + 0.4π(b) = π(a))$，$10\times (0.7π(a) + 0.6π(b) = π(b))$，然后是 $3π(a) + 4π(b) = 10π(a)$，$7π(a) + 6π(b) = 10π(b)$，最后是 $4π(b) = 7π(a)$。

2. 声音
   观察依据

   主讲人说：‘因此我之前得到的是 $4π(b)$ 等于 $7π(a)$。’

1. 这些平衡方程的先前推导发生在此片段之前；此处仅复用了最终结论 $4π(b) = 7π(a)$。

1. 公式

   $$10\times(0.3\pi(a)+0.4\pi(b)=\pi(a))$$
   解释

   第一行显示的式子将 a 分量的平衡方程乘以 10，以消去小数。

   步骤依据

   对等式的代数缩放。

   视频直接表达
2. 公式

   $$10\times(0.7\pi(a)+0.6\pi(b)=\pi(b))$$
   解释

   第二行展示式对 b 分量的平衡方程执行了相同操作。

   步骤依据

   对等式进行代数缩放。

   视频直接表达
3. 公式

   $$3\pi(a)+4\pi(b)=10\pi(a)$$
   解释

   这是第一个缩放后方程的简化形式。

   步骤依据

   乘以10后的算术化简。

   视频直接表达
4. 公式

   $$7\pi(a)+6\pi(b)=10\pi(b)$$
   解释

   这是第二个缩放后方程的简化形式。

   步骤依据

   乘以10后的算术化简。

   视频直接表达
5. 公式

   $$4\pi(b)=7\pi(a)$$
   解释

   整理这两个简化后的平衡方程，可得到 $π(a)$ 与 $π(b)$ 之间相同的正比关系。

   步骤依据

   两边分别移项并化简。

   视频直接表达

平稳概率满足 $4π(b)=7π(a)$。

1. 公式
   观察依据

   板书依次写出：$4π(b)=7π(a)$，然后 $π(b)=7/4 π(a)$，接着 $π(a)+7/4 π(a)=1$，再得 $11/4 π(a)=1$，最后 $π(a)=4/11$。

2. 声音
   观察依据

   说话人表示他将把这个结果代入方程，得到 $π(a)+7/4 π(a)=1$，然后 $11/4 π(a)=1$，从而 $π(a)=4/11$。

1. 公式

   $$4\pi(b)=7\pi(a)$$
   解释

   从平衡方程导出的比例关系出发。

   步骤依据

   此前已推导出的结果。

   视频直接表达
2. 公式

   $$\pi(b)=\frac{7}{4}\pi(a)$$
   解释

   两边同时除以4，将 $π(b)$ 表示为 $π(a)$ 的形式。

   步骤依据

   代数整理。

   视频直接表达
3. 公式

   $$\pi(a)+\frac{7}{4}\pi(a)=1$$
   解释

   将 $π(b)=7/4 π(a)$ 代入归一化方程 $π(a)+π(b)=1$。

   步骤依据

   代入一个已知方程。

   视频直接表达
4. 公式

   $$\frac{11}{4}\pi(a)=1$$
   解释

   合并同类项：$1 + 7/4 = 11/4$。

   步骤依据

   分数加法。

   视频直接表达
5. 公式

   $$\pi(a)=\frac{4}{11}$$
   解释

   两边同时乘以$4/11$，解出 $π(a)$。

   步骤依据

   求解线性方程。

   视频直接表达

$π(a)=4/11$.

1. 公式
   观察依据

   板书显示：$π(b)=1-π(a)=7/11$。

2. 声音
   观察依据

   主讲人说：“因此，$π(b)$ 等于1减去 $π(a)$，也就是等于7除以11。”

1. 公式

   $$\pi(b)=1-\pi(a)$$
   解释

   将归一化方程 $π(a) + π(b) = 1$重新整理。

   步骤依据

   代数整理。

   视频直接表达
2. 公式

   $$\pi(b)=1-\frac{4}{11}=\frac{7}{11}$$
   解释

   代入刚刚求得的 $π(a)$ 的值，并计算其差值。

   步骤依据

   代入与算术运算。

   视频直接表达

$π(b)=7/11$.

1. 公式
   观察依据

   黑板上写出 $π = [4/11, 7/11]$。

2. 声音
   观察依据

   主讲人说：“因此，我们的平稳分布 π 就是行向量：4除以11，以及7除以11。”

1. 公式

   $$\pi(a)=\frac{4}{11},\quad \pi(b)=\frac{7}{11}$$
   解释

   汇总两个已解出的分量值。

   步骤依据

   此前推导的结果。

   视频直接表达
2. 公式

   $$\pi=\left[\frac{4}{11},\frac{7}{11}\right]$$
   解释

   将平稳分布写作一个行向量，其分量分别对应状态 a 和 b。

   步骤依据

   π 的定义为 [$π(a)$, $π(b)$]。

   视频直接表达

平稳分布为 $π=[4/11, 7/11]$。

1. 图示
   观察依据

   黑板上展示了一个具有两个状态A和B的马尔可夫链的状态图，以及转移概率：$A\to A$（0.3）、$A\to B$（0.7）、$B\to A$（0.4）、$B\to B$（0.6）。

2. 公式
   观察依据

   黑板上展示了对应的转移矩阵$P = \begin{bmatrix} 0.3 & 0.7 \\ 0.4 & 0.6 \end{bmatrix}$。

3. 声音
   观察依据

   主讲人描述了各状态及转移概率，随后写出该矩阵，并解释每个元素如何对应一个转移概率。

给定一个具有两个状态A和B的马尔可夫链，其转移概率如下：$P(A\to A)=0.3$，$P(A\to B)=0.7$，$P(B\to A)=0.4$，$P(B\to B)=0.6$。请构造转移矩阵P。

1. 状态：A、B

2. 转移概率：$P(A\to A)=0.3$，$P(A\to B)=0.7$，$P(B\to A)=0.4$，$P(B\to B)=0.6$

写出$2\times 2$的转移矩阵P。

1. 公式

   $$P = \begin{bmatrix} P(A \to A) & P(A \to B) \\ P(B \to A) & P(B \to B) \end{bmatrix}$$
   解释

   转移矩阵P的结构规定：第i行第j列的元素表示从状态i转移到状态j的概率。

   步骤依据

   马尔可夫链的转移矩阵定义。

   依据视频推导
2. 公式

   $$P = \begin{bmatrix} 0.3 & 0.7 \\ 0.4 & 0.6 \end{bmatrix}$$
   解释

   将给定的转移概率代入矩阵结构中。

   步骤依据

   直接根据题目陈述进行代入。

   视频直接表达
3. 公式

   $$0.3 + 0.7 = 1 \text{ 且 } 0.4 + 0.6 = 1$$
   解释

   检查每一行的概率之和是否等于1。

   步骤依据

   一个有效转移矩阵的基本性质是：其各行元素之和必须等于1。

   视频直接表达

该转移矩阵为$P = \begin{bmatrix} 0.3 & 0.7 \\ 0.4 & 0.6 \end{bmatrix}$。

主讲人通过验证所构造矩阵各行之和是否等于1，来进行合理性检验。

1. 图示
   观察依据

   展示了一个含两个状态 A 和 B 的转移图，带有自环 0.3 和 0.6，以及交叉转移 0.7 和 0.4。

2. 公式
   观察依据

   对应的矩阵 $P=[[0.3,0.7],[0.4,0.6]]$ 及方程 $πP=π$ 被写在黑板上。

3. 声音
   观察依据

   主讲人擦去图与矩阵以腾出空间，随后求解平稳分布。

已知一个两状态马尔可夫链，其转移矩阵为 $P=[[0.3,0.7],[0.4,0.6]]$，求其平稳分布 π。

1. 状态为 a 和 b（图中记作 A 和 B）。

2. $P = [[0.3, 0.7], [0.4, 0.6]]$.

3. π 等于从 $π(a)$ 到 $π(b)$ 的区间。

4. πP 等于 π。

计算 $π(a)$ 和 $π(b)$ 的具体数值。

1. 公式

   $$4\pi(b)=7\pi(a)$$
   解释

   由黑板上已列出的平衡方程可知，平稳概率满足这一比例关系。

   步骤依据

   由 $πP = π$ 推导得出。

   视频直接表达
2. 公式

   $$\pi(a)+\pi(b)=1$$
   解释

   因为 π 是一个概率分布，其各项之和等于1。

   步骤依据

   概率向量的归一化。

   视频直接表达
3. 公式

   $$\pi(b)=\frac{7}{4}\pi(a)$$
   解释

   重写该比例关系，以便代入归一化方程。

   步骤依据

   对等式$4π(b) = 7π(a)$ 进行代数变形。

   视频直接表达
4. 公式

   $$\pi(a)+\frac{7}{4}\pi(a)=1$$
   解释

   将 $π(b) = 7/4 π(a)$ 代入 $π(a) + π(b) = 1$。

   步骤依据

   代入。

   视频直接表达
5. 公式

   $$\frac{11}{4}\pi(a)=1$$
   解释

   合并 $π(a)$ 的系数。

   步骤依据

   分数加法：$1 + 7/4 = 11/4$。

   视频直接表达
6. 公式

   $$\pi(a)=\frac{4}{11}$$
   解释

   求解所得的线性方程。

   步骤依据

   两边同时乘以$4/11$。

   视频直接表达
7. 公式

   $$\pi(b)=1-\frac{4}{11}=\frac{7}{11}$$
   解释

   利用归一化求出剩余分量。

   步骤依据

   代入 $π(a) + π(b) = 1$。

   视频直接表达
8. 公式

   $$\pi=\left[\frac{4}{11},\frac{7}{11}\right]$$
   解释

   组装最终的平稳分布向量。

   步骤依据

   根据定义，$π = [π(a), π(b)]$。

   视频直接表达

对应的式子为：$π = [4/11, 7/11]$。

各分量非负且和为1；此外，$4π(b) = 7π(a)$ 成立，因为 $4\cdot (7/11) = 28/11 = 7\cdot (4/11)$。

1. 图示
   观察依据

   绘制状态图：两个圆圈分别标记为“A”和“B”；带箭头的有向边表示状态转移，并标有相应概率：A上的自环概率为0.3，从A指向B的箭头概率为0.7，从B指向A的箭头概率为0.4，B上的自环概率为0.6。

1. 状态A

2. 状态B

3. 转移箭头

4. 概率标签

1. 图示逐步绘制：先显示状态，再显示状态之间的转移及其概率。

1. 状态 A 和 B 在图中位置固定不变。

该可视化表示定义了马尔可夫链示例的结构与参数，展示了所有可能的状态转移及其对应概率。

1. 公式
   观察依据

   转移矩阵$P$写作一个$2\times 2$矩阵。行标签为‘A’和‘B’，列标签隐含为‘A’和‘B’。矩阵元素依次填入：0.3、0.7、0.4、0.6。

1. 矩阵括号

2. 行标签 A、B

3. 矩阵元素

1. 矩阵逐个元素构建，每填入一个数值时，讲解者均口头确认该值。

1. 矩阵整体的$2\times 2$结构保持不变。

矩阵的可视化构建过程，直接将状态图中的信息转化为形式化的代数对象，从而强化了马尔可夫链的图形表示与矩阵表示之间的对应关系。

1. 图示
   观察依据

   包含节点 A 和 B 的有向图，显示自环及带概率的转移。

1. 节点 A

2. 节点 B

3. 从 A 指向 A 的箭头（0.3）

4. 从 A 指向 B 的箭头（0.7）

5. 从 B 指向 A 的箭头（0.4）

6. 从 B 指向 B 的箭头（0.6）

1. 图的拓扑结构

2. 边上的概率值

矩阵 P 中定义的转移概率的直观表示。

1. 动画
   观察依据

   手写内容随讲解者语音逐行出现在数字白板上。

1. 向量定义

2. 矩阵方程

3. 化简后的线性方程

1. 新的数学行在白板底部依次出现

1. 先前的步骤持续可见

演示将矩阵方程展开为标量线性方程的过程。

1. 图示
   观察依据

   起始时，左上方显示一个含状态 A 和 B 的两状态转移图，箭头分别标有0.3、0.7、0.4和0.6；其下方为 $P = [[0.3, 0.7], [0.4, 0.6]]$ 以及 $πP = π$。

2. 公式
   观察依据

   右半部分已给出推导完成的平衡方程，最终形式为 $4π(b) = 7π(a)$。

1. 含节点 A 和 B 的状态图

2. 转移矩阵 P

3. 方程 $πP = π$

4. 在右侧进行平衡方程的推导

1. 目前尚未写下任何新内容；黑板上呈现的是问题设定及先前的推导过程。

1. 转移概率保持固定，分别为0.3、0.7、0.4、0.6。

2. 关系式$4π(b) = 7π(a)$ 已经确立。

图示设定明确了该马尔可夫链，并表明平稳分布问题已简化为 $π(a)$ 与 $π(b)$ 之间的比例关系。

1. 声音
   观察依据

   主讲人说：‘我将擦除这个马尔可夫链，以便腾出更多空间进行演算。’

2. 动画
   观察依据

   左上方区域中的图示、矩阵 P 及方程 $πP = π$ 全部被擦除，留下空白区域。

1. 转移图

2. 矩阵 P

3. 方程 $πP = π$

1. 左上角的初始设置被移出视野。

2. 右侧的代数推导仍保持可见。

1. 此前推导出的关系式$4π(b)=7π(a)$保留在黑板上。

2. 问题仍为相同的两状态平稳分布计算。

这是实际的板书管理步骤，而非数学上的改变；它为最终的求解步骤腾出空间。

1. 公式
   观察依据

   在清空的左上区域，主讲人写下$π=[π(a),π(b)]$，接着$π(a)+π(b)=1$，再接着$4π(b)=7π(a)$，然后$π(b)=7/4 π(a)$，再接着通过代入链得出$π(a)=4/11$、$π(b)=7/11$，最后得到$π=[4/11,7/11]$。

2. 动画
   观察依据

   从最终加框的向量处画一条弧形箭头，回指先前的平衡方程推导部分。

1. π 等于 $π(a)$ 与 $π(b)$ 组成的区间

2. $π(a)$ 加 $π(b)$ 等于1

3. $4π(b)$ 等于 $7π(a)$

4. $π(b)$ 等于7除以4再乘以 $π(a)$

5. $π(a)=4/11$

6. $π(b)=7/11$

7. 对应的式子为：$π = [4/11, 7/11]$

1. 解被简洁地重写在新腾出的空间中。

2. 依次添加每一步代入，直至最终向量被框出。

1. 底层转移矩阵与平衡关系保持不变。

2. 归一化条件在整个过程中始终为 $π(a) + π(b) = 1$。

可视化演进展示了：一个独立的平衡关系加上归一化条件，如何共同确定完整的平稳分布。

1. 声音
   观察依据

   主讲人说：“只需快速进行一次合理性检验，即可确认你的转移矩阵是否正确：检查每一行的元素之和是否为一。”

学生可能在未验证其有效性的情况下错误地构造了转移矩阵。

主讲人明确演示了一项关键的合理性检验：转移矩阵中每一行的概率之和必须等于1。这是确保该矩阵能作为从某一给定状态出发的转移概率分布的必要条件。

1. 声音
   观察依据

   “这两个方程完全相同，是冗余方程。”

学生可能预期 $πP = π$ 的两个分量能提供两个独立方程，足以解出两个未知数。

对于任意随机矩阵，(P - I) 的各行之和均为零，这意味着 $πP = π$ 所给出的方程总是线性相关的；其中一个方程失效，因此必须引入归一化约束 $Σπ_i = 1$。

1. 声音
   观察依据

   主讲人明确将 $π(a) + π(b) = 1$ 称为‘第二个非冗余方程’。

人们可能认为，仅凭 $πP = π$ 的分量形式方程就能唯一确定平稳分布。

对于这个两状态马尔可夫链，平衡方程仅能得出比例关系，例如 $4π(b) = 7π(a)$；还需归一化条件 $π(a) + π(b) = 1$ 来确定比例尺度，从而得到唯一的概率值。

1. 声音
   观察依据

   主讲人说：“我们称π为平稳分布；换言之，我们也称它为不变分布。”

‘平稳分布’与‘不变分布’这两个术语可互换使用，均指由$\pi P = \pi$所定义的同一概念。

1. 声音
   观察依据

   主讲人说：“为求得这样的分布，我们通常只需解这个线性方程组：πP 等于 π。”

求平稳分布的方法直接基于求解该分布的定义方程。

1. 声音
   观察依据

   主讲人说：“现在，我们来通过一个例子，说明如何在马尔可夫链中求平稳分布。”

2. 公式
   观察依据

   该例涉及构造矩阵$P$，该矩阵将用于方程$\pi P = \pi$中。

该例提供了一个具体的马尔可夫链，可运用前述方法求出其平稳分布。

1. 图示
   观察依据

   状态图与转移矩阵并排呈现。

状态图以图形方式编码了与数值转移矩阵 P 相同的信息。

1. 公式
   观察依据

   将方程〔πP〕＝〔π〕展开为标量方程。

将平稳分布的一般定义应用于具体矩阵 P，从而得到一个可求解的线性方程组。

1. 声音
   观察依据

   主讲人从已有的平衡关系出发，指出 π 是一个有效的概率分布，因此其各项之和为1。

2. 公式
   观察依据

   黑板上将 $4π(b) = 7π(a)$ 与 $π(a) + π(b) = 1$ 配对列出。

平稳方程在各分量之间建立了一个关系，而概率分布性质则提供了求解该方程组所需的另一个独立约束条件。

1. 声音
   观察依据

   主讲人称，这是作为第二个非冗余方程所采用的方程。

归一化恒等式在此处不仅是一个事实，更被实际用作求解方法中的第二个方程。

1. 声音
   观察依据

   主讲人定义了平稳分布。

1. 平稳分布

1. 声音
   观察依据

   主讲人讲解了求平稳分布的方法。

1. 求平稳分布的方法

1. 声音
   观察依据

   主讲人给出了平稳分布的另一种名称。

1. 平稳分布

1. 图示
   观察依据

   展示了一个状态图。

2. 公式
   观察依据

   根据该图构造出一个转移矩阵。

1. 从状态图构造转移矩阵

1. 声音
   观察依据

   主讲人提到了对转移矩阵的一种合理性检验。

1. 忘记检查行和

1. 公式
   观察依据

   向量-矩阵乘积的展开。

1. 平稳分布方程
2. 平稳分布方程组的推导

1. 声音
   观察依据

   关于冗余方程及欠定系统的讨论。

1. 平稳方程中的冗余性
2. 识别欠定方程组

1. 声音
   观察依据

   主讲人解释道：由于 π 是一个有效的概率分布，其各元素之和必须为一。

1. 概率分布的归一化条件
2. 用归一化条件作为第二个独立方程。

1. 公式
   观察依据

   黑板上展示了将 $π(b) = 7/4 π(a)$ 代入 $π(a) + π(b) = 1$，从而得到 $π(a) = 4/11$。

1. 概率分布的归一化条件

1. 公式
   观察依据

   最终框出的结果为 $π = [4/11, 7/11]$。

2. 声音
   观察依据

   主讲人指出，平稳分布是行向量 $4/11$ 和 $7/11$。

1. 平稳分布方程