马尔可夫链与转移矩阵

1. 图示
   观察依据

   黑色标题卡片，白色手写风格文字显示“MARKOV CHAINS”（马尔可夫链）。

MARKOV CHAINS

本视频主题的标题。

视频标题

1. 图示
   观察依据

   左上方转移图中一个蓝色圆角矩形，标注为 A。

2. 声音
   观察依据

   讲解者指出系统可能处于状态 A 或状态 B，且向量的上方分量对应状态 A。

A

马尔可夫链系统的一种可能状态；也由状态向量的第一个（上方）分量表示。

状态标签

1. 图示
   观察依据

   左上方转移图中一个紫色圆角矩形，标注为 B。

2. 声音
   观察依据

   讲解者指出系统可能处于状态 A 或状态 B，且向量的下方分量对应状态 B。

B

马尔可夫链系统的另一种可能状态；也由状态向量的第二个（下方）分量表示。

状态标签

1. 图示
   观察依据

   状态 A 上的自环箭头，标注为0.75。

2. 声音
   观察依据

   说话人指出，从状态A指向状态A的箭头上的0.75表示状态A在下一次迭代中以75%的概率转移到状态A。

0.75

从状态A到状态A的转移概率。

区间[0,1]内的概率。

1. 图示
   观察依据

   从A指向B、标注为0.25的箭头。

1. 说话人在视频片段中未明确读出该数字，但它在图中可见。

0.25

从状态A到状态B的转移概率。

区间[0,1]内的概率。

1. 图示
   观察依据

   从B指向A、标注为0.4的箭头。

1. 说话人在视频片段中未明确读出该数字，但它在图中可见。

0.4

从状态B到状态A的转移概率。

区间[0,1]内的概率。

1. 图示
   观察依据

   状态B上的自环箭头，标注为0.6。

1. 讲话者在视频片段中未明确读出该数字，但图中可见。

0.6

从状态B转移到状态B的转移概率。

区间[0,1]内的概率。

1. 公式
   观察依据

   公式以 $S_0 = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$ 的形式出现。

2. 声音
   观察依据

   讲话者将 S₀ 引入为系统的初始状态，并说明它是一个含一个一和一个零的向量。

$S_0$

编码马尔可夫链起始概率的初始状态向量。

状态概率的列向量。

1. 公式
   观察依据

   $S_0$ 的上部元素是 1。

2. 声音
   观察依据

   讲话者指出上部成分对应状态A，并说明 1 表示系统以 100% 的概率从状态A开始。

3. 图示
   观察依据

   标注“初始位于A”指向顶部元素。

1

系统从状态A开始的概率。

概率值

1. 公式
   观察依据

   $S_0$的底部元素是0。

2. 声音
   观察依据

   讲解者指出，底部分量指代状态B，且0表示系统以0%的概率从状态B开始。

3. 图示
   观察依据

   标注“初始不在B”指向底部元素。

0

系统从状态B开始的概率。

概率值

1. 图示
   观察依据

   弯曲标注标签“初始状态”指向$S_0$。

Initial State

向量$S_0$的名称。

术语

1. 公式
   观察依据

   黑板上显示$S_0 = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$，并标注为“初始状态”、“初始时在状态A”和“初始时不在状态B”。

2. 声音
   观察依据

   说话者将$S_0$称为初始状态。

$S_0$

一个两状态马尔可夫链的初始状态向量；第一个分量对应状态A，第二个分量对应状态B。

本例中各分量非负且和为1的列向量。

1. 声音
   观察依据

   讲解者说：“想象我有一个转移图……转移图列出了某个系统的可能状态……状态之间有一系列带箭头的连线，每条箭头上标有数字，表示相应的概率。”

2. 图示
   观察依据

   图示显示两个状态A和B，带有带方向的箭头及数值标签0.75、0.25、0.4、0.6。

转移图将系统的可能状态表示为节点，将状态间允许的转移表示为有向箭头；箭头上所附数字表示从箭尾状态一步转移到箭头状态的概率。在所示示例中，状态为A和B，包含自环与交叉转移，并标有相应概率。

1. 该图用于表示马尔可夫链。

2. 每条箭头上的标签被解释为一步转移概率。

1. 声音
   观察依据

   主讲人表示，将使用“线性代数的一些形式化工具，包括矩阵的概念、向量的概念以及它们的乘法”，以简化马尔可夫链的研究过程。

1. 本120秒片段中未显示任何显式的矩阵公式。

讲座指出，将采用矩阵与向量作为形式化工具，使马尔可夫链的计算比直接用语言描述或图示推理更简便。

1. 适用于涉及马尔可夫链的计算。

2. 要求学习者熟悉矩阵、向量及其乘法。

1. 一个二状态马尔可夫链的转移图

1. 公式
   观察依据

   $S_0 = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$.

2. 声音
   观察依据

   主讲人称 S₀ 为系统的初始状态，说明它是一个向量，并解释顶部分量对应状态 A，底部分量对应状态 B；同时将1和0分别解释为100% 和0% 的初始概率。

3. 图示
   观察依据

   “初始状态”、“初始处于 A”和“初始不处于 B”等标签用于标注该向量的各个分量。

初始状态向量 $S_0$ 编码了马尔可夫链各状态的起始分布。在该两状态示例中，第一个分量对应状态 A，第二个分量对应状态 B。所显示的向量 $S_0 = (1, 0)^T$ 表明：系统以概率 1 起始于状态 A，以概率 0 起始于状态 B。

1. 在所显示的示例中，该系统有两个状态。

2. 各分量的顺序与状态顺序一致，此处为先 A 后 B。

3. 各分量均为概率，用于描述初始分布。

1. 一个二状态马尔可夫链的转移图

1. 公式
   观察依据

   $S_0 = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$ 和 $S_1 = \begin{pmatrix} 0.75 \\ 0.25 \end{pmatrix}$ 显示在黑板上。

2. 声音
   观察依据

   讲话者解释说，上方的数字对应状态 A，下方的数字对应状态 B。

状态向量记录系统在给定时间步处于各状态的概率。本视频中，第一个分量对应状态 A，第二个分量对应状态 B。因此 $S_0=(1,0)^T$ 表示系统确定起始于 A；而 $S_1=(0.75,0.25)^T$ 表示经过一次迭代后，处于 A 的概率为 75%，处于 B 的概率为 25%。

1. 具有状态 A 和 B 的二状态马尔可夫链。

2. 矩阵元素均为概率。

3. 在所展示的示例中，各行元素之和为 1。

1. 公式
   观察依据

   $P = \begin{pmatrix} 0.75 & 0.4 \\ 0.25 & 0.6 \end{pmatrix}$ 被写在黑板上。

2. 声音
   观察依据

   主讲人指出：列以 A 和 B 标记，行也以 A 和 B 标记；随后将 0.75 解释为“从 A 出发、终止于 A”，将 0.4 解释为“从 B 出发、终止于 A”。

转移矩阵将一步转移概率汇总为一个数组。本视频采用的约定是：列代表起始状态，行代表终止状态。因此，第 A 行、第 A 列的元素为 $\Pr(A\to A)$，第 A 行、第 B 列的元素为 $\Pr(B\to A)$，第 B 行、第 A 列的元素为 $\Pr(A\to B)$，第 B 行、第 B 列的元素为 $\Pr(B\to B)$。

1. 有限状态空间，此处为两个状态 A 和 B。

2. 矩阵元素为一步转移概率。

3. 本片段采用“列起始 / 行终止”的约定。

1. 二状态马尔可夫链中的状态向量

1. 公式
   观察依据

   黑板上显示的是$S_1 = P S_0$。

2. 声音
   观察依据

   主讲人说：“从 S₀ 到 S₁ 的公式就是相乘”，以此引出矩阵代数作为更新状态的方法。

1. 完整的口语句子在此片段中被截断，主讲人尚未明确说出“乘以 P”。

2. 本片段中未展示该乘积的数值验证过程。

下一时刻的状态向量可通过将转移矩阵与当前状态向量相乘得到。这一操作将基于图示的一步行为解读，转化为可高效迭代的代数规则。

1. 在$P$和$S_k$中采用相同的状态排序。

2. 本片段中，$P$是2行2列的矩阵，而$S_k$是一个2行1列的列向量。

1. 二状态马尔可夫链中的状态向量
2. 二状态马尔可夫链的转移矩阵

1. 公式
   观察依据

   方程$S_1 = P S_0$显示在屏幕上。

2. 声音
   观察依据

   说话人解释：下一状态是通过将转移矩阵乘以当前状态向量得到的。

视频将马尔可夫链的第一步演化表示为矩阵与向量的乘积：第1步的状态向量等于转移矩阵乘以初始状态向量。

1. $P$是转移矩阵。

2. $S_0$是初始状态向量。

3. $S_1$是经过一步演化后得到的状态向量。

1. 公式
   观察依据

   展开后的等式$\begin{pmatrix}0.75\\0.25\end{pmatrix} = \begin{pmatrix}0.75 & 0.4\\ 0.25 & 0.6\end{pmatrix}\begin{pmatrix}1\\0\end{pmatrix}$已显示。

2. 声音
   观察依据

   说话人说：“这是矩阵与向量的乘法。”

说话人指出，用于计算下一状态的操作是矩阵-向量乘法，并说明执行该操作后得到左侧的预测向量。

1. 要求熟悉矩阵与列向量相乘的方法。

1. 单步状态更新规则

1. 公式
   观察依据

   等式$S_2 = P S_1$出现在屏幕上。

2. 声音
   观察依据

   说话人称，第二个状态是通过将转移矩阵乘以$S_1$得到的。

下一个迭代值通过对前一个状态向量（而非初始向量）再次应用相同的转移矩阵而获得。

1. $S_1$必须已经知晓。

2. 重复使用相同的转移矩阵$P$。

1. 单步状态更新规则

1. 公式
   观察依据

   方框标注的公式$S_n = P^n S_0$出现在末尾附近。

2. 声音
   观察依据

   主讲人从$S_2 = P^2 S_0$推广到第n个状态。

通过重复应用同一转移矩阵，经过$n$步后的状态由$P^n$作用于初始状态向量得到。

1. $n$是一个步数指标。

2. $P$是转移矩阵。

3. $S_0$是初始状态向量。

1. 两步状态更新规则

1. 公式
   观察依据

   黑板上显示 $S_2 = P S_1 = P^2 S_0$，以及框出的公式 $S_n = P^n S_0$。

2. 声音
   观察依据

   主讲人说：‘然后乘以 n 个转移矩阵，即 P 的 n 次方’，并解释第 n 步的状态等于转移矩阵与初始状态向量相乘 n 次的结果。

该片段给出了如下规则：经过 n 步后的状态，等于将转移矩阵对初始状态向量作用 n 次所得结果。所展示的两步恒等式 $S_2 = P S_1 = P^2 S_0$，引出了框出的一般公式 $S_n = P^n S_0$。

1. P 是转移矩阵。

2. $S_0$ 是初始状态向量。

3. n 是转移次数。

1. 声音
   观察依据

   主讲人列出了三个主要步骤：画出转移图、将其写成矩阵形式、再通过将该矩阵进行足够多次的乘法运算，求出任意未来的状态。

本视频总结了解决马尔可夫链问题的一种实用流程：首先绘制转移图以汇总所有数值，然后将该图转化为矩阵，最后利用状态幂公式通过重复矩阵乘法计算未来各状态。

1. 该问题涉及一个马尔可夫过程或马尔可夫链。

2. 转移图与初始状态已给出，或可自行构造。

1. 马尔可夫链中第 n 步状态的一般公式。

1. 声音
   观察依据

   讲解者指出，每条箭头上的数字表示概率，并举例说明：从 A 指向 A 的箭头上标有 0.75，意味着状态 A 在下一次迭代中以 75% 的概率转移到自身。

2. 图示
   观察依据

   标有 0.75 的 A 上自环。

在转移图中，每条箭头的标签给出了系统在一次迭代中从源状态转移到目标状态的概率。

1. 该图是马尔可夫链的转移图。

2. 箭头连接源状态与目标状态。

针对所显示转移图中的每条带标签的箭头。

1. 声音
   观察依据

   讲解者指出，向量的上分量对应状态 A，下分量对应状态 B；并补充说明，若状态更多（例如 A、B、C），则该向量将包含三个分量。

在双状态示例中，状态向量的第一个分量对应状态A，第二个分量对应状态B；状态数量更多时，该向量每个状态对应一个分量。

1. 系统由一个状态向量表示。

2. 状态的排列顺序是固定的。

针对本片段展示的双状态示例以及所说明的向更多状态的推广。

1. 声音
   观察依据

   说话人指出，其中写有1和0，意味着系统以100%的概率从状态A开始，以0%的概率从状态B开始，并补充道：“我刚刚断言了这一点。”

2. 公式
   观察依据

   $S_0 = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$.

向量$S_0 = (1, 0)^T$ 被作为关于系统起始状态的一种断言而引入，并非转移概率的结果。

1. 所选初始条件为：系统从状态A开始。

针对本片段中展示的具体示例。

1. 声音
   观察依据

   主讲人提问：如何从$S_0$变换到$S_1$，或从$S_1$变换到$S_2$，或从$S_2$变换到$S_{100}$？并指出，存在一种借助矩阵高效完成这些变换的过程。

使用转移矩阵可获得一种高效的代数过程，用于从一个状态向量推进至后续的状态向量（例如$S_2$或$S_{100}$），而无需每次都重新解读图示。

1. 该马尔可夫链具有固定的一步转移概率。

2. 状态向量以一致的顺序表示。

对于所示的两状态示例，以及对该同一马尔可夫链进行重复迭代的情形。

1. 声音
   观察依据

   主讲人指出，在关于马尔可夫过程的第一期视频中，他们曾通过树状图进行计算，而采用这种矩阵方法所得结果与之前一致。

1. 此前提及的树状图计算并未在本片段中展示。

本例中，通过矩阵乘法计算状态向量，所得结果与先前的树状图法一致。

1. 所考虑的是同一个马尔可夫链及同一初始状态。

2. 先前的树状图法适用于该计算。

针对视频中讨论的这个例子。

1. 声音
   观察依据

   说话人解释A到A箭头上标注的0.75标签的含义。

2. 图示
   观察依据

   节点A上的自环，标记为0.75。

1. 公式

   $$0.75$$
   解释

   读取从状态A指向自身A的箭头上的数值标签。

   步骤依据

   讲解者指出，箭头上的数字表示转移概率。

   视频直接表达
2. 公式

   $$P(\text{next state}=A \mid \text{current state}=A)=0.75$$
   解释

   将该标签翻译为一个条件单步转移陈述。

   步骤依据

   讲解者称，这表示在一次迭代中，状态A转移到下一时刻状态A的概率为75%。

   依据视频推导

标记0.75意味着：系统当前处于状态A时，经过一步后仍停留在状态A的概率为75%。

1. 图示
   观察依据

   转移图显示：A 有自环，标为0.75；另有一条指向 B 的箭头，标为0.25。

2. 公式
   观察依据

   $S_0 = \begin{pmatrix}1\\0\end{pmatrix}$和$S_1 = \begin{pmatrix}0.75\\0.25\end{pmatrix}$被展示出来。

3. 声音
   观察依据

   说话者指出：若我们从$S_0$出发，向前推进一次迭代，则将到达$S_1$；而0.75表示经过一次迭代后回到状态 A 的概率。

1. 公式

   $$S_0 = \begin{pmatrix}1\\0\end{pmatrix}$$
   解释

   系统以概率1起始于状态 A，以概率0起始于状态 B。

   步骤依据

   直接从黑板上的标签“初始位于 A”和“初始不位于 B”读出。

   视频直接表达
2. 公式

   $$\Pr(A\to A)=0.75,\quad \Pr(A\to B)=0.25$$
   解释

   从状态 A 出发，一步转移概率为：以概率0.75留在 A，以概率0.25转移到 B。

   步骤依据

   从转移图中离开 A 的箭头读出。

   视频直接表达
3. 公式

   $$S_1 = \begin{pmatrix}0.75\\0.25\end{pmatrix}$$
   解释

   经过一次迭代后，处于状态 A 的概率为0.75，处于状态 B 的概率为0.25。

   步骤依据

   由于该链确定起始于 A，因此下一时刻的状态分布恰好等于从 A 出发的各转移概率。

   视频直接表达

本例中，$S_1$可直接从图中读出，因为初始状态完全是 A。

1. 图示
   观察依据

   该图显示了四个转移概率：0.75、0.25、0.4、0.6。

2. 公式
   观察依据

   黑板上写出矩阵$P = \begin{pmatrix}0.75 & 0.4 \\ 0.25 & 0.6\end{pmatrix}$，行标签和列标签分别为 A 和 B。

3. 声音
   观察依据

   主讲人说明，将这四个数字整合为一个矩阵，并解释列代表起始状态，行代表终止状态。

1. 公式

   $$\Pr(A\to A)=0.75$$
   解释

   将从 A 出发、终止于 A 的概率填入 A 行 A 列。

   步骤依据

   主讲人指出，0.75表示从状态 A 出发并最终停留在状态 A。

   视频直接表达
2. 公式

   $$\Pr(A\to B)=0.25$$
   解释

   将从 A 出发、终止于 B 的概率填入 B 行 A 列。

   步骤依据

   这符合视频中“行表示终止状态、列表示起始状态”的约定，也与图中从 A 指向 B 的箭头一致。

   视频直接表达
3. 公式

   $$\Pr(B\to A)=0.4$$
   解释

   将从 B 出发、终止于 A 的概率填入 A 行 B 列。

   步骤依据

   主讲人明确指出，0.4位于第二列，表示从 B 出发、终止于 A。

   视频直接表达
4. 公式

   $$\Pr(B\to B)=0.6$$
   解释

   将从 B 出发、终止于 B 的概率填入 B 行 B 列。

   步骤依据

   从图中B处的自环读取。

   视频直接表达
5. 公式

   $$P = \begin{pmatrix}0.75 & 0.4 \\ 0.25 & 0.6\end{pmatrix}$$
   解释

   将四个数值整理为一个2行2列的矩阵。

   步骤依据

   这是黑板上写出的转移矩阵。

   视频直接表达

图中的四个概率按本视频所用的‘列起始/行终止’惯例，组成转移矩阵$P$。

1. 声音
   观察依据

   说话人说：“如果我只看这个，S₂ 是 P 乘以 S₁，而 S₁ 又是 P 乘以 S₀。换句话说，这就是 P 的平方乘以 S₀。”

2. 公式
   观察依据

   屏幕文字从$S_2 = P S_1$更新为$S_2 = P S_1 = P^2 S_0$。

1. 公式

   $$S_2 = P S_1$$
   解释

   从屏幕上显示的两步递推关系出发。

   步骤依据

   视频中将其作为下一状态的定义给出。

   视频直接表达
2. 公式

   $$S_1 = P S_0$$
   解释

   利用一步更新规则替换$S_1$。

   步骤依据

   视频中此前已确立。

   视频直接表达
3. 公式

   $$S_2 = P(P S_0) = P^2 S_0$$
   解释

   代入并合并两次对$P$的应用。

   步骤依据

   矩阵乘法的结合律及$P^2$的定义；最终等式显示在屏幕上。

   视频直接表达

第二个状态可直接写作$S_2 = P^2 S_0$。

1. 声音
   观察依据

   主讲人指出，一般而言，要确定第n个状态，需从初始状态出发，反复应用转移矩阵。

2. 公式
   观察依据

   带框公式$S_n = P^n S_0$显示在屏幕上。

1. 该片段陈述了一般规律，但未给出形式化的归纳证明。

1. 公式

   $$S_1 = P S_0$$
   解释

   其中一步使用了$P$一次。

   步骤依据

   此前已在该片段中展示过。

   视频直接表达
2. 公式

   $$S_2 = P^2 S_0$$
   解释

   两步共使用$P$两次。

   步骤依据

   在一般性结论之前立即推导得出。

   视频直接表达
3. 公式

   $$S_n = P^n S_0$$
   解释

   延续相同模式即可得到第n个状态。

   步骤依据

   主讲人口述并以带框公式展示了这一模式的推广。

   视频直接表达

第 n 个状态向量通过对初始状态向量应用转移矩阵$n$次得到。

1. 公式
   观察依据

   黑板上显示 $S_2 = P S_1 = P^2 S_0$ 以及 $S_n = P^n S_0$。

2. 声音
   观察依据

   主讲人指出，第 n 个状态等于转移矩阵对初始状态连续相乘 n 次。

1. 公式

   $$S_2 = P S_1 = P^2 S_0$$
   解释

   所展示的等式表明：第二个状态既可通过将 P 作用于 $S_1$ 一次得到，也可等价地通过将 P 作用于 $S_0$ 两次得到。

   步骤依据

   在黑板上直接可见。

   视频直接表达
2. 公式

   $$S_n = P^n S_0$$
   解释

   方框内的公式将同一模式推广至 n 步。

   步骤依据

   在黑板上直接可见，并在音频中表述为“乘以 n 个转移矩阵”。

   视频直接表达

第 n 个状态向量按 $S_n = P^n S_0$ 计算。

1. 图示
   观察依据

   包含状态A和B的两状态转移图，其转移概率分别为0.75、0.25、0.4、0.6。

2. 公式
   观察依据

   $S_0 = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$，附注文字为“初始状态”、“初始位于A”和“初始不在B”。

3. 声音
   观察依据

   讲解者使用这一确切示例来阐释转移图与初始状态向量。

给定一个具有状态A和B的两状态马尔可夫链，以及图示的转移概率，请用初始状态向量编码系统的起始条件。

1. 状态为 A 和 B。

2. 图中所示的转移概率为：$A\to A = 0.75$，$A\to B = 0.25$，$B\to A = 0.4$，$B\to B = 0.6$。

3. 系统被设定为从状态 A 开始。

写出初始状态向量 $S_0$，并解释其各分量的含义。

1. 公式

   $$\text{states} = \{A,B\}$$
   解释

   根据转移图确定状态空间。

   步骤依据

   主讲人指出，转移图列出了系统的可能状态。

   视频直接表达
2. 公式

   $$S_0 = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$$
   解释

   为本例引入初始状态向量。

   步骤依据

   屏幕上显示该公式，并由主讲人命名为初始状态。

   视频直接表达
3. 公式

   $$\text{top component} \leftrightarrow A,\quad \text{bottom component} \leftrightarrow B$$
   解释

   将向量位置分配给各个状态。

   步骤依据

   主讲人明确指出，向量的上分量对应状态 A，下分量对应状态 B。

   视频直接表达
4. 公式

   $$1 = P(\text{start in }A),\quad 0 = P(\text{start in }B)$$
   解释

   将数值项解释为起始概率。

   步骤依据

   主讲人指出，1 和 0 分别表示以 100% 的概率从 A 开始、以 0% 的概率从 B 开始。

   视频直接表达

$S_0 = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$，表示系统以概率1从状态A开始，以概率0从状态B开始。

标注“初始位于A”和“初始不位于B”分别对应条目1和0，主讲人指出，在一般情况下，这两个概率之和为1。

1. 公式
   观察依据

   $S_0 = \begin{pmatrix}1\\0\end{pmatrix}$和$S_1 = \begin{pmatrix}0.75\\0.25\end{pmatrix}$已标出。

2. 图示
   观察依据

   转移图显示 $A\to A = 0.75$ 且 $A\to B = 0.25$。

3. 声音
   观察依据

   说话人解释：从$S_0$出发，经过一次迭代后到达$S_1$，其中有75%的概率回到A。

1. 本视频片段未展示该例中显式的矩阵乘法运算过程。

给定一个具有状态A和B的二状态马尔可夫链，从状态A出发，确定一次迭代后的状态向量。

1. 对应的式子为：$S_0 = \begin{pmatrix}1\\0\end{pmatrix}$

2. 从A出发的转移概率：$\Pr(A\to A)=0.75$、$\Pr(A\to B)=0.25$

计算或识别$S_1$。

1. 公式

   $$\text{Start certainly in }A$$
   解释

   因为$S_0$的第一个分量是1，第二个分量是0，所以系统以确定性方式从状态A开始。

   步骤依据

   从屏幕上显示的初始状态向量及其标签中读取。

   视频直接表达
2. 公式

   $$\Pr(\text{in }A\text{ after 1 step})=0.75,\quad \Pr(\text{in }B\text{ after 1 step})=0.25$$
   解释

   从A出发的一步转移概率，即为经过一次迭代后处于状态A和B的概率。

   步骤依据

   这些概率取自转移图中从A出发的箭头。

   视频直接表达
3. 公式

   $$S_1 = \begin{pmatrix}0.75\\0.25\end{pmatrix}$$
   解释

   将这些概率组装成下一个状态向量。

   步骤依据

   在黑板上展示，并由主讲人口头解释。

   视频直接表达

对应的式子为：$S_1 = \begin{pmatrix}0.75\\0.25\end{pmatrix}$

各项数值与图中从A出发的出边概率一致，且它们之和为1。

1. 公式
   观察依据

   展开后的方程$\begin{pmatrix}0.75\\0.25\end{pmatrix} = \begin{pmatrix}0.75 & 0.4\\ 0.25 & 0.6\end{pmatrix}\begin{pmatrix}1\\0\end{pmatrix}$已显示。

2. 声音
   观察依据

   说话人指出，实际信息是$S_1 = (0.75, 0.25)$，$P$是该矩阵，$S_0 = (1,0)$。

利用转移矩阵和初始状态向量计算一步之后的状态。

1. 对应的式子为：$P = \begin{pmatrix}0.75 & 0.4\\ 0.25 & 0.6\end{pmatrix}$

2. 对应的式子为：$S_0 = \begin{pmatrix}1\\0\end{pmatrix}$

求$S_1$。

1. 公式

   $$S_1 = P S_0$$
   解释

   应用单步更新规则。

   步骤依据

   屏幕上显示的公式。

   视频直接表达
2. 公式

   $$\begin{pmatrix}0.75\\0.25\end{pmatrix} = \begin{pmatrix}0.75 & 0.4\\ 0.25 & 0.6\end{pmatrix}\begin{pmatrix}1\\0\end{pmatrix}$$
   解释

   代入数值矩阵和初始向量。

   步骤依据

   在展开方程中明确写出。

   视频直接表达
3. 公式

   $$S_1 = \begin{pmatrix}0.75\\0.25\end{pmatrix}$$
   解释

   该乘积给出了预测的下一状态向量。

   步骤依据

   说话者将此表述为矩阵与向量相乘的结果。

   视频直接表达

对应的式子为：$S_1 = \begin{pmatrix}0.75\\0.25\end{pmatrix}$

说话者指出，该向量与之前从图中预测出的向量一致。

1. 公式
   观察依据

   展开后的等式$\begin{pmatrix}0.66\\0.34\end{pmatrix} = \begin{pmatrix}0.75 & 0.4\\ 0.25 & 0.6\end{pmatrix}\begin{pmatrix}0.75\\0.25\end{pmatrix}$被展示出来。

2. 声音
   观察依据

   说话者称，进行矩阵与向量相乘后得到$0.66, 0.34$作为$S_2$的值。

使用相同的转移矩阵以及先前算得的$S_1$，求出两步之后的状态。

1. 对应的式子为：$P = \begin{pmatrix}0.75 & 0.4\\ 0.25 & 0.6\end{pmatrix}$

2. 对应的式子为：$S_1 = \begin{pmatrix}0.75\\0.25\end{pmatrix}$

求出$S_2$。

1. 公式

   $$S_2 = P S_1$$
   解释

   应用两步递推关系。

   步骤依据

   屏幕上显示的公式。

   视频直接表达
2. 公式

   $$\begin{pmatrix}0.66\\0.34\end{pmatrix} = \begin{pmatrix}0.75 & 0.4\\ 0.25 & 0.6\end{pmatrix}\begin{pmatrix}0.75\\0.25\end{pmatrix}$$
   解释

   代入数值。

   步骤依据

   在展开后的方程中明确写出。

   视频直接表达
3. 公式

   $$S_2 = \begin{pmatrix}0.66\\0.34\end{pmatrix}$$
   解释

   该乘积给出第二步的状态向量。

   步骤依据

   由说话者陈述。

   视频直接表达

对应的式子为：$S_2 = \begin{pmatrix}0.66\\0.34\end{pmatrix}$

说话者指出，这与之前视频中树状图的计算结果一致。

1. 图示
   观察依据

   展示了一个含两个状态的图，节点为 A 和 B；A 处有自环并标为0.75，B 处有自环并标为0.6；一条从 A 指向 B 的箭头标为0.25，一条从 B 指向 A 的箭头标为0.4。

2. 声音
   观察依据

   主讲人泛泛提及写出转移图，以便获得所有数值。

1. 本片段中并未实际进行任何数值化的未来状态计算。

2. 该片段未展示如何从这些图示标签中汇编出矩阵的各个元素。

在讲师讲解如何计算未来状态时，屏幕上显示了一个含状态 A 和 B 的两状态马尔可夫链图。

1. 图中展示了状态 A 和 B。

2. A 到 A 的自环标记为0.75。

3. A 到 B 的转移标记为0.25。

4. B 到 A 的转移标记为0.4。

5. B 到 B 的自环标记为0.6。

6. 黑板上还写有 $S_2 = P S_1 = P^2 S_0$ 以及 $S_n = P^n S_0$。

借助转移图与状态幂公式，说明马尔可夫链运算的设定方式。

1. 公式

   $$$$
   解释

   该图示示例为状态A和B提供了一个具象的转移图，并在边上标有数字标签。

   步骤依据

   在整个视频片段中，始终可见于黑板左侧。

   视频直接表达
2. 公式

   $$S_n = P^n S_0$$
   解释

   主讲人将该图示与从初始状态计算未来状态的一般公式配对讲解。

   步骤依据

   该公式在黑板上可见，并在音频中同步陈述。

   视频直接表达

本片段展示了该图示与公式，但未计算某个具体的数值状态向量。

本段未展示任何数值验证的演算过程。

1. 图示
   观察依据

   黑色背景上呈现手写风格的白色标题“MARKOV CHAINS”。

1. 黑色背景

2. 白色标题文字“MARKOV CHAINS”

1. 标题文字在片段开头显示。

1. 此时尚未出现标题以外的任何数学符号。

该片段以点明主题“马尔可夫链”开场。

1. 图示
   观察依据

   左上方图示包含蓝色节点A、紫色节点B；A上有自环，标为0.75；箭头$A\to B$标为0.25；箭头$B\to A$标为0.4；B上有自环，标为0.6。

2. 声音
   观察依据

   主讲人解释：该图示列出了可能的状态，而箭头上的数字表示相应转移的概率。

1. 状态节点 A

2. 状态节点 B

3. 有向箭头

4. 概率标签 0.75、0.25、0.4、0.6

1. 讲解者一边说明状态与转移概率，一边指向该示意图。

1. 在此时间段内，示意图的结构与标签保持不变。

该图示确立了本例马尔可夫链的状态空间与一步转移概率。

1. 公式
   观察依据

   公式 $S_0 = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$ 出现在转移示意图下方。

1. 公式 $S_0 = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$

1. 在转移示意图下方新增一个公式。

1. 上方的转移示意图保持不变。

课程重点从描述状态转移转向将初始条件编码为一个向量。

1. 图示
   观察依据

   弯曲注释“初始状态”指向 $S_0$。

1. 标签“初始状态”。

2. 指向 $S_0$ 的箭头。

1. 添加了一个指向该向量的弯曲标签。

1. 该向量的分量仍为 1 和 0。

图示将 $S_0$ 明确标识为表示系统初始分布的对象。

1. 图示
   观察依据

   注释“初始时位于 A”和“初始时不在 B”分别指向 $S_0$ 的顶部与底部元素。

1. 标签“初始时位于 A”。

2. 标签“初始时不在 B”。

3. 向量的分量1和0

1. 新增两个标签，每个标签分别指向$S_0$的一个分量。

1. 状态转移图与公式本身均保持不变。

这些注释将向量的各个分量映射到对应的状态及其初始概率。

1. 图示
   观察依据

   黑板式布局：左上方显示转移图，下方显示状态向量及矩阵方程，主讲人站在右侧。

2. 动画
   观察依据

   标签与公式逐步呈现：先出现$S_0$，再出现$S_1$，然后是矩阵$P$，最后是$S_1 = P S_0$。

1. 包含节点A和B的状态转移图

2. 状态向量$S_0$和$S_1$

3. 转移矩阵$P$

4. 方程$S_1 = P S_0$

5. 主讲人站在黑板旁做手势

1. 一开始，该图与$S_0$已可见。

2. 约在2秒时，$S_1 = \begin{pmatrix}0.75\\0.25\end{pmatrix}$出现在$S_0$下方。

3. 约在18秒时，在$S_1$附近添加解释性标签“状态A的概率”和“状态B的概率”。

4. 约在37秒时，在$S_0$与$S_1$之间画出一个带问号的黄色箭头，以强调未知的变换关系。

5. 约在71秒时，将矩阵元素组合成$P = \begin{pmatrix}0.75 & 0.4 \\ 0.25 & 0.6\end{pmatrix}$。

6. 约在81秒时，添加行与列标签A和B，以明确矩阵的索引方式。

7. 约在112秒时，写出方程$S_1 = P S_0$。

1. 整个片段中，底层的双状态图保持不变。

2. 在向量和矩阵标签中，状态顺序始终是A在前、B在后。

视觉序列引导观众从直接从图中读取概率，过渡到用转移矩阵代数化地编码这些概率，再进而写出更新规则$S_1 = P S_0$。

1. 图示
   观察依据

   一个两状态图始终可见：节点A带有一个标有0.75的自环，节点B带有一个标有0.6的自环，从A指向B的箭头标有0.25，从B指向A的箭头标有0.4。

1. 状态节点A

2. 状态节点B

3. 节点A处标有0.75的自环

4. 节点B处的自环，标有0.6

5. 从A指向B的箭头，标有0.25

6. 从B指向A的箭头，标有0.4

1. 本片段中图示无变化。

1. 图示所编码的转移概率保持不变，与此同时代数公式逐步推导。

该图示提供了转移概率，这些概率被组合成方程中所用的矩阵$P$。

1. 动画
   观察依据

   方程依次出现：先是$S_1 = P S_0$，然后是它的数值展开式，接着是$S_2 = P S_1$，再是它的数值展开式，然后是$S_2 = P S_1 = P^2 S_0$，最后是加框的$S_n = P^n S_0$。

1. 符号化的一步方程

2. 数值化的一步方程

3. 符号化的两步方程

4. 数值化的两步方程

5. 代入形式，含$P^2$

6. 框出的一般公式

1. 黑板上的推演过程依次为：单步记号 → 明确的数值乘法 → 两步记号 → 显示$P^2$的代入形式 → 最终得到一般性的$n$步公式。

1. 每一步都重复使用同一转移矩阵$P$。

视觉序列展示了如何通过对同一矩阵反复应用，生成更高步数的状态向量，并由此引出幂记号$P^n$。

1. 图示
   观察依据

   画面左侧持续显示一个含状态A和B的二状态转移图，以及方程 $S_2 = P S_1 = P^2 S_0$ 和加框的 $S_n = P^n S_0$。

2. 动画
   观察依据

   主讲人边讲解边用手势指向黑板；黑板上的数学内容保持不变。

1. 蓝色节点A

2. 紫色节点B

3. A处的自环，其标签为0.75

4. 从A指向B的箭头，标注为0.25

5. 从B指向A的箭头，标注为0.4

6. 在B处的自环，标注为0.6

7. 方程 $S_2 = P S_1 = P^2 S_0$

8. 加框方程 $S_n = P^n S_0$

9. 主讲人正在右侧做手势

1. 主讲人变换手部动作，并不时指向公式。

2. 板书内容在该片段中保持不变。

1. 状态转移图全程可见。

2. 方程 $S_2 = P S_1 = P^2 S_0$ 与 $S_n = P^n S_0$ 全程保留在屏幕上。

视觉布局强化了口述总结：一个具体的两状态马尔可夫图，与描述未来状态的一般矩阵幂运算法则相配合。

1. 声音
   观察依据

   主讲人解读 $S_1$ 和 0 的元素后说道：“我刚刚断言了这一点。”0。

人们可能认为向量$S_0 = (1,0)^T$仅由状态转移图本身决定。

说话者明确指出，该初始条件是为本例而人为设定的；其他初始分布也是可能的，包括两个不同概率之和为1的情形。

1. 声音
   观察依据

   说话者指出，若系统中包含更多分量（例如A、B、C），则该向量将具有三个分量。

由于本例展示的是一个两分量向量，人们可能推断状态向量被限制为仅含两个分量。

分量个数等于状态个数；此处采用两分量形式，仅仅是因为本例只包含状态A和B。

1. 声音
   观察依据

   主讲人明确指出：列以A和B标记，行也以A和B标记；随后将0.4解释为“从B出发、到达A”。

2. 公式
   观察依据

   屏幕上显示的矩阵是$P = \begin{pmatrix}0.75 & 0.4 \\ 0.25 & 0.6\end{pmatrix}$，符合“列代表起始状态、行代表终止状态”的约定。