不确定性传播：线性切线

1. 图示
   观察依据

   图像的纵轴标记为 Y。

Y

非线性模型中的输出变量或因变量。

实数

1. 图示
   观察依据

   图像的横轴标记为$\Theta$。

$\Theta$

具有不确定性的输入变量或参数。

实数

1. 公式
   观察依据

   图像上显示方程$y = f(x|\Theta)$。

f(x|$\Theta$)

将输出 y 与输入 x 及参数$\Theta$关联起来的非线性函数。

实值函数

1. 公式
   观察依据

   显示表达式$Var[y] \sim (dy/d \Theta)^2 Var[\Theta]$。

Var[y]

输出变量 y 的方差。

非负实数

1. 公式
   观察依据

   导数项$(dy/d \Theta)$出现在方差近似公式中。

$dy/d\Theta$

y 关于$\Theta$的导数，表示线性切线的斜率。

实数

1. 公式
   观察依据

   项$Var[\Theta]$出现在方差近似公式中。

Var[$\Theta$]

输入参数$\Theta$的方差。

非负实数

1. 公式
   观察依据

   泰勒级数展开式$Var[f(x|\Theta)] \approx Var\left[f(x|\bar{\Theta}) + \frac{df}{d\Theta}(x|\bar{\Theta})(\Theta - \bar{\Theta}) + \dots\right]$已显示。

Var[f(x|$\Theta$)]

函数$f(x|\Theta)$的方差，通过泰勒级数展开式进行近似。

非负实数

1. 公式
   观察依据

   f(x|θ) 的方差

Var[f(x|θ)]

在给定输入 x 和参数 θ 时，模型输出 f 的方差

统计方差

1. 公式
   观察依据

   f(x|θ̄) 加上 (df/dθ)(x|θ̄) 除以 1! 再乘以 (θ - θ̄)，再加上 ……

f(x|θ̄) + $\frac{\frac{df}{d\theta}(x|\bar{\theta})}{1!}(\theta - \bar{\theta})$ + ...

函数 f 在参数均值 θ̄ 处的一阶泰勒级数展开

微积分

1. 公式
   观察依据

   （∂f/∂$θ_i$）的2次方

$\left(\frac{\partial f}{\partial \theta_i}\right)^2$

函数 f 关于第 i 个参数 $θ_i$ 的偏导数的平方

微积分

1. 公式
   观察依据

   $θ_i$ 的方差

var[$\theta_i$]

第 i 个参数 $θ_i$ 的方差

统计学

1. 公式
   观察依据

   $θ_i$ 与 $θ_j$ 的协方差

cov[$\theta_i$, $\theta_j$]

第 i 个参数与第 j 个参数之间的协方差

统计学

1. 声音
   观察依据

   主讲人解释道：对于非线性模型，可通过取模型的线性切线来传播不确定性。

2. 图示
   观察依据

   一张图展示了一条非线性曲线，并在某一点处画出了其线性切线。

为了将不确定性传播到非线性模型中，需在输入参数的均值处，用该模型的线性切线对其进行近似。这样便可利用线性模型的相关规则来估计输出的方差。

1. 输入参数$\Theta$具有已知的均值和方差。

2. 函数$f(x|\Theta)$关于$\Theta$可导。

1. 声音
   观察依据

   主讲人提到，用泰勒级数展开式替代原函数，并重点关注前几项。

2. 公式
   观察依据

   泰勒级数展开公式显示在屏幕上。

非线性函数$f(x|\Theta)$在均值$\bar{\Theta}$处进行泰勒级数展开，取该展开式的前几项，将函数近似为一个线性模型。

1. 函数$f(x|\Theta)$关于$\Theta$无穷次可导。

2. 该展开式以均值$\bar{\Theta}$为中心。

1. 线性切线近似

1. 公式
   观察依据

   f(x|θ) 的方差 ≈ f(x|θ̄) + (df/dθ)(x|θ̄)/1! (θ - θ̄) + ... 的方差

2. 声音
   观察依据

   主讲人解释道，在非线性模型中，我们使用导数而非特定斜率；而这些导数会随参数空间中所处位置的不同而变化。

为将不确定性传播至非线性模型中，需在均值参数值处对模型函数作一阶泰勒级数展开近似。该方法在局部将函数线性化，从而可应用标准的方差传播规则。

1. 模型必须关于其参数可微。

2. 该展开式仅在均值参数值 θ̄ 附近局部有效。

1. 公式
   观察依据

   $f(x)$ 的方差约等于 (∂f/∂$θ_i$) 的2次方乘以 $θ_i$ 的方差

2. 声音
   观察依据

   每一项不确定性来源……均以其直接分量形式表示：即该项的方差乘以输出对输入响应的导数的平方。

单个参数的不确定性对总输出方差的贡献，等于该参数的方差与模型输出对该参数的偏导数的平方的乘积。这表示输出对该特定输入的敏感程度。

1. 假设采用一阶泰勒近似。

2. 适用于相互独立的参数，或用于分离单个参数的直接影响。

1. 非线性模型的一阶泰勒展开

1. 公式
   观察依据

   $f(x)$ 的方差约等于 Σ (∂f/∂$θ_i$)2 var[$θ_i$] 加上 $Σ_{i\ne j}$ (∂f/∂$θ_i$)(∂f/∂$θ_j$) cov[$θ_i$, $θ_j$]

2. 声音
   观察依据

   我们还需加入一些项，用以刻画由两个因子各自的偏导数之乘积再乘以这两个因子之间协方差所引发的交互作用。

当参数相关时，其联合不确定性会对输出方差产生贡献。这一交互效应通过遍历所有互异参数对、将各自偏导数与其协方差相乘后求和来刻画。

1. 参数之间可能存在相关性。

2. 需要计算各参数对之间的协方差以及偏导数。

1. 不确定性传播中的直接方差分量

1. 声音
   观察依据

   主讲人描述了用线性切线近似非线性模型以传播不确定性的过程。

2. 图示
   观察依据

   图像直观展示了非线性曲线上线性切线的概念。

1. 公式

   $$$$
   解释

   识别非线性函数$f(x|\Theta)$以及输入参数的均值$\bar{\Theta}$。

   步骤依据

   目标是在均值附近对函数进行局部近似。

   视频直接表达
2. 公式

   $$$$
   解释

   计算该函数关于$\Theta$在均值$(dy/d \Theta)|_{\Theta=\bar{\Theta}}$处的导数。

   步骤依据

   该导数表示在均值处线性切线的斜率。

   视频直接表达
3. 公式

   $$$$
   解释

   利用线性切线近似来估计输出$y$的方差：$Var[y] \sim (dy/d \Theta)^2 Var[\Theta]$。

   步骤依据

   对于线性函数，输出的方差等于斜率的平方乘以输入的方差。

   视频直接表达

非线性函数输出的方差可通过在输入参数均值处使用线性切线来近似。

1. 公式
   观察依据

   一系列公式，展示由泰勒展开导出方差分解的过程。

2. 声音
   观察依据

   讲解者叙述从线性模型过渡到非线性模型的过程，借助导数说明最终方差公式的各个组成部分。

1. 公式

   $$Var[f(x|\theta)] \approx Var\left[f(x|\bar{\theta}) + \frac{\frac{df}{d\theta}(x|\bar{\theta})}{1!}(\theta - \bar{\theta}) + \dots\right]$$
   解释

   从非线性函数 f(x|θ) 出发，在均值参数向量 θ̄ 处进行一阶泰勒展开，以在局部将其线性化。

   步骤依据

   泰勒级数展开的定义。

   视频直接表达
2. 公式

   $$var[f(x)] \approx \left(\frac{\partial f}{\partial \theta_i}\right)^2 var[\theta_i]$$
   解释

   识别第 i 个参数的方差对输出方差的直接贡献，该贡献按其灵敏度（偏导数）的平方进行缩放。

   步骤依据

   方差通过线性变换传播的标准规则。

   视频直接表达
3. 公式

   $$var[f(x)] \approx \sum \left(\frac{\partial f}{\partial \theta_i}\right)^2 var[\theta_i] + \sum_{i \neq j} \left(\frac{\partial f}{\partial \theta_i}\right) \left(\frac{\partial f}{\partial \theta_j}\right) cov[\theta_i, \theta_j]$$
   解释

   对所有参数的直接方差贡献求和，并加上由参数相关性引起的交互项，这些交互项由协方差表示。

   步骤依据

   随机变量之和的方差性质，包括依赖变量情形下的协方差项。

   视频直接表达

非线性模型输出的近似方差可分解为：各项参数方差贡献之和，每项按其灵敏度的平方加权；再加上按参数协方差加权的交互项。

1. 图示
   观察依据

   一张图展示了一条非线性曲线，并在某一点处画出了其线性切线；坐标轴分别标记为Y和$\Theta$。

1. 非线性曲线

2. 线性切线

3. 坐标轴标记为Y和$\Theta$

1. 在非线性曲线上的某一点处，画出线性切线。

1. 非线性曲线保持不变。

2. 坐标轴标签保持不变。

该图像说明：如何用一条线性切线在局部逼近非线性函数，从而估算不确定性的传播。

1. 公式
   观察依据

   屏幕上显示泰勒级数展开公式。

1. 泰勒级数展开公式

1. 该公式出现在屏幕上。

1. 其他视觉元素均不发生变化。

该公式为围绕均值对非线性函数进行级数展开逼近提供了数学基础。

1. 图示
   观察依据

   方差算子内静态展示泰勒展开公式。

1. 数学公式

1. 该公式在屏幕上保持静止，同时讲解者引入相关概念。

以可视化方式锚定利用泰勒级数对非线性模型进行线性化的数学定义。

1. 图示
   观察依据

   单参数误差传播公式的静态展示。

1. 数学公式

1. 该公式在讲解过程中保持静止显示于屏幕之上。

突出展现单个参数的不确定性如何通过模型敏感度进行缩放这一核心机制。

1. 图示
   观察依据

   包含求和项与协方差项的完整误差传播公式的静态展示。

1. 数学公式

1. 该公式在讲解过程中保持静止显示于屏幕之上。

呈现用于近似输出方差的完整解析表达式，综合了直接效应与交互效应。

1. 声音
   观察依据

   关键区别在于：在线性模型中我们具有确定的斜率，而在非线性模型中我们使用导数代替；且这些导数会随参数空间中的位置不同而变化。

学习者可能误以为非线性模型像线性模型一样具有恒定斜率。

在非线性模型中，‘斜率’被导数所取代，而这些导数会随参数空间中位置的不同而变化。

1. 声音
   观察依据

   讲解者将线性切线逼近与泰勒级数展开联系起来。

线性切线逼近是非线性函数泰勒级数展开中一阶项的一种具体应用。

1. 声音
   观察依据

   主讲人从讨论泰勒展开式过渡到解释直接方差分量。

一阶泰勒展开式提供了必要的线性近似，从而可将标准的方差传播规则应用于各个参数。

1. 声音
   观察依据

   主讲人在解释完直接分量后说道：‘与之前一样，我们还需包含用于描述交互作用的项……’

完整的方差传播公式包含其第一求和项——即直接方差分量，并通过协方差交互项加以扩充。

1. 声音
   观察依据

   主讲人讨论了利用线性切线近似法在非线性模型中传播不确定度。

1. 线性切线近似

1. 声音
   观察依据

   主讲人提到泰勒级数展开是一种近似非线性函数的方法。

1. 泰勒级数展开

1. 声音
   观察依据

   解释为何非线性模型需使用导数而非斜率。

1. 非线性模型的一阶泰勒展开

1. 公式
   观察依据

   展示协方差求和项的公式。

1. 通过协方差体现的不确定性传播中的交互项