概率与统计 / 英语

真正弄懂逻辑回归模型，逻辑回归详解

小黑黑讲AI · 哔哩哔哩 · 12:47

哔哩哔哩 · 小黑黑讲AI原视频

选中时刻 · 7:20 · 章节点是时间参考，不表示实时播放进度。

视频中的要点

01Sigmoid 函数
02线性分类
03决策边界

来自学习笔记

g(z) = \frac{1}{1+e^{-z}}

Sigmoid 函数

选中时刻

正例与负例的代价性质

建议预备知识

实数指数函数
平面直角坐标系
直线方程
二分类标签 $0/1$ 的基本概念
线性表达式与特征权重的初步认识
函数复合的直观理解
概率值在 0 到 1 之间的基本含义
指数函数与对数函数的基本性质
函数的值域概念
求和符号与平均值
线性组合与参数概念
概率与分类标签的基本含义
对数函数性质
Sigmoid 函数
梯度下降法基础
线性代数基础（向量、点积）
微积分基础（导数、梯度）
Python编程基础
PyTorch或类似深度学习框架的基本用法

阅读与收藏

把讲解展开来看。

被收藏 0

已审核学习内容 · 视频分析 · 中文

阅读完整概览

本片段介绍了逻辑回归的基础概念，包括 Sigmoid 函数的定义、线性分类的原理以及决策边界的概念。通过二维散点图示例，展示了如何使用直线将正负样本分开。最后引入了逻辑回归的假设函数，说明其如何通过 Sigmoid 函数将特征线性组合转化为概率预测。本片段围绕逻辑回归的假设函数展开：先用二维散点图说明二分类任务，再强调模型输出 $h_θ(x)$ 落在 [0,1] 内并可解释为类别概率；随后给出基于阈值 p 的正负例判定规则，并举例 $p=0.5$ 、 $h_θ(x)=0.75$ 时判为正例。后半段引入 sigmoid 函数 $g(z)=1/(1+e^{-z})$ ，说明其定义域、极限和对称性，最后把线性表达式 $z=θ_0+θ_1x_1$ +...+θ_nx_n 代入 $g(z)$ ，得到完整的逻辑回归假设函数。本片段围绕逻辑回归的代价函数展开。开头先回顾假设函数 $h_θ(x)$ 的形式与值域，随后给出交叉熵损失函数 $J(θ)$ ，说明训练目标是求使 $J(θ)$ 最小的参数。接着视频把总代价拆成单样本代价的平均，并分别用图像说明正例和负例情况下代价随预测值 h 变化应满足的性质。为了实现这些性质，视频引入 -log(x) 与 -log(1-x) 两个函数，观察它们在 0 到 1 区间内的对称性和端点行为，最后把自变量 x 替换为模型预测值 h，从而解释逻辑回归为什么采用交叉熵作为代价函数。本片段详细讲解了逻辑回归模型的代价函数设计。首先通过图像直观展示了正负样本预测错误时的代价变化，给出了分段形式的单样本代价函数，并将其合并为统一的对数表达式。随后，定义了基于所有样本平均的总代价函数，即交叉熵损失。最后，通过 PyTorch 代码实战，演示了从数据生成、模型定义到循环训练的全过程，验证了该损失函数的有效性。本片段展示了逻辑回归模型训练代码的最后几个步骤，包括参数更新、梯度清零以及在训练过程中定期打印损失值以监控收敛情况。随后，视频演示了如何利用训练好的模型参数计算出二维空间中的线性决策边界方程，并通过散点图直观地展示了模型的分类效果。

在学习检查器中查看要点和时刻，或切换阅读标签查看完整笔记。

章节

0:00开场介绍 0:20Sigmoid 函数 0:36什么是线性分类 2:23逻辑回归的假设函数 3:00逻辑回归假设函数开场 3:04二分类样本与预测任务 3:27输出范围与概率解释 3:58阈值分类规则与示例 4:39sigmoid 函数定义与图像性质 5:27线性部分与 sigmoid 合成为假设函数 6:00逻辑回归的假设函数 6:09交叉熵损失函数与训练目标 6:44单样本代价与平均代价 7:20正例与负例的代价性质 7:58引入对数函数构造代价 8:43把 x 对应为预测值 h 9:00单样本代价函数的设计与图像解释 9:35合并代价函数公式 9:49总代价函数（交叉熵损失）的定义 10:09PyTorch 实现逻辑回归训练 12:00完成训练循环：参数更新与梯度清零 12:08监控训练过程：定期打印损失值 12:23可视化结果：计算并绘制决策边界 12:34课程总结

学习解说文稿

依据视频画面与讲解整理，并非逐字语音转写。

视频开场，主讲人介绍今天要讲解的主题是逻辑回归。

画面展示逻辑回归的应用场景：左侧是 Sigmoid 函数图像，标注为'应用最为广泛的二分类模型'；右侧是神经网络结构图，标注为'进一步学习深度学习的基础'。

画面切换到 Sigmoid 函数的详细定义。显示公式 $g(z) = \frac{1}{1+e^{-z}}$ 及其 S 型曲线图像。主讲人说明本节课将从三个方面讲解：什么是线性分类、逻辑回归的算法原理、PyTorch 实现逻辑回归。

标题画面：'什么是线性分类'。

画面展示二维散点图。横轴为 $x_1$ ，纵轴为 $x_2$ 。蓝色圆圈表示正样本（标签 $y=1$ ），红色叉子表示负样本（标签 $y=0$ ）。

在散点图上画出一条直线 $x_1+x_2-3=0$ 。该直线交 $x_1$ 轴于点 $(3,0)$ ，交 $x_2$ 轴于点 $(0,3)$ 。可以观察到正负样本刚好分布在直线的两侧。

画面右侧显示分类规则：对于任意样本 $(x_1, x_2)$ ，代入表达式 $x_1+x_2-3$ 。若 $-3+x_1+x_2 \ge 0$ ，则 $y=1$ （正例）；若 $-3+x_1+x_2 < 0$ ，则 $y=0$ （负例）。

主讲人总结：通过直线 $x_1+x_2-3=0$ 对样本进行了分类，这条直线就是分类问题的决策边界。使用直线区分正负样本的方法称为线性分类。

画面回到 Sigmoid 函数图像和散点图并列。主讲人说明逻辑回归算法会训练出由直线表示的决策边界，因此逻辑回归是线性分类器。

标题画面：'逻辑回归的假设函数'。

画面展示假设函数流程图：输入数据（样本的特征向量 $x$ ）→ 假设函数 $h_θ(x)$ → 输出结果（模型的预测结果）。主讲人解释任何机器学习模型都需要假设函数来表示输入与输出的关系。

画面显示逻辑回归的假设函数公式： $h_θ(x) = \frac{1}{1 + e^{-(θ_0+θ_1x_1+θ_2x_2+...+θ_nx_n)}}$ 。主讲人预告将基于分类问题本身来解释这个公式。

片段一开始直接给出逻辑回归的假设函数： $h_\theta(x)=\frac{1}{1+e^{-(\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n)}}$ ，并在画面中标注这就是“逻辑回归的假设函数”。这一步先把最终形式亮出来，后面再解释它为什么长这样。

接着画面切到二维散点图，横轴是 $x_1$ ，纵轴是 $x_2$ ，两类样本分别标成 $y=1$ 和 $y=0$ ，中间有一条橙色分界线。旁白据此说明逻辑回归面对的是二分类任务：把未知样本 $x$ 输入模型后，要判断它属于正例还是负例。

随后视频转入对输出含义的解释。画面文字强调 $h_\theta(x)\in[0,1]$ ，并把预测结果 $h$ 看作“样本 $x$ 属于某个类别的概率”。也就是说，模型先给出一个连续的概率型评分，而不是立刻给出离散的 $0/1$ 标签。

在此基础上，旁白进一步说明概率大小与类别倾向的关系：当预测值接近 1 时，样本更可能是正例；当预测值接近 0 时，样本更可能是负例。这为后面的阈值判定做了铺垫。

接下来出现分支图：对某样本 $x_1,x_2,x_3,\ldots,x_n$ ，若 $h_\theta(x)\ge p$ ，则判为“正例”；若 $h_\theta(x)<p$ ，则判为“负例”。这里的 $p$ 是预先设定的阈值，用来把连续输出转换成离散分类结果。

视频随即给出一个数值例子：令 $p=0.5$ ，若模型输出 $h_\theta(x)=0.75$ ，因为 $0.75>0.5$ ，所以该样本被判断为正例。这个例子把前面的规则具体化，说明阈值如何决定最终类别。

后半段开始解释为什么输出会落在 0 到 1 之间。画面引入 sigmoid 函数，并写出 $g(z)=\frac{1}{1+e^{-z}}$ 。旁白明确说，引入这个函数就是为了使 $h_\theta(x)$ 的输出成为 0 到 1 之间的某个值。

配合右侧公式，左侧展示了 S 形曲线。视频依次强调三条图像性质：自变量 $z$ 的取值范围是 $(-\infty,+\infty)$ ；当 $z\to-\infty$ 时， $g(z)\to0$ ；当 $z\to+\infty$ 时， $g(z)\to1$ 。此外，曲线在 $z=0$ 处呈左右对称。

最后，画面把三个组件并列起来：先是直线表达式 $\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n=0$ ，再把它记为 $z=\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n$ ，然后外层接上 $g(z)=\frac{1}{1+e^{-z}}$ 。由此合成得到 $h_\theta(x)=\frac{1}{1+e^{-(\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n)}}$ 。

片段收尾时总结结构关系：逻辑回归的假设函数由“线性部分 $z$ ”和“sigmoid 函数”两部分组成，其中自变量是 $x_1$ 到 $x_n$ ，参数是 $\theta_0$ 到 $\theta_n$ ，值域是 0 到 1。这样就把开头的公式、概率解释和阈值分类串成完整链条。

片段一开始先回到逻辑回归模型本身。画面左侧写出线性组合 $θ_0+θ_1x_1+θ_2x_2$ +...+θ_nx_n，并把它记作 z；旁边又给出 $g(z)=1/(1+e^{-z})$ 。右侧则把二者合成一个完整表达式 $h_θ(x)=1$ /( $1+e$ ^{-( $θ_0+θ_1x_1+θ_2x_2$ +...+θ_nx_n)})，并标注这是“逻辑回归的假设函数”。旁白同时说明自变量是 $x_1$ 到 $x_n$ ，参数是 $θ_0$ 到 $θ_n$ ，函数值域是 0 到 1。这里的重点是： $h_θ(x)$ 不是任意输出，而是一个介于 0 和 1 之间的量，后面会被解释为预测概率。

接着画面切到“交叉熵损失函数”。屏幕上直接给出 $J(θ)=-1/m\sum _{i=1}^m [y^{(i)}\log (h_θ(x^{(i)}))+(1-y^{(i)})\log (1-h_θ(x^{(i)}))]$ 。下方文字解释代价函数的作用：它衡量模型在训练集上所犯错误的大小，并且要准确描述样本预测值与真实值之间的误差。旁白进一步指出，在逻辑回归中就用这个交叉熵损失函数作为代价函数。于是问题从“模型怎么预测”转为“怎样让预测误差最小”。

在这一页的后半段，视频把优化目标说得更明确：我们要求出代价函数 J 取得最小值时，逻辑回归模型中的参数 $θ_0$ 到 $θ_n$ 的具体值。也就是说，训练逻辑回归并不是直接“猜”参数，而是通过最小化 $J(θ)$ 来确定参数。这一步为后面的推导设定了方向：只要弄清楚 $J(θ)$ 为什么长成这样，就能理解交叉熵为何适合作为代价函数。

随后画面换成两行公式。第一行是“某一个样本的代价：cost( $h_θ(x^{(i)})$ , $y^{(i)}$ )”，第二行是“m个样本的平均代价： $J(θ)=1/m\sum _{i=1}^m$ cost( $h_θ(x^{(i)})$ , $y^{(i)}$ )”。旁白解释，cost 函数里的 $h_θ(x)$ 表示样本属于某个类别的预测概率，y 是样本标签，而 cost 描述的是模型对一个样本所犯错误的大小。这里的关键转换是：总代价 $J(θ)$ 可以看成许多单样本代价的平均，所以只要先弄清单个样本的代价应该满足什么性质，就能反推出 $J(θ)$ 的形式。

接下来视频用图像规定单样本代价应具备的性质。先出现一张横轴为 h、纵轴为 cost 的曲线图，图例标注 $y=1$ 。曲线从左上往右下递减，旁边文字写着：当样本是正例时，标记 $y=1$ ；如果预测值 $h\to 0$ ，代价 cost 越大； $h\to 1$ ，代价 cost 越小。旁白逐句解释这一要求：对正例来说，模型越把样本判成负类，惩罚越重；越接近正确类别，惩罚越轻。这一步不是给出公式，而是先给出“代价函数应当长什么样”的直觉标准。

然后画面切换到另一张曲线图，这次图例是 $y=0$ 。曲线从左下往右上递增，文字说明：当样本是负例时，标记 $y=0$ ；如果预测值 $h\to 0$ ，代价 cost 越小； $h\to 1$ ，代价 cost 越大。旁白对应解释：对负例来说，模型越把样本判成正类，惩罚越重；越接近 0，惩罚越轻。把这两张图合起来看，视频实际上是在定义单样本代价的期望行为：预测越错，cost 越大；预测越对，cost 越小，而且正例和负例的方向正好相反。

有了这两条性质之后，视频开始寻找能够满足它们的函数。画面出现两个坐标系，图例分别标注 -log(x) 和 -log(1-x)。旁白说“为了实现这样的cost函数，引入log函数”，并把这两个函数画在坐标系中。左图先展示较宽范围下的曲线，并强调它们关于 $x=0.5$ 左右对称。这里的作用是把抽象的“希望代价怎样变化”落到具体函数族上：对数函数天然具有在一端趋于无穷、在另一端趋于 0 的性质，很适合用来刻画惩罚。

随后画面把注意力集中到右图，并将自变量 x 限制在 0 到 1 之间。这个限制很重要，因为前面已经说明 $h_θ(x)$ 的值域就是 0 到 1，所以只有把对数函数的输入也放到同一区间，才能把它解释成关于预测概率的代价。视频接着逐项读图：蓝色函数 -log(x) 在 x 趋近于 0 时函数值趋近于正无穷，在 $x=1$ 时函数值为 0；橙色函数 -log(1-x) 在 x 趋近于 1 时函数值趋近于正无穷，在 $x=0$ 时函数值是 0。这样就把前面两张 cost-h 曲线所要求的单调性和端点行为，与具体对数函数一一对应起来。

最后一段完成变量替换。画面文字直接写明：“自变量x：模型的预测值h；蓝色函数：样本为正例时，代价cost随预测值h的变化；橙色函数：样本为负例时，代价cost随预测值h的变化。”旁白也说，如果函数的自变量 x 就对应模型的预测值 h，那么蓝色函数恰好可以代表正例时代价随 h 的变化，橙色函数则可以表示负例时的情况。于是，前面抽象的 -log(x) 与 -log(1-x) 被重新解释为 -log(h) 与 -log(1-h)，这正是交叉熵公式中两项的来源。片段在这里结束，已经把“为什么逻辑回归的代价函数是交叉熵”这条思路完整铺开。

视频开篇展示了逻辑回归中单样本代价函数的几何意义。对于正样本（ $y=1$ ），我们希望预测值 h 越接近 1 越好，因此使用 $-\log(h)$ 作为代价，当 h 趋近于 0 时代价趋于无穷大；对于负样本（ $y=0$ ），我们希望预测值 h 越接近 0 越好，因此使用 $-\log(1-h)$ 作为代价。

为了方便编程和理论推导，我们将上述分段函数合并为一个统一的表达式： $\text{cost} = -y \log(h) - (1-y) \log(1-h)$ 。利用 $y \in \{0, 1\}$ 的特性，该公式能自动在两种情况间切换。

单个样本的代价不足以评估整体模型性能。我们将训练集中所有 $m$ 个样本的代价求和并取平均，得到总代价函数 $J(\theta)$ 。这个函数在机器学习中被称为“交叉熵损失”（Cross-Entropy Loss），它是衡量分类模型预测概率分布与真实标签分布差异的核心指标。

随后，视频转入 PyTorch 实战环节。首先使用 `sklearn.datasets.make_blobs` 生成一个包含 50 个样本的二分类数据集，并用 matplotlib 可视化。接着，将数据转换为 PyTorch 张量，初始化模型参数 $\theta_0, \theta_1, \theta_2$ 并配置 Adam 优化器。

核心代码部分实现了两个关键函数：`hypothesis` 函数负责前向传播，计算线性组合 $z = \theta_0 + \theta_1 x_1 + \theta_2 x_2$ 并通过 Sigmoid 激活函数得到预测概率 $h$ ；`J` 函数则严格按照之前推导的交叉熵公式计算 Batch Loss。

最后是标准的训练循环：在 10000 次迭代中，依次执行前向传播计算 Loss、反向传播 `loss.backward()` 计算梯度、优化器 `step()` 更新参数以及 `zero_grad()` 清空历史梯度。视频展示了 Loss 值从初始的 0.693 稳步下降至接近 0 的过程，证明了模型成功收敛。

在逻辑回归的训练循环中，当通过反向传播计算出损失函数关于模型参数的梯度后，下一步是调用 `optimizer.step()`。这个操作会根据计算出的梯度和预设的学习率来更新模型的参数（如 $\theta_0, \theta_1, \theta_2$ ），使模型向损失更小的方向前进。

紧接着，必须调用 `optimizer.zero_grad()` 将梯度清零。这是因为在 PyTorch 等深度学习框架中，梯度默认是累加的。如果不清零，下一次迭代计算的梯度会与上一次的叠加，导致参数更新错误。

为了监控模型的训练进度和收敛情况，可以在循环中加入条件判断，例如 `if epoch % 1000 == 0:`，每隔1000次迭代打印一次当前的损失值。

在打印时，通常使用 `loss.item()` 来获取损失的标量值。因为 `loss` 是一个只包含一个元素的张量（Tensor），`.item()` 方法可以将其转换为标准的 Python 浮点数，方便打印和后续处理。

从程序的运行结果可以看出，随着迭代次数的增加，损失值从最初的 0.693 逐渐减小，最终在第9000次迭代时降为 0.00。这表明模型正在成功地学习数据的规律，并趋于收敛。

训练完成后，我们就可以利用学到的参数来对新数据进行预测，或者可视化模型的决策过程。对于二维特征 $(x_1, x_2)$ 的逻辑回归，其决策边界是一条直线，满足方程 $w_1 x_1 + w_2 x_2 + b = 0$ ，其中 $w_1, w_2$ 是权重， $b$ 是偏置。

为了在 matplotlib 中绘制这条直线，我们需要将方程变形为 $x_2 = -\frac{w_1}{w_2} x_1 - \frac{b}{w_2}$ 的形式。视频中的代码 ` $d = - (w1 * x + b) * 1.0 / w2$ ` 正是实现了这一计算，其中 `x` 是一系列横坐标点，`d` 是对应的纵坐标点。

将计算出的决策边界绘制在原始数据的散点图上，可以清晰地看到这条蓝色的直线如何将红色叉号和蓝色圆点这两类样本完美地分开。这直观地展示了逻辑回归作为一种线性分类器的能力。至此，关于逻辑回归的核心内容就讲解完毕了。

知识卡片

Sigmoid 函数

Sigmoid 函数是一种常用的激活函数，其定义为 $g(z) = \frac{1}{1+e^{-z}}$ 。它将任意实数映射到 (0, 1) 区间，形成 S 型曲线。在逻辑回归中，Sigmoid 函数用于将特征的线性组合转化为概率值。

g(z) = \frac{1}{1+e^{-z}}

线性分类

线性分类是指使用一条直线（在二维空间）或超平面（在高维空间）将不同类别的样本分开的分类方法。这条直线或超平面称为决策边界。例如，直线 $x_1+x_2-3=0$ 可以将平面上的正负样本分开：若 $x_1+x_2-3 \ge 0$ ，样本为正例；若 $x_1+x_2-3 < 0$ ，样本为负例。

x_1+x_2-3=0

决策边界

决策边界是分类模型中用于划分不同类别的边界。在线性分类中，决策边界是一条直线或超平面。逻辑回归算法会训练出一个由直线表示的决策边界，因此逻辑回归是线性分类器。决策边界的方程通常形式为 $θ_0+θ_1x_1+θ_2x_2+...+θ_nx_n=0$ 。

逻辑回归的假设函数

逻辑回归的假设函数通过 Sigmoid 函数将特征的线性组合映射到 (0, 1) 区间，表示样本属于正类的概率。公式为 $h_θ(x) = \frac{1}{1 + e^{-(θ_0+θ_1x_1+θ_2x_2+...+θ_nx_n)}}$ ，其中 $θ_i$ 是模型参数， $x_i$ 是特征。任何机器学习模型都需要假设函数来表示输入数据与输出结果之间的关系。

h_θ(x) = \frac{1}{1 + e^{-(θ_0+θ_1x_1+θ_2x_2+...+θ_nx_n)}}

逻辑回归的二分类预测任务

视频用二维散点图说明逻辑回归要解决的问题：平面上有两类样本，正例标记为 $y=1$ ，负例标记为 $y=0$ 。模型接收未知样本 x 后，需要判断它属于哪一类。

逻辑回归假设函数的显式形式

片段开头直接给出逻辑回归假设函数：先对特征做线性组合，再经过指数与分式映射，得到最终输出。这个公式在后文被拆解为“线性部分 + sigmoid”来解释。

h_\theta(x)=\frac{1}{1+e^{-(\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n)}}

$h_θ(x)$ 的输出范围与概率解释

视频强调逻辑回归的输出不是任意实数，而是落在 [0,1] 区间内的值，因此可以把 $h_θ(x)$ 解释为样本 x 属于某个类别的概率。输出越接近 1，越像正例；越接近 0，越像负例。

h_\theta(x)\in[0,1]

基于阈值 p 的分类规则

在得到概率型输出后，视频给出硬分类规则：若 $h_θ(x)\ge p$ ，则判为正例；若 $h_θ(x)<p$ ，则判为负例。阈值 p 用来控制分类界限，把连续评分转成离散类别。

\begin{cases}\text{positive example}, & h_\theta(x)\ge p\\ \text{negative example}, & h_\theta(x)<p\end{cases}

阈值示例： $p=0.5$ 且 $h_θ(x)=0.75$

视频举出一个具体例子：当阈值设为 0.5，而模型输出为 0.75 时，由于 $0.75>0.5$ ，样本会被判断为正例。这个例子展示了阈值规则的实际用法。

p=0.5,\quad h_\theta(x)=0.75>0.5

sigmoid 函数的定义

为了让模型输出落在 0 到 1 之间，视频引入 sigmoid 函数 $g(z)$ 。它把任意实数输入压缩到开区间 (0,1) 内，是逻辑回归假设函数的外层映射。

g(z)=\frac{1}{1+e^{-z}}

sigmoid 函数的图像性质

画面用 S 形曲线展示 sigmoid 的关键性质：定义域是 (-∞,+ $\infty$ )；当 $z\to -\infty$ 时函数值趋近 0；当 $z\to +\infty$ 时函数值趋近 1；并且在 $z=0$ 处左右对称。这些性质解释了为什么它能提供概率型输出。

线性部分与 sigmoid 合成假设函数

视频最后把直线表达式记为 $z=θ_0+θ_1x_1$ +...+θ_nx_n，再将其代入 $g(z)$ ，得到完整假设函数 $h_θ(x)$ 。因此逻辑回归假设函数可理解为“线性打分 + sigmoid 压缩”的复合结构。

z=\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n,\quad h_\theta(x)=\frac{1}{1+e^{-z}}

逻辑回归的假设函数

视频首先给出逻辑回归模型的核心输出形式： $h_θ(x)=1$ /( $1+e$ ^{-( $θ_0+θ_1x_1+θ_2x_2$ +...+θ_nx_n)})。它由线性组合和映射函数 $g(z)=1/(1+e^{-z})$ 组成，作用是把自变量 $x_1$ 到 $x_n$ 与参数 $θ_0$ 到 $θ_n$ 的组合压缩到 0 到 1 之间，因此后面可以把 $h_θ(x)$ 解释为样本属于某类别的预测概率。

h_\theta(x)=\frac{1}{1+e^{-(\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n)}}

交叉熵损失函数作为逻辑回归代价

视频明确说明，在逻辑回归模型中使用交叉熵损失函数作为代价函数。其作用是衡量模型在训练集上所犯错误的大小，并准确描述样本预测值与真实值之间的误差。公式中对每个样本同时包含 $y^{(i)}\log (h_θ(x^{(i)}))$ 与 ( $1-y^{(i)}$ ) $\log (1-h_θ(x^{(i)}))$ 两项，分别对应正例和负例情形。

J(\theta)=-\frac{1}{m}\sum_{i=1}^{m}\left[y^{(i)}\log(h_\theta(x^{(i)}))+(1-y^{(i)})\log(1-h_\theta(x^{(i)}))\right]

训练目标是使 $J(θ)$ 最小

在给出交叉熵公式后，视频把逻辑回归的训练问题表述为：求代价函数 J 取得最小值时，参数 $θ_0$ 到 $θ_n$ 的具体值。这说明逻辑回归的参数不是直接给定的，而是通过最小化训练集上的平均代价来确定的。

总代价是单样本代价的平均

视频把 $J(θ)$ 改写为 m 个样本单样本代价的平均： $J(θ)=1/m\sum$ cost( $h_θ(x^{(i)})$ , $y^{(i)}$ )。这样做的意义是，把复杂的总体优化问题拆解成“先理解一个样本的代价应满足什么性质，再推广到整个训练集”。

J(\theta)=\frac{1}{m}\sum_{i=1}^{m}\operatorname{cost}(h_\theta(x^{(i)}),y^{(i)})

单样本 cost 的两个输入

视频解释 cost( $h_θ(x)$ ,y) 中， $h_θ(x)$ 表示样本属于某个类别的预测概率，y 是样本标签；cost 函数描述模型对于一个样本所犯错误的大小。也就是说，单样本代价不是只看预测值本身，而是把预测值和真实标签放在一起比较。

\operatorname{cost}(h_\theta(x),y)

正例样本的代价性质

当样本是正例时，标签 $y=1$ 。视频用曲线说明此时期望的性质是：如果预测值 h 越接近 0，代价 cost 越大；如果 h 越接近 1，代价 cost 越小。换句话说，正例被模型判得越不像正类，惩罚越重。

负例样本的代价性质

当样本是负例时，标签 $y=0$ 。视频用另一条曲线说明：如果预测值 h 越接近 0，代价 cost 越小；如果 h 越接近 1，代价 cost 越大。也就是说，负例被模型判得越像正类，惩罚越重。正例与负例的代价变化方向正好相反。

引入 -log(x) 与 -log(1-x)

为了实现上述单样本代价性质，视频引入两个对数函数 -log(x) 与 -log(1-x)，并把它们画在坐标系中。它们的一个重要特征是彼此关于 $x=0.5$ 左右对称，而且在一端趋于正无穷、在另一端趋于 0，这正好符合“预测越错惩罚越大，预测越对惩罚越小”的要求。

-\log(x),\quad -\log(1-x)

把自变量限制在 0 到 1

视频随后把对数函数的自变量 x 限制在 0 到 1 之间，因为逻辑回归的预测值 $h_θ(x)$ 本身就落在这个区间。限制后可以看到：-log(x) 在 $x\to 0$ 时趋于正无穷，在 $x=1$ 时为 0；-log(1-x) 在 $x\to 1$ 时趋于正无穷，在 $x=0$ 时为 0。这与正例、负例的代价要求逐点对应。

从 x 到 h：交叉熵项的来源

最后，视频把对数函数中的自变量 x 重新解释为模型预测值 h。于是蓝色曲线 -log(x) 对应正例时的单样本代价随 h 的变化，橙色曲线 -log(1-x) 对应负例时的单样本代价随 h 的变化。这一步直接解释了交叉熵公式中为什么会出现 $\log (h_θ(x))$ 与 $\log (1-h_θ(x))$ 两项。

逻辑回归单样本代价函数

根据真实标签 y 的值选择不同公式。 $y=1$ 时用 -log(h)， $y=0$ 时用 -log(1-h)。目的是惩罚错误的预测概率。

\text{cost}(h, y) = \begin{cases} -\log(h), & y = 1 \\ -\log(1 - h), & y = 0 \end{cases}

合并后的代价函数

利用 y 的二元性将分段函数合二为一，便于代码实现和数学推导。

\text{cost}(h, y) = -y \log(h) - (1 - y) \log(1 - h)

详细学习笔记

按知识点查看条件、步骤和证据。补充解释与视频直接内容分别标明。

符号定义 · 44

$x_1$

依据清楚

视频直接表达

来源依据

图示
观察依据
平面直角坐标系横轴标记为 $x_1$
公式
观察依据
出现在直线方程 $x_1+x_2-3=0$ 和假设函数 $h_θ(x)$ 中

符号

$x_1$

含义

样本的第一个特征

适用范围

实数

$x_2$

依据清楚

视频直接表达

来源依据

图示
观察依据
平面直角坐标系纵轴标记为 $x_2$
公式
观察依据
出现在直线方程 $x_1+x_2-3=0$ 和假设函数 $h_θ(x)$ 中

符号

$x_2$

含义

样本的第二个特征

适用范围

实数

y

依据清楚

视频直接表达

来源依据

字幕依据
观察依据
正样本标签 $y=1$ ，负样本标签 $y=0$
公式
观察依据
出现在分类规则 $y=1$ 和 $y=0$ 中

符号

含义

样本的分类标签

适用范围

零和一组成的集合

$g(z)$

依据清楚

视频直接表达

来源依据

公式
观察依据
g 在 z 处的函数值等于一除以一加 e 的负 z 次方
图示
观察依据
Sigmoid 函数图像，横轴为 z，纵轴为 $g(z)$

符号

$g(z)$

含义

Sigmoid 激活函数

适用范围

z 是任意实数，g 在 z 处的函数值在零到一之间

$h_θ(x)$

依据清楚

视频直接表达

来源依据

公式
观察依据
h 下标 θ 在 x 处的函数值等于一除以一加 e 的负括号 θ 零加 θ 一乘以 x 一加 θ 二乘以 x 二加点点点加 θ n 乘以 x n 括号次方
图示
观察依据
假设函数流程图中标记为 $h_θ(x)$

符号

$h_θ(x)$

含义

逻辑回归的假设函数

适用范围

x 是 n 维实向量，h 下标 θ 在 x 处的函数值在零到一之间

$θ_i$

依据清楚

视频直接表达

来源依据

公式
观察依据
$θ_0$ , $θ_1$ , $θ_2$ , ..., $θ_n$ 出现在假设函数指数部分

符号

$θ_i$

含义

模型参数（权重）， $i=0$ 为偏置项

适用范围

实数

$h_\theta(x)$

依据清楚

视频直接表达

来源依据

公式
观察依据
画面多次显示 $h_θ(x)$ ，并在开头标注“逻辑回归的假设函数”。
声音
观察依据
旁白称其为“逻辑回归的假设函数”，并讨论其输出范围。

符号

$h_\theta(x)$

含义

逻辑回归的假设函数，对样本 x 给出属于正类的预测值。

适用范围

输入为样本特征向量 x；输出为 [0,1] 内的实数值。

x

依据清楚

视频直接表达

来源依据

图示
观察依据
散点图中横轴为 $x_1$ 、纵轴为 $x_2$ ，旁白说“将未知样本x输入至逻辑回归”。
公式
观察依据
最终公式中出现 $x_1$ , $x_2$ ,..., $x_n$ 。

符号

含义

待预测样本的特征向量。

适用范围

在本片段示例中可视为二维平面上的样本；一般形式为 ( $x_1$ , $x_2$ ,..., $x_n$ )。

y

依据清楚

视频直接表达

来源依据

图示
观察依据
图中标出 $y=1$ 和 $y=0$ 两类区域。
声音
观察依据
旁白说“正例的标记y等于1，负例的标记y等于0”。

符号

含义

样本类别标签。

适用范围

二分类标签，取值为 0 或 1。

$\theta_0$ , $\theta_1$ , $\ldots$ , $\theta_n$

依据清楚

视频直接表达

来源依据

公式
观察依据
画面显示 $θ_0+θ_1x_1+θ_2x_2$ +...+θ_nx_n=0，以及 $h_θ(x)$ 的分母指数项。
声音
观察依据
旁白说“参数是θ0到θn”。

符号

$\theta_0$ , $\theta_1$ , $\ldots$ , $\theta_n$

含义

线性部分的参数/权重，其中 $θ_0$ 为截距项， $θ_1$ 到 $θ_n$ 为各特征权重。

适用范围

实数参数集合。

$g(z)$

依据清楚

视频直接表达

来源依据

公式
观察依据
画面显示“sigmoid函数: $g(z)=1/(1+e^{-z})$ ”。
声音
观察依据
旁白说“设sigmoid函数为 $g(z)$ ”。

符号

$g(z)$

含义

sigmoid 函数。

适用范围

自变量 $z\in (-\infty ,+\infty )$ ，函数值在 (0,1) 内。

z

依据清楚

视频直接表达

来源依据

公式
观察依据
画面先给出 $g(z)$ ，后又给出 $z=θ_0+θ_1x_1$ +...+θ_nx_n。
声音
观察依据
旁白说“我们将直线的表达式放到z的位置”。

符号

含义

线性组合变量，作为 sigmoid 函数的输入。

适用范围

$z=θ_0+θ_1x_1+θ_2x_2$ +...+θ_nx_n，取值范围为 (-∞,+ $\infty$ )。

知识点 · 22

Sigmoid 函数

依据清楚

视频直接表达

来源依据

公式
观察依据
g 在 z 处的函数值等于一除以一加 e 的负 z 次方
图示
观察依据
S 型曲线图，横轴 z，纵轴 $g(z)$

定义

解释

Sigmoid 函数将任意实数映射到 (0, 1) 区间，常用于逻辑回归中将线性组合转化为概率值。

公式

g(z) = \frac{1}{1+e^{-z}}

适用条件

z 是任意实数

线性分类

依据清楚

视频直接表达

来源依据

图示
观察依据
二维散点图，蓝色圆圈和红色叉子被一条直线分开
公式
观察依据
x 一加 x 二减三等于零

定义

解释

线性分类是指使用一条直线（或超平面）将不同类别的样本分开的分类方法。这条直线称为决策边界。

公式

适用条件

样本在特征空间中线性可分

决策边界

依据清楚

视频直接表达

来源依据

公式
观察依据
负三加 x 一加 x 二大于等于零，此时 y 等于一
公式
观察依据
负三加 x 一加 x 二小于零，此时 y 等于零

定义

解释

决策边界是分类模型中用于划分不同类别的边界。在线性分类中，决策边界是一条直线或超平面。

公式

x_1+x_2-3=0

适用条件

适用于线性分类器

先修条目

线性分类

逻辑回归的假设函数

依据清楚

视频直接表达

来源依据

公式
观察依据
h 下标 θ 在 x 处的函数值等于一除以一加 e 的负括号 θ 零加 θ 一乘以 x 一加 θ 二乘以 x 二加点点点加 θ n 乘以 x n 括号次方
图示
观察依据
假设函数流程图：输入数据 -> 假设函数 -> 输出结果

公式

解释

逻辑回归的假设函数通过 Sigmoid 函数将特征的线性组合映射到 (0, 1) 区间，表示样本属于正类的概率。

公式

h_θ(x) = \frac{1}{1 + e^{-(θ_0+θ_1x_1+θ_2x_2+...+θ_nx_n)}}

适用条件

x 为特征向量
θ 为模型参数

先修条目

Sigmoid 函数

逻辑回归的二分类预测任务

依据清楚

视频直接表达

来源依据

图示
观察依据
二维散点图把样本分成 $y=1$ 与 $y=0$ 两类，并用一条直线分隔。
声音
观察依据
旁白说明“逻辑回归模型需要预测样本的标记值，也就是将未知样本x输入至逻辑回归，然后模型预测该样本是0还是1”。

定义

解释

本片段把逻辑回归定义为对未知样本 x 预测其类别标签的任务：正例记为 $y=1$ ，负例记为 $y=0$ 。画面用二维散点图和一条分界线直观表示这一分类问题。

公式

适用条件

讨论对象是二分类样本。
标签取值为 0 或 1。

逻辑回归假设函数的显式形式

依据清楚

视频直接表达

来源依据

公式
观察依据
开头直接给出 $h_θ(x)=1$ /( $1+e$ ^{-( $θ_0+θ_1x_1+θ_2x_2$ +...+θ_nx_n)})。
字幕依据
观察依据
公式下方标注“逻辑回归的假设函数”。

公式

解释

视频一开始就给出逻辑回归假设函数的完整表达式：先对特征做线性组合，再代入 sigmoid 形式，得到输出在 0 到 1 之间的预测值。

公式

h_\theta(x)=\frac{1}{1+e^{-(\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n)}}

适用条件

x 为特征向量。
$θ_0$ 到 $θ_n$ 为模型参数。

先修条目

$h_\theta(x)$
x
$\theta_0$ , $\theta_1$ , $\ldots$ , $\theta_n$

$h_θ(x)$ 输出的概率解释

依据清楚

视频直接表达

来源依据

字幕依据
观察依据
画面写有“逻辑回归的预测结果: $hθ(x)\in [0,1]$ ”“预测结果h: 看做是样本x属于某个类别的概率”。
声音
观察依据
旁白说希望 $h_θ(x)$ 的输出是“0到1之间的某个值”，这样就能把预测结果看作样本属于某类别的概率。

定义

解释

视频强调逻辑回归的输出不是任意实数，而是落在 [0,1] 区间内的值，因此可以把 $h_θ(x)$ 解释为样本 x 属于某一类别的概率。

公式

h_\theta(x)\in[0,1]

适用条件

针对二分类问题。
输出被解释为类别概率。

先修条目

逻辑回归假设函数的显式形式

基于阈值 p 的分类规则

依据清楚

视频直接表达

来源依据

公式
观察依据
画面给出分支： $h_θ(x)\ge p$ ⇒ 正例， $h_θ(x)<p$ ⇒ 负例。
声音
观察依据
旁白说“会提前设置一个阈值p，用来控制分类的界限”，并举例 $p=0.5$ 。

方法

解释

在得到概率型输出后，视频给出硬分类规则：若 $h_θ(x)$ 大于等于阈值 p，则判为正例；若小于 p，则判为负例。阈值 p 用来控制分类边界。

公式

\begin{cases}\text{positive example}, & h_\theta(x)\ge p\\ \text{negative example}, & h_\theta(x)<p\end{cases}

适用条件

需要先设定阈值 p。
比较对象是 $h_θ(x)$ 的数值输出。

先修条目

$h_θ(x)$ 输出的概率解释

sigmoid 函数的定义

依据清楚

视频直接表达

来源依据

公式
观察依据
画面显示“sigmoid函数: $g(z)=1/(1+e^{-z})$ ”。
声音
观察依据
旁白说“为了使 $hθ(x)$ 的输出是0到1之间的某个值，我们引入sigmoid函数”。

定义

解释

视频引入 sigmoid 函数 $g(z)$ ，其作用是把任意实数 z 压缩到 0 与 1 之间，从而为逻辑回归提供概率型输出范围。

公式

g(z)=\frac{1}{1+e^{-z}}

适用条件

自变量 z 为实数。

先修条目

$g(z)$
z

把线性表达式代入 sigmoid 得到假设函数

依据清楚

视频直接表达

来源依据

公式
观察依据
画面写出 $θ_0+θ_1x_1+θ_2x_2$ +...+θ_nx_n=0、 $z=θ_0+θ_1x_1$ +...+θ_nx_n、 $g(z)=1/(1+e^{-z})$ ，并推出 $h_θ(x)$ 的完整形式。
声音
观察依据
旁白说“我们将直线的表达式放到z的位置”，随后说明自变量、参数和值域。

方法

解释

视频最后把“直线表达式”作为 z 代入 sigmoid，得到逻辑回归假设函数。这说明 $h_θ(x)$ 由两部分组成：内部线性组合 z 和外层 sigmoid 映射 $g(z)$ 。

公式

z=\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n,\quad h_\theta(x)=g(z)=\frac{1}{1+e^{-z}}

适用条件

$x_1$ 到 $x_n$ 是自变量。
$θ_0$ 到 $θ_n$ 是参数。
外层函数为 sigmoid。

先修条目

sigmoid 函数的定义
z
$\theta_0$ , $\theta_1$ , $\ldots$ , $\theta_n$

逻辑回归的假设函数

依据清楚

视频直接表达

来源依据

公式
观察依据
画面左侧给出线性组合与 $g(z)$ ，右侧给出 $h_θ(x)$ 的完整表达式。
声音
观察依据
旁白说明自变量、参数和值域。

定义

解释

视频把逻辑回归的假设函数写成 $h_θ(x)=1$ /( $1+e$ ^{-( $θ_0+θ_1x_1+θ_2x_2$ +...+θ_nx_n)})，并说明它由线性组合和映射函数两部分组成，输出是 0 到 1 之间的预测概率。

公式

h_\theta(x)=\frac{1}{1+e^{-(\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n)}}

适用条件

自变量是 $x_1$ 到 $x_n$
参数是 $θ_0$ 到 $θ_n$
值域是 0 到 1

逻辑回归使用交叉熵作为代价函数

依据清楚

视频直接表达

来源依据

公式
观察依据
画面标题为“交叉熵损失函数”，并给出 $J(θ)$ 的完整公式。
声音
观察依据
旁白说“机器学习模型的代价函数，衡量了模型在训练集上所犯错误的大小”“在逻辑回归模型中，使用交叉熵损失函数作为模型的代价函数”。

定义

解释

视频说明代价函数用于衡量模型在训练集上的错误大小，需要准确描述样本预测值与真实值之间的误差；在逻辑回归中，这个代价函数取为交叉熵损失函数。

公式

J(\theta)=-\frac{1}{m}\sum_{i=1}^{m}\left[y^{(i)}\log(h_\theta(x^{(i)}))+(1-y^{(i)})\log(1-h_\theta(x^{(i)}))\right]

适用条件

针对训练集上的 m 个样本
$h_θ(x^{(i)})$ 为预测概率
$y^{(i)}$ 为真实标签

先修条目

逻辑回归的假设函数

定理与条件 · 10

逻辑回归预测结果的范围声明

依据清楚

视频直接表达

来源依据

字幕依据
观察依据
画面明确写有“ $hθ(x)\in [0,1]$ ”。
声音
观察依据
旁白说希望预测结果是“0到1之间的某个值”。

命题

逻辑回归的预测结果 $h_θ(x)$ 落在区间 [0,1] 内，并可解释为样本属于某类别的概率。

前提

讨论的是逻辑回归模型的输出。
输出用于二分类概率解释。

量词

对给定样本 x 的模型输出成立。

阈值分类规则声明

依据清楚

视频直接表达

来源依据

公式
观察依据
画面以分支图形式给出 $h_θ(x)\ge p$ 与 $h_θ(x)<p$ 两类结果。
声音
观察依据
旁白说“如果将样本x带入到 $hθ(x)$ ，输出结果大于等于p，那么就将样本预测为正例，否则是负例”。

命题

若 $h_θ(x)\ge p$ ，则样本被判为正例；若 $h_θ(x)<p$ ，则样本被判为负例。

前提

已设定阈值 p。
$h_θ(x)$ 为逻辑回归输出。

量词

对任意待分类样本 x 成立。

sigmoid 函数极限行为声明

依据清楚

视频直接表达

来源依据

声音
观察依据
旁白说“z趋近于负无穷时，函数值趋近于0；z趋近于正无穷时，函数值趋近于1”。
动画
观察依据
曲线两端分别用箭头指向 0 和 1 的水平趋势。

命题

当 $z\to -\infty$ 时， $g(z)\to 0$ ；当 $z\to +\infty$ 时， $g(z)\to 1$ 。

前提

$g(z)$ 等于 1 除以括号 1 加上 e 的负 z 次方括号。

量词

对自变量 z 的极限过程成立。

sigmoid 函数对称性声明

依据清楚

视频直接表达

来源依据

声音
观察依据
旁白说“并且该函数在z等于0的位置左右对称”。
动画
观察依据
曲线中部以 $z=0$ 为中心呈现 S 形对称外观。

待核验内容

视频用“左右对称”描述，未进一步给出严格代数表述；通常可理解为关于点 (0, $1/2$ ) 的中心对称。

命题

sigmoid 函数在 $z=0$ 的位置左右对称。

前提

讨论的是 $g(z)=1/(1+e^{-z})$ 的图像。

量词

针对函数图像在 $z=0$ 附近的对称性质。

假设函数由线性部分与 sigmoid 组成

依据清楚

视频直接表达

来源依据

公式
观察依据
画面并列展示线性式、z 的定义、 $g(z)$ 的定义以及最终 $h_θ(x)$ 。
声音
观察依据
旁白说“该函数就是逻辑回归的假设函数，它由直线z和sigmoid函数两部分组成”。

命题

逻辑回归的假设函数 $h_θ(x)$ 由线性表达式 $z=θ_0+θ_1x_1$ +...+θ_nx_n 与 sigmoid 函数 $g(z)$ 复合而成。

前提

采用本片段给出的 $h_θ(x)$ 形式。

量词

对一般特征维数 n 的记号形式成立。

训练目标是求使 $J(θ)$ 最小的参数

依据清楚

视频直接表达

来源依据

声音
观察依据
旁白说“我们需要求出代价函数J取得最小值时，逻辑回归模型中的参数θ0到θn，它们的具体值是多少”。
公式
观察依据
画面同时显示 $J(θ)$ 公式并高亮 $J(θ)$ 。

命题

逻辑回归训练时要找出使代价函数 $J(θ)$ 取得最小值的参数 $θ_0$ 到 $θ_n$ 。

前提

已选定交叉熵损失函数作为代价函数
存在训练集上的 m 个样本

量词

对参数 $θ_0$ , $\theta_1$ , $\dots$ , $\theta_n$ 求使其代价最小的取值

正例样本的代价随预测值变化的要求

依据清楚

视频直接表达

来源依据

图示
观察依据
画面显示 $y=1$ 时的 cost-h 曲线，并配文“当样本是正例时，标记 $y=1$ ；如果预测值：h->0，代价cost越大；h->1，代价cost越小”。
声音
观察依据
旁白逐句说明正例情况下 h 接近 0 时代价越大，h 接近 1 时代价越小。

命题

当样本是正例且 $y=1$ 时，若预测值 h 越接近 0，则单样本代价 cost 越大；若 h 越接近 1，则 cost 越小。

前提

样本为正例
标签 $y=1$
h 为模型预测概率

量词

对 h 在 0 到 1 附近的变化趋势作比较

负例样本的代价随预测值变化的要求

依据清楚

视频直接表达

来源依据

图示
观察依据
画面显示 $y=0$ 时的 cost-h 曲线，并配文“当样本是负例时，标记 $y=0$ ；如果预测值：h->0，代价cost越小；h->1，代价cost越大”。
声音
观察依据
旁白逐句说明负例情况下 h 接近 0 时代价越小，h 接近 1 时代价越大。

命题

当样本是负例且 $y=0$ 时，若预测值 h 越接近 0，则单样本代价 cost 越小；若 h 越接近 1，则 cost 越大。

前提

样本为负例
标签 $y=0$
h 为模型预测概率

量词

对 h 在 0 到 1 附近的变化趋势作比较

两个对数函数关于 $x=0.5$ 对称

依据清楚

视频直接表达

来源依据

图示
观察依据
画面左图绘制 -log(x) 与 -log(1-x)，并出现竖直虚线 $x=0.5$ 。
声音
观察依据
旁白说“这两个函数以x等于0.5左右对称”。

命题

函数 -log(x) 与 -log(1-x) 的图像关于直线 $x=0.5$ 左右对称。

前提

在同一坐标系中比较两个函数图像

量词

对两个函数图像的整体位置关系作陈述

限制在 0 到 1 后两个对数函数的端点行为

依据清楚

视频直接表达

来源依据

图示
观察依据
画面右图把自变量限制在 0 到 1 之间，并用箭头和端点标注函数趋近情况。
声音
观察依据
旁白说蓝色函数在 x 趋近于 0 时函数值趋近于正无穷， $x=1$ 时函数值为 0；橙色函数在 x 趋近于 1 时函数值趋近于正无穷， $x=0$ 时函数值是 0。

命题

当自变量限制在 0 到 1 之间时，-log(x) 在 $x\to 0$ 时趋于正无穷且在 $x=1$ 时为 0；-log(1-x) 在 $x\to 1$ 时趋于正无穷且在 $x=0$ 时为 0。

前提

自变量 x 被限制在 0 到 1 之间

量词

分别对 $x\to 0$ 、 $x=1$ 、 $x\to 1$ 、 $x=0$ 的极限与取值作陈述

推导与证明 · 5

从线性表达式和 sigmoid 合成假设函数

依据清楚

视频直接表达

来源依据

公式
观察依据
画面依次给出 $θ_0+θ_1x_1$ +...+θ_nx_n=0、 $z=θ_0+θ_1x_1$ +...+θ_nx_n、 $g(z)=1/(1+e^{-z})$ ，再给出 $h_θ(x)=1$ /( $1+e$ ^{-( $θ_0+θ_1x_1$ +...+θ_nx_n)})。
声音
观察依据
旁白说“我们将直线的表达式放到z的位置”，并总结“它由直线z和sigmoid函数两部分组成”。

严格证明

步骤

公式
$\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n=0$
解释
视频先给出“任意直线的表达式”。
步骤依据
画面公式直接给出。
视频直接表达
公式
$z=\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n$
解释
把线性表达式的左侧记作 z。
步骤依据
画面第二行公式直接给出。
视频直接表达
公式
$g(z)=\frac{1}{1+e^{-z}}$
解释
引入 sigmoid 函数作为外层映射。
步骤依据
画面第三行公式直接给出。
视频直接表达
公式
$h_\theta(x)=\frac{1}{1+e^{-(\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n)}}$
解释
将 z 的表达式代入 $g(z)$ ，得到逻辑回归假设函数。
步骤依据
由前两步复合代入得到，画面右侧同时展示最终形式。
视频直接表达

结论

$h_θ(x)$ 是线性组合 z 经 sigmoid 函数映射后的结果，因此其输出范围被限制在 0 到 1 之间。

阈值示例推导

依据清楚

视频直接表达

来源依据

公式
观察依据
画面上方出现“ $p=0.5$ ”，随后出现“ $0.75 > p=0.5$ ”。
声音
观察依据
旁白说“例如将p设置为0.5，这时如果预测值 $hθ(x)$ 等于0.75，因为0.75大于p，那么就会将该样本判断为正例”。

数值验证

步骤

公式
$p=0.5$
解释
设定分类阈值。
步骤依据
画面与旁白共同给出。
视频直接表达
公式
$h_\theta(x)=0.75$
解释
给出某个样本的模型预测值。
步骤依据
旁白举例说明。
视频直接表达
公式
$0.75>p$
解释
比较预测值与阈值。
步骤依据
数值大小比较。
视频直接表达
公式
$\text{classified as a positive example}$
解释
由于预测值不小于阈值，按规则归入正类。
步骤依据
应用前面给出的阈值分类规则。
视频直接表达

结论

当 $p=0.5$ 且 $h_θ(x)=0.75$ 时，该样本被判断为正例。

从单样本代价性质到引入对数函数的推导

依据清楚

视频直接表达

来源依据

公式
观察依据
画面先给出单样本代价与平均代价的关系，再给出正例、负例的期望曲线，最后引入 -log(x) 与 -log(1-x)。
声音
观察依据
旁白依次说明“下面我们具体来说明为什么逻辑回归的代价函数是交叉熵损失误差”“我们希望一个样本的代价cost有如下性质”“为了实现这样的cost函数，引入log函数”。

直观解释

步骤

公式
$J(\theta)=\frac{1}{m}\sum_{i=1}^{m}\operatorname{cost}(h_\theta(x^{(i)}),y^{(i)})$
解释
先把总代价拆成 m 个单样本代价的平均，因此只需要先确定单个样本的代价应满足什么性质。
步骤依据
视频画面直接给出平均代价公式，旁白同步解释 Jθ 是 m 个样本的平均代价。
视频直接表达
公式
$y=1:\quad h\to 0\Rightarrow \operatorname{cost}\uparrow,\quad h\to 1\Rightarrow \operatorname{cost}\downarrow$
解释
对正例样本，视频要求代价随预测概率 h 接近 0 而增大，随 h 接近 1 而减小。
步骤依据
画面给出 $y=1$ 的曲线和文字说明，旁白逐句描述该性质。
视频直接表达
公式
$y=0:\quad h\to 0\Rightarrow \operatorname{cost}\downarrow,\quad h\to 1\Rightarrow \operatorname{cost}\uparrow$
解释
对负例样本，视频要求代价随预测概率 h 接近 0 而减小，随 h 接近 1 而增大。
步骤依据
画面给出 $y=0$ 的曲线和文字说明，旁白逐句描述该性质。
视频直接表达
公式
$-\log(x),\quad -\log(1-x)$
解释
为了满足上述单调性和端点行为，视频引入两个对数函数作为候选的单样本代价形状。
步骤依据
旁白明确说“为了实现这样的cost函数，引入log函数”，画面同时画出两条曲线。
视频直接表达
公式
$x\in(0,1)$
解释
接着把自变量限制在 0 到 1 之间，使对数函数的定义域与预测概率 h 的取值范围一致。
步骤依据
画面文字写“将自变量x的值，限制在0到1之间”，旁白同步说明。
视频直接表达
公式
$-\log(x):\ x\to0^+\Rightarrow +\infty,\ x=1\Rightarrow0;\quad -\log(1-x):\ x\to1^-\Rightarrow+\infty,\ x=0\Rightarrow0$
解释
通过观察图像，视频确认这两个函数正好分别对应正例和负例所需的代价变化规律。
步骤依据
旁白逐一描述蓝色函数和橙色函数在端点附近的极限与取值，画面用箭头和端点标注辅助说明。
视频直接表达
公式
$x=h_\theta(x)$
解释
最后把对数函数中的自变量 x 替换为模型预测值 h，从而得到单样本代价的候选形式。
步骤依据
旁白说“如果函数的自变量x就对应模型的预测值h”，画面文字也写明“自变量x：模型的预测值h”。
视频直接表达

结论

视频通过“先规定单样本代价应有的性质，再寻找满足这些性质的函数”的方式，说明为什么要用 -log(h) 与 -log(1-h) 这类对数项来构成逻辑回归的交叉熵代价。

把对数函数自变量替换为预测值 h

依据清楚

视频直接表达

来源依据

图示
观察依据
画面文字写明“自变量x：模型的预测值h；蓝色函数：样本为正例时，代价cost随预测值h的变化；橙色函数：样本为负例时，代价cost随预测值h的变化”。
声音
观察依据
旁白说“那么蓝色函数恰好就可以代表样本为正例时，代价cost随预测值h的变化，橙色函数则可以表示……”

待核验内容

片段在“橙色函数则可以表示”后结束，未完整听到后续总结句。

视觉说明

步骤

公式
$-\log(x)\ \longrightarrow\ -\log(h)$
解释
将蓝色曲线的自变量 x 改记为模型预测值 h，得到正例样本代价随 h 变化的形式。
步骤依据
画面文字直接把 x 定义为“模型的预测值h”，旁白同步说明蓝色函数对应正例代价变化。
视频直接表达
公式
$-\log(1-x)\ \longrightarrow\ -\log(1-h)$
解释
将橙色曲线的自变量 x 改记为模型预测值 h，得到负例样本代价随 h 变化的形式。
步骤依据
画面文字说明橙色函数对应负例时代价随预测值 h 的变化，旁白开始解释但句子未完整说完。
视频直接表达

结论

视频用图像替换变量的方式，把抽象的对数函数曲线落实到逻辑回归的单样本代价上：正例对应 -log(h)，负例对应 -log(1-h)。

单样本代价函数合并推导

依据清楚

视频直接表达

来源依据

公式
观察依据
画面展示了从分段函数到统一公式的推导过程

直观解释

步骤

公式
$\text{cost}(h_\theta(x), y) = \begin{cases} -\log(h_\theta(x)), & y = 1 \\ -\log(1 - h_\theta(x)), & y = 0 \end{cases}$
解释
初始的分段代价函数定义。
步骤依据
基于对正负样本预测错误惩罚的直观设计。
视频直接表达
公式
$\text{cost}(h_\theta(x), y) = -y \log(h_\theta(x)) - (1 - y) \log(1 - h_\theta(x))$
解释
当 $y=1$ 时，第二项系数 (1-y) 为 0，公式退化为 -log( $h_θ(x)$ )；当 $y=0$ 时，第一项系数 y 为 0，公式退化为 -log( $1-h_θ(x)$ )。
步骤依据
利用 y 的二元特性进行代数合并。
视频直接表达

结论

成功将分段函数合并为一个统一的数学表达式。

例题详解 · 5

线性分类示例

依据清楚

视频直接表达

来源依据

图示
观察依据
二维散点图，蓝色圆圈和红色叉子被直线 $x_1+x_2-3=0$ 分开

题目

如何使用一条直线将平面上的正负样本分开？

已知条件

正样本：蓝色圆圈，标签 $y=1$
负样本：红色叉子，标签 $y=0$
特征： $x_1$ , $x_2$

目标

找到一条直线作为决策边界

步骤

解释
观察散点图，发现正负样本大致分布在一条直线的两侧
步骤依据
视觉观察
视频直接表达
公式
$x_1+x_2-3=0$
解释
画出直线 $x_1+x_2-3=0$ ，该直线交 $x_1$ 轴于 (3,0)，交 $x_2$ 轴于 (0,3)
步骤依据
直线方程
视频直接表达
公式
$-3+x_1+x_2 \ge 0 \Rightarrow y=1$
解释
对于任意样本 ( $x_1$ , $x_2$ )，代入表达式 $x_1+x_2-3$ ，若结果大于等于 0，则为正例
步骤依据
决策边界定义
视频直接表达
公式
$-3+x_1+x_2 < 0 \Rightarrow y=0$
解释
若结果小于 0，则为负例
步骤依据
决策边界定义
视频直接表达

结果

直线 $x_1+x_2-3=0$ 成功将正负样本分开，作为决策边界

检验

所有蓝色圆圈都在直线右上方，所有红色叉子都在直线左下方

平面上二分类样本示意

依据清楚

视频直接表达

来源依据

图示
观察依据
二维坐标系中有两类点，分别标为 $y=1$ 与 $y=0$ ，并由一条橙色直线分开。
声音
观察依据
旁白说“设平面上的样本，正例的标记y等于1，负例的标记y等于0”。

待核验内容

图中具体点位未逐一给出坐标数值，只能确认类别分布和分界示意。

题目

用二维散点图说明逻辑回归要解决的分类问题。

已知条件

样本位于平面上。
正例标记为 $y=1$ 。
负例标记为 $y=0$ 。

目标

理解逻辑回归需要对未知样本 x 预测其类别。

步骤

公式
解释
画面把两类样本放在同一平面中，并用一条直线表示分界。
步骤依据
图示直接展示二分类结构。
视频直接表达
公式
解释
旁白说明模型输入未知样本 x 后，需要判断它是 0 还是 1。
步骤依据
音频解释图示含义。
视频直接表达

结果

逻辑回归的任务是对未知样本 x 预测其标签是 0 还是 1。

检验

与画面文字“预测未知的样本x，是0还是1”一致。

阈值 $p=0.5$ 时的分类示例

依据清楚

视频直接表达

来源依据

公式
观察依据
画面显示 $p=0.5$ 和 $0.75>p=0.5$ 。
声音
观察依据
旁白完整举出“将p设置为0.5……预测值 $hθ(x)$ 等于0.75……判断为正例”。

题目

给定阈值 $p=0.5$ 和预测值 $h_θ(x)=0.75$ ，判断样本类别。

已知条件

p 等于 0.5
h 下标 θ 乘以 x 等于 0.75

目标

根据阈值规则确定样本是正例还是负例。

步骤

公式
$h_\theta(x)=0.75$
解释
读取模型输出。
步骤依据
旁白举例给出。
视频直接表达
公式
$0.75>0.5$
解释
将输出与阈值比较。
步骤依据
数值比较。
视频直接表达
公式
$\text{positive example}$
解释
因为输出大于阈值，按规则判为正例。
步骤依据
应用 $h_θ(x)\ge p$ 判为正例的规则。
视频直接表达

结果

该样本被判断为正例。

检验

画面用高亮框强调上方分支“正例”。

使用 PyTorch 实现逻辑回归

依据清楚

视频直接表达

来源依据

图示
观察依据
展示了使用 PyTorch 训练逻辑回归模型的代码和散点图
声音
观察依据
旁白逐步讲解了代码的实现过程，包括数据生成、张量转换、参数定义、优化器设置、假设函数和代价函数的实现以及循环迭代

题目

如何在二维平面上生成两类随机数据，并使用 PyTorch 框架训练一个逻辑回归模型对其进行分类。

已知条件

使用 make_blobs 生成 50 个样本，包含两个类别
特征为 x1 和 x2，标签为 y
定义直线参数 theta0, theta1, theta2
使用 Adam 优化器

目标

实现逻辑回归的前向传播（假设函数）、损失计算（代价函数）和反向传播（梯度下降）过程。

步骤

公式
$x, y = make_blobs(n_samples=50, centers=2, random_state=0, cluster_std=0.5)$
解释
生成用于训练的二维散点数据。
步骤依据
构建简单的二分类数据集。
视频直接表达
公式
$x1 = torch.tensor(x[:, 0], dtype=torch.float32); x2 = torch.tensor(x[:, 1], dtype=torch.float32); y = torch.tensor(y, dtype=torch.float32).view(-1, 1)$
解释
将 NumPy 数组转换为 PyTorch 张量，并调整 y 的形状以匹配广播规则。
步骤依据
PyTorch 运算需要张量格式。
视频直接表达
公式
$theta0 = torch.tensor(0.0, requires_grad=True); ... optimizer = torch.optim.Adam([theta0, theta1, theta2])$
解释
初始化模型参数并开启梯度追踪，配置 Adam 优化器。
步骤依据
准备进行自动求导和参数更新。
视频直接表达
公式
$def hypothesis(theta0, theta1, theta2, x1, x2): z = theta0 + theta1 * x1 + theta2 * x2; h = torch.sigmoid(z); return h.view(-1, 1)$
解释
实现逻辑回归的假设函数，计算线性组合并通过 Sigmoid 函数映射到 (0,1) 区间。
步骤依据
逻辑回归的核心预测公式。
视频直接表达
公式
$def J(h, y): return -torch.mean(y * torch.log(h) + (1 - y) * torch.log(1 - h))$
解释
实现交叉熵代价函数，计算所有样本的平均损失。
步骤依据
评估当前模型预测值与真实标签之间的差异。
视频直接表达
公式
$for epoch in range(10000): h = hypothesis(...); loss = J(h, y); loss.backward(); optimizer.step(); optimizer.zero_grad()$
解释
执行 10000 次迭代训练：前向传播计算预测值和损失，反向传播计算梯度，优化器更新参数，最后清零梯度。
步骤依据
标准的深度学习训练循环。
视频直接表达

结果

经过 10000 次迭代，损失值从 0.693 降至 0.00，模型成功拟合了生成的分类数据。

检验

通过打印每次迭代的 loss 值观察其单调递减趋势，并在第 10000 次迭代后 loss 接近 0。

模型训练过程中的损失变化

依据清楚

视频直接表达

来源依据

图示
观察依据
控制台输出的运行结果，显示了从第0次到第9000次迭代，每1000次的损失值，数值从0.693递减至0.00

题目

观察逻辑回归模型在10000次迭代训练过程中的损失值变化。

已知条件

初始损失值为0.693
迭代1000次后损失为0.199
迭代2000次后损失为0.093
迭代3000次后损失为0.053
迭代4000次后损失为0.033
迭代5000次后损失为0.021
迭代6000次后损失为0.014
迭代7000次后损失为0.009
迭代8000次后损失为0.006
迭代9000次后损失为0.00

目标

验证模型是否收敛。

步骤

公式
解释
程序运行后，控制台输出了每次打印的损失值。
步骤依据
代码中的 `print` 语句执行结果。
视频直接表达

结果

损失值随着迭代次数的增加而不断减小，最终趋近于0，表明模型成功收敛。

检验

通过观察输出数值的变化趋势进行验证。

图示与动画 · 21

Sigmoid 函数图像

依据清楚

视频直接表达

来源依据

图示
观察依据
S 型曲线图，横轴 z，纵轴 $g(z)$

图中对象

S 型曲线
坐标轴

变化过程

不变量

曲线形状
坐标轴范围

数学含义

展示 Sigmoid 函数将任意实数映射到 (0, 1) 区间的特性

线性分类散点图

依据清楚

视频直接表达

来源依据

图示
观察依据
二维散点图，蓝色圆圈和红色叉子

图中对象

蓝色圆圈（正样本）
红色叉子（负样本）
直线 $x_1+x_2-3=0$

变化过程

直线出现并分割样本

不变量

样本位置

数学含义

展示如何使用一条直线将不同类别的样本分开

假设函数流程图

依据清楚

视频直接表达

来源依据

图示
观察依据
流程图：输入数据 -> 假设函数 -> 输出结果

图中对象

输入数据框
假设函数框
输出结果框
箭头

变化过程

不变量

流程结构

数学含义

展示机器学习模型中假设函数的作用：将输入特征映射为预测结果

开场展示假设函数公式

依据清楚

视频直接表达

来源依据

公式
观察依据
白底画面中央出现橙色框内的 $h_θ(x)$ 完整公式，下方写“逻辑回归的假设函数”。
动画
观察依据
$h_θ(x)$ 被红框强调。

图中对象

公式框
$h_θ(x)$ 表达式
标题文字“逻辑回归的假设函数”

变化过程

红框突出 $h_θ(x)$ 记号。

不变量

公式本身保持不变。

数学含义

先给出最终假设函数形式，再在后文解释其来源与含义。

二分类散点图与分界线

依据清楚

视频直接表达

来源依据

图示
观察依据
左侧为二维散点图，横轴 $x_1$ 、纵轴 $x_2$ ，两类点分别标为 $y=1$ 和 $y=0$ ，中间有一条橙色直线。
动画
观察依据
红色虚线框逐步圈出整个散点图区域。

图中对象

$x_1$ 轴
$x_2$ 轴
蓝色圆点
红色叉点
橙色直线
$y=1$ 标签
$y=0$ 标签

变化过程

虚线框强调样本平面区域。

不变量

两类点的相对位置与分界直线不变。

数学含义

用几何图示说明逻辑回归面对的是把平面上样本分成两类的预测问题。

概率解释文字面板

依据清楚

视频直接表达

来源依据

字幕依据
观察依据
左侧文字面板写“逻辑回归的预测结果: $hθ(x)\in [0,1]$ ”“预测结果h: 看做是样本x属于某个类别的概率”。
动画
观察依据
不同文字行依次被浅蓝底色高亮。

图中对象

文字面板
h 下标 θ 乘以 x 的取值范围是闭区间 0 到 1
概率解释句子

变化过程

逐行高亮强调输出范围和概率含义。

不变量

文本内容不变。

数学含义

把数值输出解释为类别概率，是后续阈值分类的前提。

阈值分支决策图

依据清楚

视频直接表达

来源依据

公式
观察依据
画面出现“某样本: $x_1$ , $x_2$ , $x_3$ ,..., $x_n$ ”以及两个分支 $h_θ(x)\ge p$ 和 $h_θ(x)<p$ 。
动画
观察依据
分支条件、阈值 $p=0.5$ 、数值 0.75 和“正例”框依次高亮。

图中对象

样本特征列表
上分支条件
下分支条件
阈值 p
示例数值 0.75
正例/负例标签

变化过程

先展示一般规则，再代入 $p=0.5$ 与 $h_θ(x)=0.75$ 的示例。

不变量

分支结构保持不变。

数学含义

视觉流程把“概率输出”转换为“离散类别判断”。

sigmoid 函数图像与性质演示

依据清楚

视频直接表达

来源依据

图示
观察依据
左侧为 S 形曲线图，右侧为 $g(z)=1/(1+e^{-z})$ 。
动画
观察依据
曲线被加粗，底部出现 (-∞,+ $\infty$ )，左右箭头分别指向两端极限， $z=0$ 处出现竖直虚线。

图中对象

S 形曲线
坐标轴
公式 $g(z)$
区间标记 (-∞,+ $\infty$ )
左右极限箭头
$z=0$ 竖线

变化过程

依次强调定义域、两端极限和中心对称位置。

不变量

函数公式与曲线形状不变。

数学含义

通过图像说明 sigmoid 把整个实数轴映射到 0 与 1 之间，并在 0 附近形成对称过渡。

最终合成逻辑回归假设函数

依据清楚

视频直接表达

来源依据

公式
观察依据
左侧三行公式分别是直线表达式、z 的定义、 $g(z)$ 的定义；右侧给出完整 $h_θ(x)$ 。
动画
观察依据
各公式块依次高亮，最后 $h_θ(x)$ 被虚线框强调。

图中对象

线性表达式
z 定义
$g(z)$ 定义
最终 $h_θ(x)$ 公式
说明文字“逻辑回归的假设函数”

变化过程

从分散组件逐步汇聚到完整公式。

不变量

各公式内容不变。

数学含义

画面把逻辑回归假设函数拆解为“线性部分 + sigmoid 外层”的结构。

逻辑回归假设函数的组成示意

依据清楚

视频直接表达

来源依据

图示
观察依据
画面左侧用黄色和橙色框展示线性组合与 $g(z)$ ，右侧用橙色框展示 $h_θ(x)$ 的完整公式，并有箭头从左指向右。
声音
观察依据
旁白说“两部分组成”。

图中对象

线性组合 $θ_0+θ_1x_1$ +...+θ_nx_n
函数 $g(z)=1/(1+e^{-z})$
完整假设函数 $h_θ(x)$
箭头

变化过程

画面把左侧两个组成部分通过箭头连接到右侧完整公式

不变量

自变量为 $x_1$ 到 $x_n$
参数为 $θ_0$ 到 $θ_n$
输出值域为 0 到 1

数学含义

该图说明 $h_θ(x)$ 不是孤立给出的，而是由线性组合与一个把实数映射到 (0,1) 的函数复合而成。

交叉熵代价函数幻灯片

依据清楚

视频直接表达

来源依据

图示
观察依据
画面标题为“交叉熵损失函数”，下方给出 $J(θ)$ 公式，再下方用粉色块写“代价函数：衡量了模型在训练集上所犯得错误大小，需要准确的描述样本预测值与真实值之间的误差”。
动画
观察依据
$J(θ)$ 外框被高亮，随后画面上方出现“θ0到θn的具体值是多少？”

图中对象

$J(θ)$ 公式
代价函数说明文字
高亮框

变化过程

先展示公式与定义，再强调要求出使 J 最小时的参数

不变量

公式中的求和范围为 $i=1$ 到 m
公式包含 $y^{(i)}\log (h_θ(x^{(i)}))$ 与 ( $1-y^{(i)}$ ) $\log (1-h_θ(x^{(i)}))$ 两项

数学含义

这一页把“代价函数是什么”和“训练要解决什么优化问题”放在一起说明。

单样本代价与平均代价的对照

依据清楚

视频直接表达

来源依据

图示
观察依据
画面分成两行，上行写“某一个样本的代价：cost( $h_θ(x^{(i)})$ , $y^{(i)}$ )”，下行写“m个样本的平均代价： $J(θ)=1/m\sum$ cost(...)”。
动画
观察依据
两行公式先后被橙色高亮框强调。

图中对象

单样本代价表达式
平均代价表达式
高亮框

变化过程

先突出单样本代价，再突出平均代价

不变量

平均代价是单样本代价求和后除以 m

数学含义

视觉上把总目标 $J(θ)$ 拆解成对每个样本代价的平均，为后面分析单样本曲线做准备。

易错点 · 3

误以为模型直接输出类别标签

依据清楚

视频直接表达

来源依据

字幕依据
观察依据
画面强调“ $hθ(x)\in [0,1]$ ”而不是直接输出 0 或 1。
声音
观察依据
旁白说希望预测结果是“0到1之间的某个值”，再把它看作概率。

误区

可能误以为逻辑回归一开始就直接输出 0 或 1。

说明

视频先说明模型输出是 [0,1] 内的连续值，之后才通过阈值 p 转成正例或负例。

混淆概率输出与最终类别

依据清楚

视频直接表达

来源依据

公式
观察依据
分支图把 $h_θ(x)$ 与 p 比较后才得到“正例/负例”。
声音
观察依据
旁白明确说“会提前设置一个阈值p，用来控制分类的界限”。

误区

可能把 $h_θ(x)$ 的数值本身当成最终类别。

说明

$h_θ(x)$ 是概率型输出；只有与阈值 p 比较后，才得到离散类别判断。

不要把逻辑回归的代价误写成普通线性回归的平方误差

依据清楚

补充解释

来源依据

声音
观察依据
视频强调逻辑回归使用交叉熵损失函数作为代价函数，并说明代价函数要准确描述预测值与真实值之间的误差。
公式
观察依据
画面给出的不是平方误差，而是含对数的交叉熵公式。

误区

看到“回归”二字时，容易以为逻辑回归也像线性回归一样使用平方误差作为代价函数。

说明

视频明确指出逻辑回归使用交叉熵损失函数作为代价函数，其形式包含 $\log (h_θ(x))$ 与 $\log (1-h_θ(x))$ ，而不是 ( $h_θ(x)-y$ )^2 这类平方误差。

概念关系 · 13

Sigmoid 函数 → 逻辑回归的假设函数

依据清楚

视频直接表达

来源依据

公式
观察依据
$h_θ(x)$ 的形式与 $g(z)$ 相同，只是 z 替换为 $θ_0+θ_1x_1$ +...+θ_nx_n

应用

解释

逻辑回归的假设函数应用了 Sigmoid 函数，将特征的线性组合转化为概率值

线性分类 → 决策边界

依据清楚

视频直接表达

来源依据

公式
观察依据
决策边界 $x_1+x_2-3=0$ 是线性的

包含

解释

线性分类包含决策边界的概念，决策边界是线性分类的核心组件

逻辑回归的二分类预测任务 → $h_θ(x)$ 输出的概率解释

依据清楚

视频直接表达

来源依据

声音
观察依据
先讲二分类预测任务，再讲希望输出在 0 到 1 之间。
字幕依据
观察依据
从散点图任务说明过渡到“ $hθ(x)\in [0,1]$ ”文字面板。

应用

解释

为了完成二分类预测，视频把模型输出设计成可解释为概率的 [0,1] 数值。

$h_θ(x)$ 输出的概率解释 → 基于阈值 p 的分类规则

依据清楚

视频直接表达

来源依据

公式
观察依据
先给出 $h_θ(x)\in [0,1]$ ，随后给出与 p 比较的分支规则。
声音
观察依据
旁白从“看作概率”自然过渡到“设置阈值p控制分类界限”。

应用

解释

概率型输出本身不直接给出类别，需要再用阈值规则转换成最终分类。

sigmoid 函数的定义 → 逻辑回归假设函数的显式形式

依据清楚

视频直接表达

来源依据

公式
观察依据
先定义 $g(z)$ ，再把 $z=θ_0+θ_1x_1$ +...+θ_nx_n 代入得到 $h_θ(x)$ 。
声音
观察依据
旁白说“为了使 $hθ(x)$ 的输出是0到1之间的某个值，我们引入sigmoid函数”。

证明依赖

解释

假设函数的 0 到 1 输出范围依赖于外层 sigmoid 函数的性质。

把线性表达式代入 sigmoid 得到假设函数 → sigmoid 函数的定义

依据清楚

视频直接表达

来源依据

公式
观察依据
画面把直线表达式记为 z，再写入 $g(z)$ 和最终 $h_θ(x)$ 。
声音
观察依据
旁白说“我们将直线的表达式放到z的位置”。

包含

解释

逻辑回归假设函数内部包含一个线性组合 z，这个 z 作为 sigmoid 的输入。

逻辑回归假设函数的显式形式 → 基于阈值 p 的分类规则

依据清楚

依据视频推导

来源依据

公式
观察依据
前半段给出连续输出 $h_θ(x)$ ，后半段给出与 p 比较的离散判别规则。

对比

解释

假设函数给出连续的概率型评分，而阈值规则把评分转化为离散类别，这是“软输出”和“硬分类”的区别。

逻辑回归的假设函数 → 逻辑回归使用交叉熵作为代价函数

依据清楚

视频直接表达

来源依据

公式
观察依据
先给出 $h_θ(x)$ ，随后在 $J(θ)$ 公式中反复出现 $h_θ(x^{(i)})$ 。
声音
观察依据
旁白先解释假设函数，再解释代价函数衡量预测值与真实值之间的误差。

先修

解释

交叉熵代价函数中的每一项都依赖假设函数 $h_θ(x)$ 作为模型预测概率，因此必须先理解 $h_θ(x)$ 的输出含义。

总代价是单样本代价的平均 → 单样本代价的含义

依据清楚

视频直接表达

来源依据

公式
观察依据
画面把 $J(θ)$ 写成单样本 cost 的平均。
声音
观察依据
旁白说“Jθ是m个样本的平均代价”。

包含

解释

总代价 $J(θ)$ 由若干单样本代价组成，理解单样本代价是理解整个训练目标的核心部分。

单样本代价的含义 → 用对数函数构造单样本代价

依据清楚

视频直接表达

来源依据

图示
观察依据
先展示正例、负例期望的 cost-h 曲线，再展示 -log(x) 与 -log(1-x) 的图像。
声音
观察依据
旁白先说“我们希望一个样本的代价cost有如下性质”，后说“为了实现这样的cost函数，引入log函数”。

应用

解释

视频先用正例和负例的代价性质提出需求，再用对数函数去满足这些需求，体现从目标性质到具体函数形式的构造过程。

用对数函数构造单样本代价 → 逻辑回归使用交叉熵作为代价函数

依据清楚

视频直接表达

来源依据

图示
观察依据
画面把 -log(x) 与 -log(1-x) 的自变量 x 重新解释为预测值 h。
声音
观察依据
旁白说蓝色函数代表正例时代价随 h 的变化，橙色函数代表负例时代价随 h 的变化。

证明依赖

解释

交叉熵公式中的两项本质上就是这两个对数函数在 $x=h_θ(x)$ 时的代入结果，因此前面的图像分析是理解交叉熵形式的关键依据。

合并后的单样本代价函数 → 逻辑回归总代价函数（交叉熵损失）

依据清楚

视频直接表达

来源依据

声音
观察依据
旁白说明将单样本代价相加除以m得到总代价函数

推广

解释

总代价函数 $J(θ)$ 是单样本代价函数在全体训练集上的推广（求平均）。

问题定位 · 22

Sigmoid 函数的定义是什么？

依据清楚

视频直接表达

来源依据

公式
观察依据
g 在 z 处的函数值等于一除以一加 e 的负 z 次方

涉及知识点

Sigmoid 函数

如何使用直线进行线性分类？

依据清楚

视频直接表达

来源依据

图示
观察依据
散点图和直线分割

涉及知识点

线性分类
决策边界

逻辑回归的假设函数是什么？

依据清楚

视频直接表达

来源依据

公式
观察依据
h 下标 θ 在 x 处的函数值等于一除以一加 e 的负括号 θ 零加 θ 一乘以 x 一加 θ 二乘以 x 二加点点点加 θ n 乘以 x n 括号次方

涉及知识点

逻辑回归的假设函数

逻辑回归的假设函数 $h_θ(x)$ 长什么样？

依据清楚

视频直接表达

来源依据

公式
观察依据
开头直接展示 $h_θ(x)$ 公式并标注“逻辑回归的假设函数”。

涉及知识点

逻辑回归假设函数的显式形式

为什么视频说逻辑回归输出要在 0 到 1 之间？

依据清楚

视频直接表达

来源依据

字幕依据
观察依据
画面写有“ $hθ(x)\in [0,1]$ ”并解释为概率。

涉及知识点

$h_θ(x)$ 输出的概率解释
sigmoid 函数的定义

拿到 $h_θ(x)$ 后怎样判断样本是正例还是负例？

依据清楚

视频直接表达

来源依据

公式
观察依据
分支图给出 $h_θ(x)\ge p$ 和 $h_θ(x)<p$ 两类结果。

涉及知识点

基于阈值 p 的分类规则

如果 $p=0.5$ 且 $h_θ(x)=0.75$ ，样本会被判成什么类别？

依据清楚

视频直接表达

来源依据

声音
观察依据
旁白举出 $p=0.5$ 、 $h_θ(x)=0.75$ 的例子。

涉及知识点

基于阈值 p 的分类规则
阈值 $p=0.5$ 时的分类示例

sigmoid 函数的公式是什么？

依据清楚

视频直接表达

来源依据

公式
观察依据
画面给出 $g(z)=1/(1+e^{-z})$ 。

涉及知识点

sigmoid 函数的定义

sigmoid 函数图像有哪些关键性质？

依据清楚

视频直接表达

来源依据

动画
观察依据
曲线两端箭头和 $z=0$ 竖线强调极限与对称性。

涉及知识点

sigmoid 函数的定义
sigmoid 函数极限行为声明
sigmoid 函数对称性声明

逻辑回归假设函数是如何由线性部分和 sigmoid 组合得到的？

依据清楚

视频直接表达

来源依据

公式
观察依据
画面把线性式、z、 $g(z)$ 和最终 $h_θ(x)$ 并列展示。

涉及知识点

把线性表达式代入 sigmoid 得到假设函数
从线性表达式和 sigmoid 合成假设函数

逻辑回归的假设函数 $h_θ(x)$ 长什么样，为什么它的值域是 0 到 1？

依据清楚

视频直接表达

来源依据

公式
观察依据
画面直接给出 $h_θ(x)$ 的完整表达式。

涉及知识点

逻辑回归的假设函数

为什么逻辑回归要用交叉熵损失函数作为代价函数？

依据清楚

视频直接表达

来源依据

声音
观察依据
旁白问“为什么逻辑回归的代价函数是交叉熵损失误差”。
公式
观察依据
画面给出交叉熵损失函数公式。

涉及知识点

逻辑回归使用交叉熵作为代价函数
从单样本代价性质到引入对数函数的推导

覆盖情况与待核验内容

已覆盖 · 开场介绍，无具体数学内容

已覆盖 · Sigmoid 函数定义和图像

已覆盖 · 过渡画面

已覆盖 · 线性分类示例和决策边界

已覆盖 · 过渡画面

已覆盖 · 假设函数定义和流程图

已覆盖 · 开场直接给出逻辑回归假设函数公式。

已覆盖 · 用二维散点图说明二分类预测任务。

已覆盖 · 解释 $h_θ(x)$ 的输出范围与概率含义。

已覆盖 · 给出阈值分类规则并举例 $p=0.5$ 、 $h_θ(x)=0.75$ 。

已覆盖 · 定义 sigmoid 函数并展示其图像性质。

已覆盖 · 把线性表达式代入 sigmoid，合成最终假设函数。

已覆盖 · 画面展示逻辑回归假设函数及其组成，旁白说明自变量、参数和值域。

已覆盖 · 标题转场，显示“逻辑回归”“逻辑回归的代价函数”，无新增数学内容。

已覆盖 · 给出交叉熵损失函数公式，说明代价函数作用，并提出求最小化 $J(θ)$ 的参数。

已覆盖 · 把总代价拆成单样本代价的平均，并解释 cost 的两个输入及其含义。

已覆盖 · 用 $y=1$ 的曲线说明正例样本代价随预测值 h 变化的期望性质。

已覆盖 · 用 $y=0$ 的曲线说明负例样本代价随预测值 h 变化的期望性质。

已覆盖 · 引入 -log(x) 与 -log(1-x)，说明对称性，并把自变量限制在 0 到 1 之间观察端点行为。

已覆盖 · 把对数函数中的 x 重新解释为模型预测值 h，建立与正例、负例代价的对应关系。

已覆盖 · 讲解单样本代价函数的定义及图像含义

已覆盖 · 推导并展示合并后的单样本代价公式

已覆盖 · 定义总代价函数（交叉熵损失）

已覆盖 · PyTorch 代码实战演示，对应 example ex-pytorch-logistic

已覆盖 · 讲解 optimizer.step() 和 optimizer.zero_grad() 的作用。

已覆盖 · 讲解如何在训练中定期打印损失值以及 loss.item() 的用法，并展示运行结果。

已覆盖 · 讲解如何使用训练后的参数计算并绘制逻辑回归的决策边界。

已覆盖 · 讲师总结并结束课程，无新增数学知识点。

探索视频中的知识

已审核的主题路径

真正弄懂逻辑回归模型，逻辑回归详解

把讲解展开来看。

章节

学习解说文稿

知识卡片

Sigmoid 函数

线性分类

决策边界

逻辑回归的假设函数

逻辑回归的二分类预测任务

逻辑回归假设函数的显式形式

hθ(x)h_θ(x)hθ​(x) 的输出范围与概率解释

基于阈值 p 的分类规则

阈值示例：p=0.5p=0.5p=0.5 且 hθ(x)=0.75h_θ(x)=0.75hθ​(x)=0.75

sigmoid 函数的定义

sigmoid 函数的图像性质

线性部分与 sigmoid 合成假设函数

逻辑回归的假设函数

交叉熵损失函数作为逻辑回归代价

训练目标是使 J(θ)J(θ)J(θ) 最小

总代价是单样本代价的平均

单样本 cost 的两个输入

正例样本的代价性质

负例样本的代价性质

引入 -log(x) 与 -log(1-x)

把自变量限制在 0 到 1

从 x 到 h：交叉熵项的来源

逻辑回归单样本代价函数

合并后的代价函数

详细学习笔记

x1x_1x1​

x2x_2x2​

y

g(z)g(z)g(z)

hθ(x)h_θ(x)hθ​(x)

θiθ_iθi​

hθ(x)h_\theta(x)hθ​(x)

x

y

θ0\theta_0θ0​,θ1\theta_1θ1​,…\ldots…,θn\theta_nθn​

g(z)g(z)g(z)

z

Sigmoid 函数

线性分类

决策边界

逻辑回归的假设函数

逻辑回归的二分类预测任务

逻辑回归假设函数的显式形式

hθ(x)h_θ(x)hθ​(x) 输出的概率解释

基于阈值 p 的分类规则

sigmoid 函数的定义

把线性表达式代入 sigmoid 得到假设函数

逻辑回归的假设函数

逻辑回归使用交叉熵作为代价函数

逻辑回归预测结果的范围声明

阈值分类规则声明

sigmoid 函数极限行为声明

sigmoid 函数对称性声明

假设函数由线性部分与 sigmoid 组成

训练目标是求使 J(θ)J(θ)J(θ) 最小的参数

正例样本的代价随预测值变化的要求

负例样本的代价随预测值变化的要求

两个对数函数关于 x=0.5x=0.5x=0.5 对称

限制在 0 到 1 后两个对数函数的端点行为

从线性表达式和 sigmoid 合成假设函数

阈值示例推导

从单样本代价性质到引入对数函数的推导

把对数函数自变量替换为预测值 h

单样本代价函数合并推导

线性分类示例

平面上二分类样本示意

阈值 p=0.5p=0.5p=0.5 时的分类示例

使用 PyTorch 实现逻辑回归

模型训练过程中的损失变化

Sigmoid 函数图像

线性分类散点图

假设函数流程图

开场展示假设函数公式

二分类散点图与分界线

概率解释文字面板

$h_θ(x)$ 的输出范围与概率解释

阈值示例： $p=0.5$ 且 $h_θ(x)=0.75$

训练目标是使 $J(θ)$ 最小

$x_1$

$x_2$

$g(z)$

$h_θ(x)$

$θ_i$

$h_\theta(x)$

$\theta_0$ , $\theta_1$ , $\ldots$ , $\theta_n$

$g(z)$

$h_θ(x)$ 输出的概率解释

训练目标是求使 $J(θ)$ 最小的参数

两个对数函数关于 $x=0.5$ 对称

阈值 $p=0.5$ 时的分类示例

逻辑回归的二分类预测任务 → $h_θ(x)$ 输出的概率解释

$h_θ(x)$ 输出的概率解释 → 基于阈值 p 的分类规则

逻辑回归的假设函数 $h_θ(x)$ 长什么样？

拿到 $h_θ(x)$ 后怎样判断样本是正例还是负例？

如果 $p=0.5$ 且 $h_θ(x)=0.75$ ，样本会被判成什么类别？

逻辑回归的假设函数 $h_θ(x)$ 长什么样，为什么它的值域是 0 到 1？