跳到内容
返回探索
数学建模 / 英语

背景及在 Stata 中使用熵权法构建指标

Noman Arshed · YouTube · 5:57

打开原视频
阅读与收藏

把讲解展开来看。

已审核学习内容 · 视频分析 · 中文
阅读完整概览

这段120秒长的视频介绍了利用熵值法构建复合指数的方法,随后从概念性解释转向正式的步骤序列。讲解者将该方法定性为客观且数据驱动的,以区别于主观赋权。一份 Word 文档首先说明:变异性更大的指标具有更高的信息价值,而标准化可消除量纲偏差。后半部分按顺序展示了核心公式:极差标准化、比例计算、熵值(含 k=1/ln⁡(n)k=1/\ln(n))、散度 Dj=1−EjD_j=1-E_j,以及权重标准化 Wj=Dj/∑j=1mDjW_j=D_j/\sum_{j=1}^{m}D_j。最后的综合步骤被命名,但在本片段结束前,其显式公式并未完整显示。 本视频展示了构建复合指数的理论框架及 Stata 实操实现,采用熵权法。视频首先呈现熵计算、熵散度、权重确定及指数加总等数学公式;随后转入 Stata 环境,加载内置的 'auto' 数据集;讲师对 'price' 和 'mpg' 变量执行最小-最大归一化,并解决与 Stata 局部宏临时作用域相关的常见编程错误;最后,视频演示如何修正归一化公式中基准变量误用的问题,确保复合指数所依赖的熵权计算准确无误。 本教程演示了在 Stata 中实现熵权法,以构建由两个变量(价格和每加仑英里数 mpg)组成的合成指数。该过程包括极差归一化(将数据缩放到[0, 1]区间)、比例计算、使用自然对数推导信息熵、计算与熵呈反比关系的客观权重,以及最终生成加权指数。结果通过散点图和皮尔逊相关系数矩阵进行验证,以展示该指数与原始变量之间的关系。

在学习检查器中查看要点和时刻,或切换阅读标签查看完整笔记。

章节

0:00Stata 中熵值法构建指数的入门介绍0:04概念背景:客观权重与信息含量1:03为何需要标准化以消除量纲偏差1:25步骤1:最小-最大归一化公式1:30步骤2:由归一化值计算比例1:36步骤3:熵公式及其有界性,上界为 k=1/ln⁡(n)k=1/\ln(n)1:41步骤4:散度与权重计算1:54步骤5:提及聚合操作,但公式未完整展示2:00熵权法所用数学公式2:10在 Stata 中加载数据与初始设置2:24最小-最大归一化实现2:41排查局部宏作用域错误3:42修正公式中的变量引用4:00最小-最大归一化4:10计算比例4:20计算信息熵4:30推导客观权重4:50生成综合指数5:00验证与可视化

学习解说文稿

依据视频画面与讲解整理,并非逐字语音转写。

视频开场即点明主题:在 Stata 中使用熵值法构建指数。画面上,一张标题幻灯片“在 Stata 中使用熵值法构建指数”与一个 Stata do 文件窗口并列呈现;同时讲解者说明,本视频将先介绍背景知识,再进入具体实现环节。

画面切换至一份题为“指数构建的熵值法”的 Word 文档。讲解内容与文档文字高度一致,共同强调核心观点:熵值法是一种客观、数据驱动的复合指数赋权方法,旨在避免人为设定指标权重所带来的主观性。

接下来阐述关键概念——变异性即信息。讲解者指出,该方法考察数据中的变异性或不确定性,并赋予变异性更大的指标以更高权重,因其承载的信息量更大;文档也呼应此观点,称复合指数立足于数据本身的内在特征,而非主观判断。

随后转向预处理环节。讲解者说明需对数据进行归一化,以消除量纲偏差;文档则进一步指出,在计算比例与熵之前,须将各指标转换至统一量纲,从而消除量纲偏差——这解释了为何原始数值不可直接合成。

文档滚动至正式步骤部分,标题为“使用熵值法构建指数的步骤”。步骤1展示最小-最大归一化公式:Xij′=Xij−min⁡(Xj)max⁡(Xj)−min⁡(Xj)X'_{ij} = \frac{X_{ij} - \min(X_j)}{\max(X_j) - \min(X_j)}。其中,XijX_{ij}表示第jj个指标在第ii个观测样本上的原始值,而Xij′X'_{ij}是归一化后的值,被映射至可比量纲;文档中举例说明该量纲如0–1区间。

步骤2基于归一化值计算比例:Pij=Xij′∑i=1nXij′P_{ij} = \frac{X'_{ij}}{\sum_{i=1}^{n} X'_{ij}}。讲解者将其通俗表述为:衡量每个观测样本对该指标总变动的相对贡献程度。该公式明确揭示了依赖关系:比例完全由归一化后各列的数值直接构造而成。

步骤3引入各指标的熵值:Ej=−k∑i=1nPijln⁡(Pij)E_j = -k \sum_{i=1}^{n} P_{ij} \ln(P_{ij}),其中k=1ln⁡(n)k = \frac{1}{\ln(n)}。文档指出,该常数确保0≤Ej≤10 \leq E_j \leq 1;讲解者重申,1/ln⁡(n)1/\ln(n)使熵值严格介于零与一之间,因为最终结果被视作一种有界的、类指数型比值。

步骤4首先将熵的离散度定义为Dj=1−EjD_j = 1 - E_j。这反转了熵的解释:离散度越低的指标,其熵值越高,因而对不同观测值的区分能力越强。主讲人明确指出DjD_j等于一减去熵值。

同一 步骤随后将离散度转化为客观权重:Wj=Dj∑j=1mDjW_j = \frac{D_j}{\sum_{j=1}^{m} D_j}。公式在屏幕上可见,但口述解释在完整阐述所有mm个指标的归一化之前便中断了。从表达式可清晰看出其数学作用:权重即相对离散度。

步骤5被介绍为‘汇总指标’:通过对加权后的标准化值求和来构建指数。本片段中仅显示描述性语句;在该片段结束前,未展示明确的最终汇总公式,因此本摘录中无法获知复合指数的确切记号。

视频开头展示了一份 Word 文档,详细阐述熵权法的数学基础。屏幕显示熵值计算公式Ej=−k∑i=1nPijln⁡(Pij)E_j = -k \sum_{i=1}^{n} P_{ij} \ln(P_{ij}),其中k=1/ln⁡(n)k = 1 / \ln(n)确保熵值EjE_j始终介于0与1之间。其下方定义了熵的差异度Dj=1−EjD_j = 1 - E_j,用于衡量各指标所提供的有效信息量。

文档随后滚动显示如何利用公式Wj=Dj/∑j=1mDjW_j = D_j / \sum_{j=1}^{m} D_j将这些差异度转化为权重。该归一化过程保证所有指标权重之和等于一。最后,聚合步骤以公式Ii=∑j=1mWj⋅Xij′I_i = \sum_{j=1}^{m} W_j \cdot X'_{ij}呈现,说明如何通过将计算所得权重与归一化后的数据值相乘,构建综合指数。

画面切换至 Stata 软件界面,讲师开始进行实际操作。使用命令 `sysuse auto` 将内置数据集 'auto' 加载至内存。该数据集作为后续演示前述文档中数学概念的基础。

为准备熵值计算,讲师对变量 'price' 应用最小-最大归一化。Stata 代码首先对该变量进行描述性统计,提取其最小值与最大值,并存入局部宏:`local min_price = r(min)` 和 `local max_price = r(max)`。随后在生成命令 `gen norm_price = (price - 'min_price') / ('max_price' - 'min_price')` 中调用这些宏,将价格值缩放到区间 [0, 1]。

执行时发生错误,原因是定义价格最小值与最大值的局部宏具有临时性。讲师解释道:若设定宏的命令与使用宏的命令未作为单一代码块一同执行,Stata 将丢失宏的取值。为解决此问题,需先清空数据集并重新加载,再将描述性统计、存储边界值及生成归一化变量的全部步骤同步运行。

在作用域问题解决后,最小-最大归一化成功应用于 'price' 与 'mpg' 两个变量。讲师在 Stata 数据集浏览器中验证了新变量的创建。命令窗口还展示了熵值各组成部分的后续计算步骤,包括对归一化值求和、计算比例,以及推导各变量的个体熵贡献与总熵贡献。

在审阅代码时,讲师发现 'mpg' 变量归一化公式的逻辑存在严重错误。原始命令错误地以 'price' 变量为基准:`gen norm_mpg = (price - 'min_mpg') / ('max_mpg' - 'min_mpg')`。讲师指出,最小-最大归一化必须针对待变换的特定变量本身,因此删除了错误生成的变量 'norm_mpg',并将公式更正为使用 'mpg',从而保障熵权法计算过程的数学严谨性。

我们首先验证变量“price”和“mpg”是否已成功使用最小-最大公式归一化到区间[0, 1] using the min-max formula: xnorm=x−xminxmax−xminx_{norm} = \frac{x - x_{min}}{x_{max} - x_{min}}。此步骤对于在应用熵计算前消除量纲差异至关重要。

接着,我们使用`egen ... = total(...)`命令计算每个变量的归一化值之和;然后,将每个观测值的归一化值除以该总和,得到其对应的比例pip_i:pi=xi,norm∑xj,normp_i = \frac{x_{i,norm}}{\sum x_{j,norm}}。这些比例在熵分析框架中充当概率。

利用这些比例,我们计算每个变量的信息熵。所采用的公式为E=−∑piln⁡(pi)E = -\sum p_i \ln(p_i)。在Stata中,我们先生成一个临时变量来表示项−piln⁡(pi)-p_i \ln(p_i),再对其求和,从而获得“price”和“mpg”的总熵。

在算得各变量的总熵后,我们确定其客观权重。某变量的权重与其熵呈反比关系:wk=1−Ek∑(1−Em)w_k = \frac{1 - E_k}{\sum (1 - E_m)}。我们在Stata中直接实现该公式,生成`weight_price`和`weight_mpg`。

最后,我们通过对归一化变量取加权和来构建综合指数:Ii=wprice⋅xi,price,norm+wmpg⋅xi,mpg,normI_i = w_{price} \cdot x_{i,price,norm} + w_{mpg} \cdot x_{i,mpg,norm}。这一单一变量“index”即代表基于数据驱动权重的综合评价。

为验证结果,我们首先使用`sum`命令检查权重之和是否等于1;随后,通过散点图(`scatter index price`)可视化新指数与原始变量“price”之间的关系,并观察到正向趋势。

为进行精确的数值验证,我们执行相关性分析(`corr index price mpg`)。输出的相关系数矩阵证实:该指数与价格呈中等程度的正相关(约0.57),与每加仑英里数(mpg)呈负相关(约-0.45),这反映了熵权法所捕捉到的底层数据结构。

知识卡片

01

熵法作为客观指数赋权方法

熵法被呈现为一种数据驱动的构建复合指数的方法,其权重由各指标所含信息量或变异性决定,而非依赖主观判断。变异性更大的指标被视为更具信息量,因而获得更大的权重。

02

为何先进行标准化

在计算熵与权重之前,需先将各指标转换至统一量纲,以避免单位或取值范围差异对指数造成偏差。视频明确将此步骤表述为‘消除量纲偏差’。

03

极差标准化公式

每个原始值 XijX_{ij} 被转换为归一化值 Xij′X'_{ij} 通过减去该指标的最小值 jj 并除以该指标的极差。文档将目标描述为一个可比较的量纲,例如:0-1 量纲。

Xij′=Xij−min⁡(Xj)max⁡(Xj)−min⁡(Xj)X'_{ij} = \frac{X_{ij} - \min(X_j)}{\max(X_j) - \min(X_j)}
04

由标准化值导出的比例公式

对每个指标jj,将观测值ii的标准化值除以该指标在所有观测值上的标准化值之和,从而得到PijP_{ij}——即该观测值对该指标总标准化量的占比贡献。

Pij=Xij′∑i=1nXij′P_{ij} = \frac{X'_{ij}}{\sum_{i=1}^{n} X'_{ij}}
05

熵公式及缩放常数

指标jj的熵值通过负的缩放和Pijln⁡(Pij)P_{ij}\ln(P_{ij})来计算。引入常数k=1/ln⁡(n)k=1/\ln(n),使得所得熵值EjE_j介于0与1之间。

Ej=−k∑i=1nPijln⁡(Pij),k=1ln⁡(n)E_j = -k \sum_{i=1}^{n} P_{ij} \ln(P_{ij}), \quad k = \frac{1}{\ln(n)}
06

熵的离散度

离散度测度定义为一减去熵值。这一转换使离散度数值在指标在各观测值间越不均匀时越大。

Dj=1−EjD_j = 1 - E_j
07

客观权重公式

指标jj的最终权重为其离散度除以所有指标离散度之和。该操作将离散度值重新标度为合成指数的相对权重。

Wj=Dj∑j=1mDjW_j = \frac{D_j}{\sum_{j=1}^{m} D_j}
08

聚合步骤仅命名而公式在视频片段中未完成

最后可见的步骤指出,该指数通过加总加权后的标准化值来构建。然而,在视频片段结束前,明确的聚合公式并未完整呈现,因此此处仅有对最终聚合步骤的口头描述。

09

熵值计算公式

指示变量的熵衡量其不确定性或信息缺失程度。它通过将每个观测值所占比例与其自然对数的乘积求和,再乘以一个负常数来计算。该常数对结果进行缩放,以确保熵值严格介于0与1之间。

Ej=−k∑i=1nPijln⁡(Pij),k=1ln⁡(n)E_j = -k \sum_{i=1}^{n} P_{ij} \ln(P_{ij}), \quad k = \frac{1}{\ln(n)}
10

熵的离散度

熵的离散度表示一个指示变量所提供的有用信息量或变异程度。它直接通过用1减去熵值得到。熵值越低(信息含量越高)的指示变量,其离散度值越高。

Dj=1−EjD_j = 1 - E_j
11

基于熵的权重确定

为不同指示变量分配客观权重,需对其离散度值进行归一化处理。每个指示变量的权重等于其离散度除以所有指示变量离散度之和。这确保最终权重之和恰好为1,从而反映各变量的相对重要性。

Wj=Dj∑j=1mDjW_j = \frac{D_j}{\sum_{j=1}^{m} D_j}
12

综合指数合成

熵权法的最后一步是构建综合指数。该步骤通过对计算所得的指示变量权重与各观测值对应标准化数据值进行点积运算来实现。

Ii=∑j=1mWj⋅Xij′I_i = \sum_{j=1}^{m} W_j \cdot X'_{ij}
13

Stata 中的最小-最大标准化

在计算熵之前,原始数据必须缩放到统一区间,通常为0到1。在 Stata 中,这包括先对变量进行汇总以获取其最小值和最大值,将这两个值存入局部宏中,再生成一个新变量:用原变量减去最小值后除以极差。

Xij′=Xij−min⁡(Xj)max⁡(Xj)−min⁡(Xj)X'_{ij} = \frac{X_{ij} - \min(X_j)}{\max(X_j) - \min(X_j)}
14

Stata 局部宏的作用范围

Stata 中的局部宏具有临时性,仅在其被定义的特定代码块执行期间存在。若在一个命令中定义了某个宏,却在另一个未与其连同运行的命令中引用它,Stata 将报出‘变量未找到’错误,因为该宏的值已被丢弃。

15

标准化中基准变量的修正

在代码中实现数学公式时,必须对正确的目标变量应用变换。一个常见错误是在归一化公式中使用了错误的基准变量,这会导致缩放后的数据失效,并进一步影响后续的熵计算。

gennormmpg=(mpg−′minmpg′)/(′maxmpg′−′minmpg′)gen norm_mpg = (mpg - 'min_mpg') / ('max_mpg' - 'min_mpg')
16

最小-最大归一化公式

将任意变量缩放到区间0至1范围内,以便在不同量纲间进行比较。这是熵权法中的关键第一步。

xnorm=x−xminxmax−xminx_{norm} = \frac{x - x_{min}}{x_{max} - x_{min}}
17

比例计算

通过将每个归一化后的值除以该列的总和,将其转化为类似概率的分布。

pi=xi,norm∑j=1nxj,normp_i = \frac{x_{i,norm}}{\sum_{j=1}^n x_{j,norm}}
18

信息熵

用于衡量数据分布的混乱程度或均匀程度。熵值越高,说明该变量在区分观测样本时所提供的有效信息越少。

E=−∑i=1npiln⁡(pi)E = -\sum_{i=1}^n p_i \ln(p_i)
19

熵权推导

赋予熵值较低(即判别能力较强)的变量更高的权重。所有权重经归一化处理,使其总和为1。

wk=1−Ek∑m=1M(1−Em)w_k = \frac{1 - E_k}{\sum_{m=1}^M (1 - E_m)}
20

综合指数构建

最终得分是各归一化变量与其对应熵权相乘后所得结果的线性加总。

Ii=∑k=1Mwkxi,k,normI_i = \sum_{k=1}^M w_k x_{i,k,norm}
21

皮尔逊相关系数

此处用于验证所构建指数与原始变量之间线性关系的统计量。

r=∑(xi−xˉ)(yi−yˉ)∑(xi−xˉ)2∑(yi−yˉ)2r = \frac{\sum(x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum(x_i - \bar{x})^2 \sum(y_i - \bar{y})^2}}

详细学习笔记

按知识点查看条件、步骤和证据。补充解释与视频直接内容分别标明。

符号定义 · 38

X_{ij}

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档在最小-最大归一化公式中将原始指标值表示为〔X_{ij}〕。

  2. 声音
    观察依据

    讲话者描述了使用最小-最大法对数据进行归一化。

符号

X_{ij}

含义

观测i在归一化前的指标j的原始值。

适用范围

各指标的原始测量尺度;视频未说明单位,也未说明指标属于效益型还是成本型。

min⁡(Xj)\min(X_j)

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    归一化公式的分母与分子均包含〔min⁡(Xj)\min(X_j)〕。

  2. 声音
    观察依据

    讲话者称该方法首先使用最小-最大法对数据进行归一化。

符号

min⁡(Xj)\min(X_j)

含义

指标j在所有观测中的最小值。

适用范围

定义在指标j的样本值之上。

max⁡(Xj)\max(X_j)

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    归一化公式在分母中包含〔max⁡(Xj)\max(X_j)〕。

  2. 声音
    观察依据

    讲话者称该方法首先使用最小-最大法对数据进行归一化。

符号

max⁡(Xj)\max(X_j)

含义

指标j在所有观测中的最大值。

适用范围

定义在指标j的样本值之上。

X'_{ij}

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    标准化方程左侧为 X'_{ij}。

  2. 声音
    观察依据

    主讲人解释说,标准化可消除量纲偏差。

符号

X'_{ij}

含义

第 i 个观测值在第 j 个指标上的标准化值。

适用范围

文档中所述的可比量纲,例如0-1量纲。

P_{ij}

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    比例公式定义为 P_{ij}=X'_{ij}/\sum_{i=1i=1}^{n}X'_{ij}。

  2. 声音
    观察依据

    主讲人称,该公式计算的是数据变化量占总变化量的比例。

符号

P_{ij}

含义

第 i 个观测值在第 j 个指标上的标准化值,占该指标在所有观测值上标准化值之和的比例。

适用范围

每个指标列对应的非负类比例量;视频未明确讨论零和边界情形。

n

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    比例公式与熵公式中的求和限均采用 ∑i=1n\sum_{i=1}^{n}。

  2. 声音
    观察依据

    主讲人提到常数 k 为1除以 ln⁡(n)\ln (n)。

符号

n

含义

求和下标 i 及熵常数 k=1/ln⁡(n)k=1/\ln(n) 中所用的观测数。

适用范围

正整数样本量;视频未明确说明 n>1n > 1。

EjE_j

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    熵步骤定义为 Ej=−k∑i=1nPE_j = -k\sum _{i=1}^{n} P_{ij} ln(P_{ij})。

  2. 声音
    观察依据

    主讲人指出,该方法计算熵,从而确保 EjE_j 介于0与1之间。

符号

EjE_j

含义

指标 j 的熵值。

适用范围

文档与主讲人均指出其取值范围为 [0,1]。

k

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档指出,其中 k=1/ln⁡(n)k = 1 / \ln (n) 是一个常数,用以保证 0≤Ej≤10 \le E_j \le 1。

  2. 声音
    观察依据

    The speaker says one over ln n makes sure EjE_j stays within 0 和 1。

符号

k

含义

熵公式中的缩放常数,定义为 k=1/ln⁡(n)k = 1 / \ln (n)。

适用范围

该量依赖于 n;视频未单独讨论 n=1n = 1 的情形。

DjD_j

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    权重-离散度步骤给出 Dj=1−EjD_j = 1 - E_j。

  2. 声音
    观察依据

    主讲人指出,它计算的是 DjD_j,即1减去熵值。

符号

DjD_j

含义

指标 j 的熵离散度。

适用范围

由 EjE_j 推导而来;若 Ej∈[0,1]E_j \in [0,1],则 Dj∈[0,1]D_j \in [0,1]。

WjW_j

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档显示 Wj=Dj/∑j=1mDjW_j = D_j / \sum_{j=1}^{m} D_j。

  2. 声音
    观察依据

    讲话者称该方法采用基于变异性的客观确定权重。

符号

WjW_j

含义

对指标 j 赋予的客观权重,是在对各指标的离差进行标准化之后得到的。

适用范围

权重在 m 个指标上进行了标准化;视频未明确证明它们之和为1。

m

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    权重公式对 j=1j = 1 到 m 求和。

待核验内容
  1. 符号 m 在公式中可见,但在该片段中未作口头定义。

符号

m

含义

被合并进指数的指标或变量的个数。

适用范围

指标的正整数个数;其确切定义由求和指标推断得出。

Index\text{Index}

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    聚合步骤表述为:通过加总加权后的标准化值来构建指数。

  2. 声音
    观察依据

    讲话者将整个流程描述为构建一个指数。

待核验内容
  1. 最终的聚合公式在片段结束前未完整呈现。

符号

Index\text{Index}

含义

通过对加权后的标准化指标值求和所得的合成指数。

适用范围

对各项指标进行汇总;本片段中未完整显示显式公式。

知识点 · 19

熵值法用于指数构建的目的

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    主讲人将本主题介绍为使用熵值法构建指数,并指出这是一种无需主观赋权的客观指数测量方法。

  2. 字幕依据
    观察依据

    标题幻灯片显示:在 Stata 中使用熵值法构建指数。

  3. 公式
    观察依据

    Word 文档标题为:指数构建的熵值法。

定义
解释

熵值法被呈现为一种数据驱动的复合指数构建方法,它依据各指标所含信息量或数据变异性来客观确定指标权重,而非依赖主观判断。主讲人强调:指标的变异程度或不确定性越大,其信息价值就越高,因此在指数中所占权重也越大。

公式
适用条件
  1. 用于将多个指标合并为一个具有实际意义的单一指数。

  2. 权重旨在立足于数据本身的内在特征。

  3. 本片段先从概念层面介绍该方法,再展示其在 Stata 中的具体实现。

第1步:极差标准化

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档中的第1步是:数据标准化——将所有指标转换至可比尺度(例如0-1尺度),以避免量纲偏差。通常采用极差标准化(min-max 标准化)实现。

  2. 声音
    观察依据

    主讲人表示将采用极差标准化法对数据进行标准化,从而消除量纲偏差。

方法
解释

第一步计算将原始指标值转换为统一可比的量纲,例如描述为0-1尺度,采用最小-最大归一化法。此举消除了量纲偏差,使不同单位测量的指标能够公平地综合起来。

公式
Xij′=Xij−min⁡(Xj)max⁡(Xj)−min⁡(Xj)X'_{ij} = \frac{X_{ij} - \min(X_j)}{\max(X_j) - \min(X_j)}
适用条件
  1. 该步骤应用于每个指标 j,覆盖所有观测 i。

  2. 所显示公式的有效性要求 max(XjX_j)−min(XjX_j) 非零;视频未讨论指标为常数的情形。

先修条目
  1. 熵值法用于指数构建的目的

第2步:由归一化值计算比例

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档中第2步为:计算比例——对每个观测 iii 和每个变量 jjj,计算其比例。

  2. 声音
    观察依据

    主讲人称,该步骤计算的是数据变动量占总变动量的比例。

待核验内容
  1. 文档正文中明显使用 iii 和 jjj,而公式中使用 i 和 j;这似乎是排版所致,并非具有不同的数学含义。

方法
解释

归一化后,将每个观测在某指标上的归一化值,除以该指标在所有观测上的归一化值之和。由此得到每个观测对该指标总归一化量所贡献的比例型权重。

公式
Pij=Xij′∑i=1nXij′P_{ij} = \frac{X'_{ij}}{\sum_{i=1}^{n} X'_{ij}}
适用条件
  1. 使用第1步所得的归一化值 X'_{ij}。

  2. 对每个固定指标 j,在观测 i=1i = 1, …, n 上求和。

  3. 分母必须非零;视频未涉及分母为零的情形。

先修条目
  1. 第1步:极差标准化

步骤3:各指标的熵

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档中第3步为:计算各指标的熵,公式为 Ej=−k∑i=1nPE_j = -k\sum _{i=1}^{n} P_{ij} ln(P_{ij}),其中 k=1/ln⁡(n)k = 1 / \ln (n) 是一个常数,用于确保 0≤Ej≤10 \le E_j \le 1。

  2. 声音
    观察依据

    主讲人称其用于计算熵,且1除以 ln n 可确保 EjE_j 始终介于0与1之间,因为这是一个指数比率。

公式
解释

指标 j 的熵由比例 P_{ij} 通过负的缩放和式 -P_{ij}ln⁡\ln(P_{ij}) 计算得出。引入缩放常数 k=1/ln⁡(n)k=1/\ln(n),使得所得熵 EjE_j 被限制在0与1之间。

公式
Ej=−k∑i=1nPijln⁡(Pij),k=1ln⁡(n)E_j = -k \sum_{i=1}^{n} P_{ij} \ln(P_{ij}), \quad k = \frac{1}{\ln(n)}
适用条件
  1. 使用步骤2中的比例 P_{ij}。

  2. 文档指出,k 保证了0≤Ej≤10 \le E_j \le 1。

  3. 该片段未明确讨论当 P_{ij}=0 时各项的处理惯例。

先修条目
  1. 第2步:由归一化值计算比例

步骤4a:熵离差

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档中步骤4为:确定权重——先计算各变量的熵离差,再计算 Dj=1−EjD_j = 1 - E_j。

  2. 声音
    观察依据

    主讲人称其计算的是 DjD_j,即1减去熵值。

公式
解释

指标 j 的熵离散度定义为一减去该指标的熵值。这一变换使得熵转化为一种量:当某个指标在不同观测中所携带的区分信息越多时,该量就越大。

公式
Dj=1−EjD_j = 1 - E_j
适用条件
  1. 使用步骤3所得的 EjE_j。

  2. 若 Ej∈[0,1]E_j \in [0,1],则 Dj∈[0,1]D_j \in [0,1];该片段依赖前述有界性陈述。

先修条目
  1. 步骤3:各指标的熵

步骤4b:将离差归一化为权重

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档中显示权重的计算公式为:Wj=Dj/∑j=1mDjW_j = D_j / \sum_{j=1}^{m} D_j。

  2. 声音
    观察依据

    讲话者指出,该方法采用客观确定的权重,从而使指数不受主观判断影响。

待核验内容
  1. 公式中可见符号 m,但在视频片段中未作口头定义。

公式
解释

指标 j 的客观权重,通过将其离差 DjD_j 除以全部 m 个指标的离差之和得到。这一操作将离差重新标度为一组用于合成指数的相对权重。

公式
Wj=Dj∑j=1mDjW_j = \frac{D_j}{\sum_{j=1}^{m} D_j}
适用条件
  1. 使用步骤4a 中的 DjD_j。

  2. 对指标 j=1j = 1,…\ldots,m 求和。

  3. 分母必须非零;视频未讨论所有 Dj=0D_j = 0 的情形。

先修条目
  1. 步骤4a:熵离差

步骤5:将各项指标聚合为最终指数

时间近似
视频直接表达
来源依据
  1. 公式
    观察依据

    文档中步骤5写为:聚合各项指标——通过对加权后的标准化值求和来构建指数。

  2. 声音
    观察依据

    视频片段结束时,讲话者刚刚完成权重计算方法的介绍。

待核验内容
  1. 显式的聚合公式在片段结束前未完整呈现,因此本段无法获知最终指数的确切记号。

方法
解释

最后一步通过将各指标的加权标准化值相加,构建综合指数。本片段中仅可见聚合步骤的文字描述;在该片段结束前,完整公式并未显示。

公式
适用条件
  1. 使用权重 WjW_j 和标准化值 X'_{ij}。

  2. 本片段中未显示确切的公式。

先修条目
  1. 步骤4b:将离差归一化为权重
  2. 第1步:极差标准化

熵值计算公式

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档显示 Ej=−k∑i=1nPE_j = -k \sum_{i=1}^{n} P_{ij} ln⁡\ln(P_{ij})。

  2. 公式
    观察依据

    文档指出 k=1/ln⁡(n)k = 1 / \ln(n)。

公式
解释

某指标的熵值,通过将其各观测比例与其自然对数的乘积求和,再乘以负常数 k 得到。该常数 k 定义为 1 除以观测总数 n 的自然对数,从而确保熵值介于 0 与 1 之间。

公式
Ej=−k∑i=1nPijln⁡(Pij),k=1ln⁡(n)E_j = -k \sum_{i=1}^{n} P_{ij} \ln(P_{ij}), \quad k = \frac{1}{\ln(n)}
适用条件
  1. P_{ij} 表示第 i 个观测中第 j 个指标所占的比例。

  2. n 是观测总数。

熵离差

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档显示 Dj=1−EjD_j = 1 - E_j。

公式
解释

变量的熵离散度定义为一减去其熵值,该指标反映该变量所提供的有用信息量或变异程度。

公式
Dj=1−EjD_j = 1 - E_j
适用条件
  1. EjE_j 是第 j 个指标的熵值。

先修条目
  1. 熵值计算公式

权重计算公式

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档显示 Wj=Dj/∑j=1mDjW_j = D_j / \sum_{j=1}^{m} D_j。

公式
解释

各指标的权重由其熵离差除以全部 m 个指标的熵离差之和确定,从而使得所有权重之和为一。

公式
Wj=Dj∑j=1mDjW_j = \frac{D_j}{\sum_{j=1}^{m} D_j}
适用条件
  1. DjD_j 是第 j 个指标的熵离差。

  2. m 是指标的总个数。

先修条目
  1. 熵离差

指数聚合公式

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档显示 Ii=∑j=1mWj⋅XI_i = \sum_{j=1}^{m} W_j \cdot X'_{ij}。

公式
解释

每个观测值的最终综合指数,通过将所计算出的权重与其对应指标的标准化值相乘后求和得到。

公式
Ii=∑j=1mWj⋅Xij′I_i = \sum_{j=1}^{m} W_j \cdot X'_{ij}
适用条件
  1. WjW_j 是第 j 个指标的权重。

  2. X'_{ij} 是第 i 个观测值在第 j 个指标上的标准化值。

先修条目
  1. 权重计算公式

Stata 中的最小-最大标准化

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    Stata 代码实现 gen norm_price = (price - 'min_price') / ('max_price' - 'min_price')。

  2. 声音
    观察依据

    主讲人讲解如何计算最小值与最大值,以生成标准化价格变量。

方法
解释

在 Stata 中使用最小-最大法对变量进行标准化时,首先对该变量执行 summarize 命令以获取其最小值和最大值;将这两个值存入局部宏中,然后生成一个新变量:用原始变量减去最小值,再除以极差(即最大值减最小值)。

公式
Xij′=Xij−min⁡(Xj)max⁡(Xj)−min⁡(Xj)X'_{ij} = \frac{X_{ij} - \min(X_j)}{\max(X_j) - \min(X_j)}
适用条件
  1. 该变量必须是连续型或序数型变量。

  2. 最小值与最大值必须互不相同,以避免出现除零错误。

定理与条件 · 6

熵值法所得权重是客观的,而非主观的。

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    讲话者指出,熵值法基于客观确定的权重,从而使该指数不受任何主观判断的影响。

  2. 字幕依据
    观察依据

    文件指出,熵值法的逻辑在于其能够依据各指标的信息含量,客观地确定其权重。

命题
命题

熵值法根据数据的信息含量客观地确定各指标权重,因此所得综合指数不依赖于主观判断。

前提
  1. 多个指标正被合并为一个指数。

  2. 权重源自数据的变异性或不确定性。

量词

对于纳入指数构建的各指标,其权重由基于数据的信息含量确定,而非通过主观指定。

变异性越大,权重越高

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    讲话者指出,该方法考察数据的变异性或不确定性,并对变异性更大的指标赋予更高权重,因其信息价值更高。

  2. 字幕依据
    观察依据

    文件指出,该方法对变异性更大的指标赋予更高权重,以反映其更高的信息价值。

命题
命题

变异性或不确定性更大的指标会获得更高的权重,因为它们被视为具有更高的信息价值。

前提
  1. 变异性是在方法中所示的数据处理步骤之后进行评估的。

  2. 该比较是在同一指数构建所涉及的指标之间进行的。

量词

在待合并的指标中,变异性或不确定性更大的指标被赋予更高的权重。

标准化可消除量纲偏差

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    说话人称,此举可对数据进行标准化,从而消除量纲偏差。

  2. 字幕依据
    观察依据

    文件指出:将数据标准化至统一量纲可消除量纲偏差。

命题
命题

将指标转换为统一量纲,可在计算比例、熵值及权重之前消除量纲偏差。

前提
  1. 指标最初可能处于不同量纲上。

  2. 标准化在后续的熵值计算之前执行。

量词

对于所有已转换至统一量纲的指标,后续方法均将其视为具有可比性。

熵 EjE_j 的取值被限定在 0 和 1 之间。

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档指出,其中 k=1/ln⁡(n)k = 1 / \ln(n) 是一个常数,用于确保 0≤Ej≤10 \leq E_j \leq 1。

  2. 声音
    观察依据

    讲话者说,1 除以 ln n 可确保 EjE_j 始终介于 0 和 1 之间。

待核验内容
  1. 该片段陈述了有界性结论,但未提供为何 k=1/ln⁡(n)k = 1/\ln(n) 能保证该结论的证明。

命题
命题

当 k=1/ln⁡(n)k = 1/\ln(n) 时,每个指标对应的熵值 EjE_j 均保持在区间 [0,1] 内。

前提
  1. EjE_j 按公式 Ej=−k∑i=1nPE_j = -k\sum_{i=1}^{n}P_{ij}ln⁡\ln(P_{ij}) 计算。

  2. k 等于1除以 ln⁡(n)\ln (n)。

量词

对每个指标 j,所计算出的熵 EjE_j 满足 0≤Ej≤10 \leq E_j \leq 1。

熵值范围约束

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档指出 k=1/ln⁡(n)k = 1 / \ln(n) 是一个常数,用于确保 0≤Ej≤10 \le E_j \le 1。

命题
命题

常数 k=1/ln⁡(n)k = 1 / \ln(n) 保证所计算的熵值 EjE_j 被限制在 0 与 1 之间。

前提
  1. n 大于1

  2. P_{ij} ≥ 0,且 ∑i=1nP\sum _{i=1}^n P_{ij} = 1

量词

对所有指标 j 和所有观测 i 成立。

权重之和

时间近似
依据视频推导
来源依据
  1. 公式
    观察依据

    文档显示 Wj=Dj/∑j=1mDjW_j = D_j / \sum _{j=1}^{m} D_j。

命题
命题

所有 m 个指标的计算权重 WjW_j 之和恰好为 1。

前提
  1. 从 j 等于1到 m 的 DjD_j 之和大于0

量词

对从 1 到 m 的所有指标 j 成立。

推导与证明 · 3

从原始数据到客观权重的工作流程

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    Word 文档列出了使用熵值法构建索引的步骤,包含从数据标准化到权重计算的编号公式。

  2. 声音
    观察依据

    讲话者逐步讲解流程:先标准化,再计算比重,接着计算熵,最后将 DjD_j 计算为 1 减去熵。

待核验内容
  1. 最终的综合公式在片段结束前未完整展示。

直观解释
步骤
  1. 公式
    Xij′=Xij−min⁡(Xj)max⁡(Xj)−min⁡(Xj)X'_{ij} = \frac{X_{ij} - \min(X_j)}{\max(X_j) - \min(X_j)}
    解释

    从原始指标值出发,使用最小-最大归一化方法将每个指标转换为统一的可比量纲。

    步骤依据

    这是显示文档中的第1步,与主讲人所解释的‘归一化可消除量纲偏差’一致。

    视频直接表达
  2. 公式
    Pij=Xij′∑i=1nXij′P_{ij} = \frac{X'_{ij}}{\sum_{i=1}^{n} X'_{ij}}
    解释

    对每个指标 j,将各归一化值除以所有观测样本的归一化值之和,从而得到比例值。

    步骤依据

    这是显示文档中的第2步,对应主讲人关于‘将每个观测样本的变化量与总变化量进行比较’的描述。

    视频直接表达
  3. 公式
    Ej=−k∑i=1nPijln⁡(Pij),k=1ln⁡(n)E_j = -k \sum_{i=1}^{n} P_{ij} \ln(P_{ij}), \quad k = \frac{1}{\ln(n)}
    解释

    利用比例值计算指标 j 的熵,并采用缩放常数 k=1/ln⁡(n)k = 1/\ln(n)。

    步骤依据

    这是显示文档中的第3步;主讲人明确提到,常数为1除以 ln n,用以保证 EjE_j 始终介于0与1之间。

    视频直接表达
  4. 公式
    Dj=1−EjD_j = 1 - E_j
    解释

    将熵转换为各指标的熵离差。

    步骤依据

    这是显示文档中的第4步,主讲人直接表述为‘1减去熵值’。

    视频直接表达
  5. 公式
    Wj=Dj∑j=1mDjW_j = \frac{D_j}{\sum_{j=1}^{m} D_j}
    解释

    对各指标的离差进行归一化处理,从而获得指数构建中所用的客观权重。

    步骤依据

    该公式在文档‘Calculate weights as’下方可见,尽管主讲人在片段结束前未完成对此步骤的讲解。

    视频直接表达
结论

所展示的工作流程将原始指标数据依次转化为归一化值、比例值、熵值、熵离差,最终得到用于指数构建的客观权重。

最小-最大归一化错误的修正

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    主讲人指出 mpg 的答案错误,因为此处公式中应为 mpg。

  2. 公式
    观察依据

    Stata 代码被修改,将 (price - 'min_mpg') 改为 (mpg - 'min_mpg')。

  3. 公式
    观察依据

    主讲人删除了错误的 norm_mpg 变量,并重新生成该变量。

严格证明
步骤
  1. 公式
    gennormmpg=(price−′minmpg′)/(′maxmpg′−′minmpg′)gen norm_mpg = (price - 'min_mpg') / ('max_mpg' - 'min_mpg')
    解释

    识别 mpg 变量归一化所用的初始错误代码。

    步骤依据

    在 Stata 编辑器中直接观察到,尚未修正。

    视频直接表达
  2. 公式
    dropnormmpgdrop norm_mpg
    解释

    从数据集中删除错误生成的变量。

    步骤依据

    说话者执行的用于清除错误数据的 Stata 命令。

    视频直接表达
  3. 公式
    gennormmpg=(mpg−′minmpg′)/(′maxmpg′−′minmpg′)gen norm_mpg = (mpg - 'min_mpg') / ('max_mpg' - 'min_mpg')
    解释

    使用正确的基础变量“mpg”重写生成命令。

    步骤依据

    对 mpg 指标进行最小-最大归一化的数学要求。

    视频直接表达
结论

通过对 mpg 值(而非 price 值)应用最小-最大变换,正确生成了归一化后的 mpg 变量。

基于熵值法的综合指数推导

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    Stata 分步代码在 do 文件编辑器中可见,用以实现数学公式。

严格证明
步骤
  1. 公式
    xnorm=x−xminxmax−xminx_{norm} = \frac{x - x_{min}}{x_{max} - x_{min}}
    解释

    将原始数据归一化至[0, 1]区间,以消除量纲差异。

    步骤依据

    最小-最大归一化定义。

    视频直接表达
  2. 公式
    pi=xi,norm∑xj,normp_i = \frac{x_{i,norm}}{\sum x_{j,norm}}
    解释

    计算每个观测值的标准化值所占的比例。

    步骤依据

    分布中比例的定义。

    视频直接表达
  3. 公式
    E=−∑piln⁡(pi)E = -\sum p_i \ln(p_i)
    解释

    计算该变量的总信息熵。

    步骤依据

    香农熵公式。

    视频直接表达
  4. 公式
    wk=1−Ek∑(1−Em)w_k = \frac{1 - E_k}{\sum (1 - E_m)}
    解释

    根据各变量的熵确定其客观权重。

    步骤依据

    熵权法原理:熵值越低,判别能力越强,因而权重越高。

    视频直接表达
  5. 公式
    Ii=∑wkxi,k,normI_i = \sum w_k x_{i,k,norm}
    解释

    计算每个观测值的最终综合指数。

    步骤依据

    加权线性组合。

    视频直接表达
结论

综合指数已成功构建,所用权重为基于数据固有信息熵得出的客观权重。

例题详解 · 5

加载 Stata 内置数据集

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    说话者提到加载 Stata 中已有的特定数据文件,即 sysuse auto。

  2. 公式
    观察依据

    Stata 代码显示为 sysuse auto。

题目

加载 Stata 内置的汽车数据集,以开始熵值指数计算。

已知条件
  1. 已安装 Stata 软件

  2. 内置数据集“auto”可用

目标

将数据集导入当前的 Stata 会话中。

步骤
  1. 公式sysuse auto
    解释

    执行 sysuse 命令,并指定数据集名称为 'auto'。

    步骤依据

    加载内置数据集的标准 Stata 语法。

    视频直接表达
结果

1978 汽车数据已加载至内存中。

检验

Stata 输出确认了 '1978 汽车数据'。

对 price 变量进行最小-最大标准化

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    讲解者说明对 price 变量进行汇总统计、存储其最小值与最大值,并计算标准化后的价格。

  2. 公式
    观察依据

    Stata 代码显示:summarize price,local min_price = r(min),local max_price = r(max),以及 gen norm_price = ...

题目

在 Stata 中使用最小-最大法对 'price' 变量进行标准化。

已知条件
  1. 数据集 'auto' 已加载

  2. 变量 'price' 存在

目标

创建一个新变量 'norm_price',其取值范围缩放至 0 与 1 之间。

步骤
  1. 公式summarize price
    解释

    计算价格变量的汇总统计量。

    步骤依据

    需要找出最小值和最大值。

    视频直接表达
  2. 公式
    localminprice=r(min)local min_price = r(min)
    解释

    将最小价格存入一个局部宏中。

    步骤依据

    捕获归一化的下界。

    视频直接表达
  3. 公式
    localmaxprice=r(max)local max_price = r(max)
    解释

    将最大价格存入一个局部宏中。

    步骤依据

    捕获归一化的上界。

    视频直接表达
  4. 公式
    gennormprice=(price−′minprice′)/(′maxprice′−′minprice′)gen norm_price = (price - 'min_price') / ('max_price' - 'min_price')
    解释

    利用已存储的上下界生成归一化变量。

    步骤依据

    应用最小-最大归一化公式。

    视频直接表达
结果

变量 'norm_price' 已成功创建。

检验

讲解者在数据集浏览器中指出这个新变量。

解决局部宏作用域错误

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    讲解者指出该错误是由于局部宏 min_price 位于临时内存中,并建议将命令一起运行。

  2. 公式
    观察依据

    Stata 输出显示“未找到变量 min_price”。

  3. 公式
    观察依据

    讲解者高亮并同时运行多行代码。

题目

修复在 Stata 中生成标准化变量时出现的“未找到变量 min_price”错误。

已知条件
  1. 代码定义局部宏,并在独立的执行步骤中使用它们。

目标

成功生成标准化变量,且无作用域错误。

步骤
  1. 公式
    clearclear
    解释

    清空当前数据集以释放内存。

    步骤依据

    重置环境,以便从头开始。

    视频直接表达
  2. 公式sysuse auto
    解释

    重新加载数据集。

    步骤依据

    确保数据可用于组合执行。

    视频直接表达
  3. 公式Run summarize, local definitions, 且 gen commands together
    解释

    选中并一次性执行整段代码块。

    步骤依据

    使局部宏在整个执行块中持续有效。

    视频直接表达
结果

标准化变量已成功生成。

检验

Stata 输出显示 gen 命令成功执行,未报错。

在 Stata 中计算熵权重

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    Stata 输出显示了一组 egen 和 gen 命令,依次用于计算 sum_price、prop_price、entropy_price、total_entropy_price 和 weight_price。

待核验内容
  1. 讲话者在此确切时间段内并未口头详细解释这些特定的中间步骤,但它们在代码和输出中可见。

题目

为 'price' 变量计算熵加权所需的各项组成部分。

已知条件
  1. 变量 'norm_price' 存在

目标

推导价格指标的最终权重。

步骤
  1. 公式
    egensumprice=total(normprice)egen sum_price = total(norm_price)
    解释

    计算所有标准化价格值的总和。

    步骤依据

    用于计算比例。

    视频直接表达
  2. 公式
    egenpropprice=normprice/sumpriceegen prop_price = norm_price / sum_price
    解释

    计算每个观测值的标准化价格所占比例。

    步骤依据

    熵公式所需的输入。

    视频直接表达
  3. 公式
    genentropyprice=−1∗propprice∗ln(propprice)gen entropy_price = -1 * prop_price * ln(prop_price)
    解释

    计算各观测值的熵贡献。

    步骤依据

    应用熵公式的核心部分。

    视频直接表达
  4. 公式
    egentotalentropyprice=total(entropyprice)egen total_entropy_price = total(entropy_price)
    解释

    对各个熵贡献项求和。

    步骤依据

    得到该变量的总熵 〔EjE_j〕。

    视频直接表达
  5. 公式
    genweightprice=(1−totalentropyprice)/((1−totalentropyprice)+(1−totalentropympg))gen weight_price = (1 - total_entropy_price) / ((1 - total_entropy_price) + (1 - total_entropy_mpg))
    解释

    根据熵的散度计算最终权重。

    步骤依据

    实现两个变量的权重归一化公式。

    视频直接表达
结果

计算价格变量的权重。

检验

在 Stata 结果窗口和数据集浏览器中可见。

在 Stata 中实现熵值法

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    屏幕上显示完整的 Stata do 文件代码。

  2. 图示
    观察依据

    散点图(综合指数 vs 价格)显示在1:18处。

  3. 图示
    观察依据

    相关系数矩阵输出显示在1:33处。

题目

利用熵值法,基于 'price' 和 'mpg' 两个变量构建综合指数,并验证其性质。

已知条件
  1. 数据集包含 'price' 和 'mpg' 两个变量。

目标

生成标准化变量、计算熵权、合成指数,并可视化/验证结果。

步骤
  1. 公式
    summarizepricelocalminprice=r(min)localmaxprice=r(max)gennormprice=(price−‘minprice′)/(‘maxprice′−‘minprice′)summarize price local min_price = r(min) local max_price = r(max) gen norm_price = (price - `min_price') / (`max_price' - `min_price')
    解释

    求取极值并构造标准化的 price 变量。

    步骤依据

    极差标准化。

    视频直接表达
  2. 公式
    egensumprice=total(normprice)genpropprice=normprice/sumpriceegen sum_price = total(norm_price) gen prop_price = norm_price / sum_price
    解释

    计算标准化 price 变量的总和与各比例。

    步骤依据

    比例计算。

    视频直接表达
  3. 公式
    genentropyprice=−1∗propprice∗ln(propprice)egentotalentropyprice=total(entropyprice)gen entropy_price = -1 * prop_price * ln(prop_price) egen total_entropy_price = total(entropy_price)
    解释

    计算 price 变量的个体熵与总熵。

    步骤依据

    信息熵公式。

    视频直接表达
  4. 公式
    genweightprice=(1−totalentropyprice)/((1−totalentropyprice)+(1−totalentropympg))gen weight_price = (1 - total_entropy_price) / ((1 - total_entropy_price) + (1 - total_entropy_mpg))
    解释

    计算 price 变量的客观权重。

    步骤依据

    熵权公式。

    视频直接表达
  5. 公式
    genindex=weightprice∗normprice+weightmpg∗normmpggen index = weight_price * norm_price + weight_mpg * norm_mpg
    解释

    计算最终的综合指数。

    步骤依据

    加权和。

    视频直接表达
  6. 公式scatter index price corr index price mpg
    解释

    可视化变量间关系并检验相关性。

    步骤依据

    描述性统计与可视化。

    视频直接表达
结果

该指数已生成,显示其与价格呈正相关(r ≈ 0.57),与每加仑英里数呈负相关(r ≈ -0.45)。

检验

散点图证实了正向关联;相关系数矩阵提供了精确的相关系数。

图示与动画 · 10

标题幻灯片与 Stata 预览界面

依据清楚
视频直接表达
来源依据
  1. 动画
    观察依据

    开场画面显示一张标题幻灯片,文字为‘在 Stata 中使用熵值法构建指数’,旁侧为一个 Stata do 文件窗口。

  2. 声音
    观察依据

    主讲人欢迎观众,并表示本视频将演示如何在 Stata 中使用熵值法进行指数构建。

图中对象
  1. 标题幻灯片上的文字

  2. Stata do-文件编辑器窗口

变化过程
  1. 画面起始于一个演示风格的标题屏幕,Stata 界面同时显示在旁。

不变量
  1. 该主题被明确为在 Stata 中采用熵值法构建指数。

数学含义

开场画面表明,本片段是一段面向 Stata 平台熵值法工作流程的教学导引。

Word 文档中的概念性说明

依据清楚
视频直接表达
来源依据
  1. 动画
    观察依据

    画面切换至一份名为《熵值法指数构建》的 Microsoft Word 文档,并持续停留在其说明性段落与参考文献部分。

  2. 声音
    观察依据

    文档显示期间,主讲人同步讲解熵值法的概念原理。

图中对象
  1. Word 文档页面

  2. 标题:熵值法指数构建

  3. 参考文献列表

变化过程
  1. 画面从标题页切换至一个 Word 文档。

  2. 光标与页面位置主要停留在引言文字和参考文献部分。

不变量
  1. 该文档将熵值法呈现为一种客观且以数据为驱动的方法。

数学含义

这一视觉片段用于辅助讲解正式的分步公式出现前的背景知识。

浏览熵值法的正式步骤

依据清楚
视频直接表达
来源依据
  1. 动画
    观察依据

    文档滚动至标题为“使用熵值法构建指数的步骤”的页面,并逐条展示带公式的编号步骤。

  2. 公式
    观察依据

    随着页面滚动,可见的公式依次呈现:标准化、比例、熵值、差异度与权重。

待核验内容
  1. 步骤5完全可读的确切时刻出现在视频片段末尾附近,而该综合公式本身并未显示。

图中对象
  1. 编号步骤列表

  2. 最小-最大标准化公式

  3. 比例公式

  4. 熵公式

  5. 散度公式

  6. 权重公式

变化过程
  1. 页面从步骤1开始向下滚动,依次显示后续步骤。

  2. 随着讲述者讲解该方法,更多公式按顺序逐个显现。

不变量
  1. 运算顺序始终为:标准化、比例、熵、散度、权重。

数学含义

滚动式视觉呈现使口头讲解与熵法的正式数学步骤序列保持一致。

滚动浏览数学公式

依据清楚
视频直接表达
来源依据
  1. 动画
    观察依据

    屏幕录制内容为向下滚动一份 Word 文档,其中展示熵、散度、权重及指数聚合的数学公式。

图中对象
  1. Word 文档

  2. 数学方程

变化过程
  1. 视图依次从熵公式移至权重公式,再移至指数聚合公式。

不变量
  1. 滚动时文字保持静止。

数学含义

在实际操作之前,先以可视化方式呈现理论框架。

切换至 Stata 环境

依据清楚
视频直接表达
来源依据
  1. 动画
    观察依据

    从 Word 文档切换到 Stata 软件界面,并打开“Do 文件编辑器”。

图中对象
  1. Stata 界面

  2. Do 文件编辑器窗口

变化过程
  1. 应用焦点从文字处理软件转移到统计分析软件。

不变量
  1. 屏幕录制持续进行,无中断。

数学含义

标志着编码演示的开始。

展示 Stata 命令输出

依据清楚
视频直接表达
来源依据
  1. 动画
    观察依据

    Stata 命令窗口在执行代码时,显示 summarize、gen 和 egen 等各类命令的输出结果。

图中对象
  1. Stata 命令窗口

  2. 数据表格

  3. 错误信息

变化过程
  1. 随着不同代码块依次运行,输出内容按顺序更新。

  2. 一条错误信息出现,随后被解决。

不变量
  1. Stata 界面布局保持不变。

数学含义

对所执行数学运算的成功或失败提供即时反馈。

更新 Stata 中的变量列表

依据清楚
视频直接表达
来源依据
  1. 动画
    观察依据

    Stata 界面右侧的变量列表更新,加入 norm_price 和 norm_mpg。

图中对象
  1. Stata 变量窗口

变化过程
  1. 新的标准化变量出现在列表中。

不变量
  1. 原有变量保留在列表中。

数学含义

确认数据集中成功创建了新的数学变量。

高亮并修正代码错误

依据清楚
视频直接表达
来源依据
  1. 动画
    观察依据

    主讲人高亮显示 Do 文件编辑器中 gen norm_mpg 命令的错误部分,并输入修正内容。

图中对象
  1. Do 文件编辑器

  2. 文本光标

变化过程
  1. 选中错误文本“price”,并将其替换为“mpg”。

不变量
  1. 周围代码结构保持不变。

数学含义

演示数学实现过程中的调试步骤。

指数与价格的散点图

依据清楚
视频直接表达
来源依据
  1. 图示
    观察依据

    散点图窗口打开,纵轴显示‘index’,横轴显示‘Price’。

图中对象
  1. 纵轴:index

  2. 横轴:Price

  3. 数据点

变化过程
  1. 各点呈现从左至右的上升趋势。

不变量
  1. 坐标轴标签保持不变。

数学含义

直观地展示了新计算的综合指数与原始价格变量之间的正向关联。

相关系数矩阵输出

依据清楚
视频直接表达
来源依据
  1. 图示
    观察依据

    Stata 输出窗口显示了 index、price 和 mpg 的相关系数矩阵。

图中对象
  1. 矩阵的行/列:index、price、mpg

  2. 数值:1.0000、0.5721、-0.4543

变化过程
  1. 数值出现在结果窗口中。

不变量
  1. 对角线元素恒为1.0000。

数学含义

量化了线性关系:index 与 price 呈正相关(0.5721),与 mpg 呈负相关(-0.4543)。

易错点 · 6

混淆熵法赋权与主观赋权

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    讲述者将熵法与采用主观权重构建指数的方法进行对比,并指出熵法不受主观判断影响。

  2. 字幕依据
    观察依据

    文档指出,该综合指数并非基于主观判断,而是根植于数据本身的内在特征。

误区

人们可能认为综合指数需要依据专家偏好手动设定权重。

说明

视频将熵法呈现为一种客观的、以数据为驱动的赋权方法,其权重源自数据的变异性或信息含量,而非主观判断。

忽略测量尺度的差异

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    主讲人指出,需要进行标准化处理,以避免尺度偏差。

  2. 字幕依据
    观察依据

    文档指出,将数据标准化至统一尺度可消除尺度偏差。

误区

人们可能直接合并各项指标,而不调整其原始单位或取值范围。

说明

视频指出,必须首先将数据标准化至统一尺度,以防止尺度差异对指数造成偏差。

误以为熵 EjE_j 在未缩放时可能超过 1

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档明确指出,k=1/ln⁡(n)k = 1 / \ln(n) 是一个常数,用于确保 0≤Ej≤10 \leq E_j \leq 1。

  2. 声音
    观察依据

    主讲人指出,1除以 ln n 可确保 EjE_j 始终介于 0 和 1 之间。

误区

人们可能假设原始的类熵求和结果可直接使用,而无需将其限定在单位区间内。

说明

视频指出,缩放常数 k=1/ln⁡(n)k = 1/\ln(n) 的引入,正是为了确保 EjE_j 始终处于 [0,1] 区间内。

对局部宏持久性的误解

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    主讲人解释:该错误发生的原因是局部宏 min_price 属于临时内存,若命令未一起执行,则无法被识别。

误区

用户可能误以为在某条 Stata 命令中定义的局部宏会在后续独立执行中持续存在。

说明

局部宏仅在其被定义的特定代码块执行期间存在;依赖该宏的命令必须一同运行。

归一化中使用了错误的基准变量

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    主讲人指出 mpg 的计算结果错误,是因为公式中使用了“price”而非“mpg”。

误区

假设任何数值型变量均可直接代入归一化公式,而无需检验该变量是否为待归一化的目标变量。

说明

最小-最大归一化必须作用于待归一化的特定变量,而非数据集中的其他变量。

熵值法中标准化的必要性

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    讲解者强调,由于进行了标准化处理,各变量取值均在零到一之间。

误区

有人可能认为,原始数据可直接代入熵值公式,无需缩放。

说明

标准化至关重要,因为熵值法依赖于比例(pip_i)。若不将变量缩放到统一区间(如0, 1),绝对值较大的变量将在求和与比例计算中产生不成比例的影响。

概念关系 · 16

熵值法用于指数构建的目的 → 第1步:极差标准化

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    主讲人首先解释熵法的目的,随后指出第一步实际操作是标准化。

  2. 公式
    观察依据

    文档从概念性段落转入第1步:标准化数据。

应用
解释

构建无偏综合指数的一般目标,首先通过原始指标的极差标准化(最小-最大标准化)来实现。

第1步:极差标准化 → 第2步:由归一化值计算比例

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    比例公式使用标准化公式输出的结果 X'_{ij}。

证明依赖
解释

比例步骤直接依赖于极差标准化步骤所产生的标准化值。

第2步:由归一化值计算比例 → 步骤3:各指标的熵

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    熵公式以 P_{ij} 表示,即上一步所得的比例值。

证明依赖
解释

每个指标的熵由前一步所得的比例值计算得出。

步骤3:各指标的熵 → 步骤4a:熵离差

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    离散度公式为 Dj=1−EjD_j = 1 - E_j。

证明依赖
解释

熵的离散度直接由熵值 EjE_j 定义。

步骤4a:熵离差 → 步骤4b:将离差归一化为权重

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    权重公式在分子中使用 DjD_j,在分母中对所有指标的 DjD_j 求和。

证明依赖
解释

通过将各指标的离散度值进行标准化,即可得到客观权重。

步骤4b:将离差归一化为权重 → 步骤5:将各项指标聚合为最终指数

时间近似
视频直接表达
来源依据
  1. 公式
    观察依据

    步骤5指出:通过对加权后的标准化值求和来构建指数。

待核验内容
  1. 本片段未完整展示显式的综合公式。

应用
解释

所计算出的权重旨在用于最终将标准化后的指标值聚合为综合指数。

熵值法用于指数构建的目的 → 混淆熵法赋权与主观赋权

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    主讲人将基于客观熵值的权重与主观权重进行了对比。

  2. 字幕依据
    观察依据

    该文档指出,综合指数并非基于主观判断。

对比
解释

熵值法被定义为与主观赋权相对立的方法。

熵值计算公式 → 熵离差

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档在熵公式之后立即给出 Dj=1−EjD_j = 1 - E_j。

先修
解释

熵的离散度由熵值直接计算得出。

熵离差 → 权重计算公式

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档在离散度定义之后给出 Wj=Dj/∑DjW_j = D_j / \sum D_j。

先修
解释

指标权重通过对熵的离散度值进行归一化得到。

权重计算公式 → 指数聚合公式

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档使用此前定义的权重,给出 Ii=∑WjXI_i = \sum W_j X'_{ij}。

先修
解释

综合指数通过所计算出的权重与归一化后的数据构建而成。

Stata 中的最小-最大标准化 → 熵值计算公式

时间近似
依据视频推导
来源依据
  1. 公式
    观察依据

    Stata 代码先生成 norm_price,再计算 prop_price 和 entropy_price。

先修
解释

最小-最大归一化生成用于计算熵公式中比例所需的缩放值。

Stata 局部宏的作用域 → Stata 中的最小-最大标准化

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    主讲人将局部宏作用域问题直接关联到 gen norm_price 命令的失败。

应用
解释

理解局部宏的作用域,是正确在 Stata 中实现最小-最大归一化的必要前提。

问题定位 · 19

熵值法在指数构建中用于什么目的?

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    主讲人将熵值法介绍为构建指数的一种客观方法。

  2. 字幕依据
    观察依据

    该文档的标题是“指数构建的熵值法”。

涉及知识点
  1. 熵值法用于指数构建的目的

为何熵值法在计算权重前要先对数据进行标准化?

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    主讲人表示,标准化可消除量纲偏差。

  2. 公式
    观察依据

    步骤1明确指出,标准化可避免量纲偏差。

涉及知识点
  1. 第1步:极差标准化
  2. 忽略测量尺度的差异

熵值法所展示的极差标准化公式是什么?

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    极差标准化公式显示在步骤页面上。

涉及知识点
  1. 第1步:极差标准化

熵值法中,比例 P_{ij} 如何从标准化值计算得出?

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    比例公式 P_{ij}=X'_{ij}/\sum_{i=1i=1}^{n}X'_{ij} 是可见的。

涉及知识点
  1. 第2步:由归一化值计算比例

熵 EjE_j 的计算公式是什么?常数 k 是什么?

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    熵公式 Ej=−k∑i=1nPE_j = -k\sum_{i=1}^{n}P_{ij}ln⁡\ln(P_{ij}) 中,k=1/ln⁡(n)k = 1/\ln(n)。

涉及知识点
  1. 步骤3:各指标的熵

视频为何在熵公式中采用 k=1/ln⁡(n)k = 1/\ln(n)?

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    主讲人指出,1 除以 ln n 可确保 EjE_j 始终介于 0 与 1 之间。

  2. 公式
    观察依据

    文献指出,k=1/ln⁡(n)k = 1 / \ln(n) 是一个常数,用于保证 0≤Ej≤10 \leq E_j \leq 1。

涉及知识点
  1. 步骤3:各指标的熵
  2. 熵 EjE_j 的取值被限定在 0 和 1 之间。

该方法中,熵的差异度 DjD_j 如何定义?

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文献在“确定权重”部分给出 Dj=1−EjD_j = 1 - E_j。

涉及知识点
  1. 步骤4a:熵离差

最终的客观权重 WjW_j 如何由差异度 DjD_j 计算得出?

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    权重公式 Wj=Dj/∑j=1mDjW_j = D_j / \sum_{j=1}^{m} D_j 清晰可见。

涉及知识点
  1. 步骤4b:将离差归一化为权重

熵值法如何在合成指数中避免主观赋权?

依据清楚
视频直接表达
来源依据
  1. 声音
    观察依据

    主讲人多次将基于熵的客观权重与主观判断进行对比。

涉及知识点
  1. 熵值法用于指数构建的目的
  2. 混淆熵法赋权与主观赋权

在计算出权重之后,构建指数的最后一步是什么?

时间近似
视频直接表达
来源依据
  1. 公式
    观察依据

    步骤5指出,该指数是通过对加权的标准化值求和而构建的。

待核验内容
  1. 本片段未完整展示显式的综合公式。

涉及知识点
  1. 步骤5:将各项指标聚合为最终指数

计算一个指标的熵值,其数学公式是什么?

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档展示了熵值公式。

涉及知识点
  1. 熵值计算公式

如何利用熵的离散度来确定权重?

依据清楚
视频直接表达
来源依据
  1. 公式
    观察依据

    文档展示了权重计算公式。

涉及知识点
  1. 熵离差
  2. 权重计算公式
覆盖情况与待核验内容

已覆盖 · 片头标题页及口述介绍点明本视频主题为在 Stata 中使用熵值法构建指数。

已覆盖 · Word 文档概述解释了概念依据:客观权重、变异程度/信息含量,以及消除量纲偏差。

已覆盖 · 步骤页面出现,同时显示标准化公式与比例公式,此时讲解者开始进行操作流程说明。

已覆盖 · 熵公式及语句 k=1/ln⁡(n)k=1/\ln(n) 确保 0≤Ej≤10\le E_j\le1 均可见并被讨论。

已覆盖 · 散度公式、权重公式,以及对综合步骤的口头描述均已呈现;但在本片段结束前,显式的最终综合公式并未完整显示。

已覆盖 · 文档中熵、散度及权重公式的呈现。

已覆盖 · 指数加总公式的呈现。

已覆盖 · 从文档过渡到 Stata 软件;未引入新的数学内容。

已覆盖 · 在 Stata 中加载 auto 数据集;准备阶段。

已覆盖 · 对 price 变量实施最小-最大归一化。

已覆盖 · 对局部宏作用域错误的解释与解决。

已覆盖 · 重新执行 price 和 mpg 变量的归一化代码。

已覆盖 · 验证归一化变量,并观察 Stata 输出中的熵成分计算结果。

已覆盖 · 识别并修正 mpg 归一化公式中错误的基准变量。

已覆盖 · 归一化步骤的讲解与代码实现。

已覆盖 · 比例计算步骤。

已覆盖 · 熵值计算步骤。

已覆盖 · 权重推导步骤。

已覆盖 · 指数生成步骤。

已覆盖 · 输入命令以进行验证(如求权重之和、绘制散点图)。

已覆盖 · 结果的可视化与相关性分析。

已覆盖 · 结束语及本视频目标的总结。

探索视频中的知识

打开视频知识图谱 →

  • 标准化与量纲缩放 讲解定位 1:03
    查看关联依据

    已审核中文素材 v1:知识卡片(概念卡片)「为何先进行标准化」从 1:03 起——在计算熵与权重之前,需先将各指标转换至统一量纲,以避免单位或取值范围差异对指数造成偏差。视频明确将此步骤表述为‘消除量纲偏差’。

  • 熵权定权 讲解定位 2:00
    查看关联依据

    已审核中文素材 v1:card「基于熵的权重确定」出现在 2:00——为不同指示变量分配客观权重,需对其离散度值进行归一化处理。每个指示变量的权重等于其离散度除以所有指示变量离散度之和。这确保最终权重之和恰好为1,从而反映各变量的相对重要性。

  • 熵权定权 讲解定位 4:20
    查看关联依据

    已审核中文素材 v1:知识卡片(概念卡片)「信息熵」从 4:20 起——用于衡量数据分布的混乱程度或均匀程度。熵值越高,说明该变量在区分观测样本时所提供的有效信息越少。 E=−∑i=1npiln⁡(pi)E = -\sum_{i=1}^n p_i \ln(p_i)