聚类的定义
聚类是一种无监督学习技术,它将数据划分为称为‘聚类’的逻辑分组;同一聚类中的成员具有相似的特征或属性,而与聚类外的点差异更大。
Codecademy · YouTube · 6:53
本导论部分将聚类定义为一种无监督机器学习技术,它依据数据点之间的共有属性,将未标注的数据点分组为若干簇;并解释了聚类算法的任务——通过分析数据,构建逻辑上合理的分组,使得组内成员彼此间的相似性高于与组外成员的相似性;最后,以电子商务商品、社交媒体用户和在线报纸读者等实际案例来说明该方法的应用价值。 这段120秒的导引片段说明:对复杂的现实世界实体进行聚类,首先需将其定义性特征转化为数字。它对比了天然具有数值属性的特征与需通过数值标签编码的类别型特征,并以商品特征(如评分、评论情感倾向、品类、尺寸、颜色)和用户特征(如参与度得分、主题相关得分、活跃度水平、连接数)为例加以阐释。 本视频片段介绍了机器学习中数据的几何解释,特别聚焦于聚类。它首先解释了如何依据连接数、活跃度和资料完整度等属性,将社交媒体用户等实体映射为3D空间中的点;随后将该概念推广至具有更多特征的数据集所对应的n维超平面。通过报纸读者的例子,视频展示了聚类算法如何依据点之间的邻近性对其进行分组,其中越靠近即代表相似度越高(即簇内相似性)。视觉辅助内容强化了从抽象属性到具体空间表示及分组的过渡过程。 这一53-第二段导引内容阐释了聚类的两个核心目标:最大化簇内相似性与最小化簇间相似性。它使用两个带人物图标的虚线圆圈及箭头,区分组内相似性与组间分离性。随后,旁白将簇的数量引入为一项关键选择,并解释其中的权衡关系:簇数过少可能导致同一簇内的点彼此相距甚远;而簇数过多则可能产生内部紧密但外部彼此过于接近、从而缺乏实质区分度的簇。
在学习检查器中查看要点和时刻,或切换阅读标签查看完整笔记。
依据视频画面与讲解整理,并非逐字语音转写。
视频以标题卡片“机器学习中的聚类”开场,点明本集主题。
旁白将聚类介绍为无监督学习中的一种技术,这意味着数据本身不带有预设的标签。
下一张幻灯片标题为“聚类”,画面中一个虚线圆圈包围着一个图标,直观地暗示了一个有边界的群体;配文将聚类定义为:依据对象的特征进行分组,并根据其相似性将它们聚合在一起。
接下来的幻灯片标题为“海量数据集”,图中显示大量文档图标,每个图标内部填充二进制字符串,并被一个虚线边界整体围住;旁白解释道:当数据集包含数百万个无标签的数据点时,我们首先需寻找能揭示自然分组的模式。
在数据集图示旁出现文本框,指出应找出共通属性,并强调同一组内所有数据都具有相似属性;这支持了如下观点:聚类算法会通览整个数据集的特征,并据此对记录进行划分。
幻灯片再次回到标题“聚类”,并附有指令:“分析数据以形成聚类”;旁白进一步阐明算法的任务:审视所给数据,并将其划分为逻辑上合理的聚类,使得同一聚类内的点彼此之间远比与聚类外的点更为相似。
一张新幻灯片标题为“现实世界中的实体极为复杂”,用以引出聚类的动机;随后依次呈现三个例子:电商平台销售的商品、社交媒体平台的用户、在线报纸的读者;每个例子均置于各自的虚线圆圈内,强化了“候选分组”的概念。
旁白提问:电商平台的商品应划分为多少类别?这些类别又该是什么?借此凸显当内在结构未知时,人工分类之困难。
类似问题也针对社交媒体用户和在线报纸读者提出,例如:是否应按年龄、性别或地理位置来分类?视频在讨论“如何定义单一分类标准”这一模糊性时戛然而止。
该片段开篇提问:如何客观地将复杂的现实世界实体划分为若干组?以地理位置为例,指出人群可按州、城市或社区划分,因此若不先选定特征,便不存在唯一客观的划分方式。
接着,片段引出聚类任务的关键预处理思想:在应用聚类方法之前,每个数据点的定义性特征必须以数字形式表示。画面切换至标题为“用数字定义特征”的幻灯片,进一步强调定性属性必须转化为数值型特征。
第一个具体示例是电商平台上的商品。旁白与幻灯片列出了若干属性:评分、评论情感倾向、品类、尺寸、颜色。其中,评论情感倾向被描述为一个介于0与1之间的聚合得分,1代表正面,0代表负面。
随后,片段说明:并非所有属性都必须天然具备数值形式;只要为每个类别分配一个数值标签,类别型变量同样可以使用。所展示的示例是品类编码,其中1可代表电子产品,2可代表时尚配饰;颜色也采用相同方式处理。
商品示例继续介绍尺寸、高度、重量等物理维度,表明部分属性本身已是定量测量值。本节结束时,观众已看到一个混合型特征向量,其中包含直接数值、归一化得分以及编码后的类别。
第二个示例转向社交媒体平台用户或在线报纸读者。幻灯片与旁白列举了与参与度相关的属性,例如发帖、评论、点赞、转发的得分,以及帖子的主题标签。
随后,它在0至100的量表上添加一项活动得分,其中0表示完全不活跃,100表示高度活跃。最后,视频片段将连接数作为另一项用户属性提及,并在开始介绍另一项得分时戛然而止。
该段首先定义了如何将定性用户数据转化为定量的几何坐标。我们考察社交媒体用户,并识别出关键特征:好友连接数、活跃程度和资料完整度。将这些特征视为坐标轴,便可将某位具体用户表示为 3D 笛卡尔坐标系中的一个点。
接着,讲解范围从 3D 拓展至更高维空间。现实世界的数据通常具有远超三个属性的特征。因此,将 3D 图形推广为 n 维超平面。这一数学抽象使我们能够处理任意数量特征()的数据集,同时保留空间中点的几何直观。
当数据点在该空间中确立后,便引入聚类的概念。其核心思想是邻近性:在超平面上物理位置彼此接近的点,其对应属性值也较为相似。例如,一组用户可能均表现出低活跃度与低连接数,导致他们的点聚集在原点附近或某一特定区域。聚类算法正是被设计用来自动识别这些密集的点群。
为巩固这一概念,又给出第二个涉及报纸读者的示例。此处的‘特征’可能是阅读不同版块(如科技、体育或时事)所花费的时间。当这些读者被绘制于 n 维空间中时,具有相似阅读习惯者将自然形成若干群体。其中一个簇可能包含热衷科技新闻的读者,而另一个簇则包含关注时事的读者。这表明聚类可在无需显式标注的前提下揭示数据中潜在的结构。
最后,明确了几何距离与语义相似性之间的关系。在已识别的簇内,两点之间的距离可作为衡量其所对应实体相似程度的指标。距离越小,相似度越高(例如,两位均每日阅读科技新闻的人);而在同一簇内距离较大,则意味着中等程度的相似性(例如,一位每日阅读者与一位每周阅读者)。结尾处提到的总体目标,是最大化这种簇内相似性。
视频片段以一张标题为“最大化簇内相似性”的幻灯片开场。左右并排显示两个虚线圆圈,每个圆圈内包含四个代表人物的图标,且每个圆圈内部出现一个垂直双向箭头。旁白解释道:聚类的一个目标是使同一簇内的所有数据点尽可能相似。
演讲者进一步指出,要实现这一目标,可能需要基于多个属性而非仅一个属性进行聚类。画面持续聚焦于这两个独立的组,强调比较始终发生在每个簇的内部。
随后旁白明确陈述这一对目标:“最大化簇内相似性”与“最小化簇间相似性”。这确立了概念上的对比关系,为接下来的画面变化做好铺垫。
标题变为“最小化簇间相似性”。圆圈内部的箭头消失,两个圆圈之间出现一个水平双向箭头。演讲者解释道:不同簇中的点应尽可能彼此远离。
接着讲解转向模型选择:将数据划分为多少个簇变得至关重要,因为该数量会影响能否同时达成上述两个目标。
演讲者描述第一种失败情形:若簇的数量过少,则不同簇之间的分离效果可能较好,但单个簇内部的数据点却可能过于分散。
演讲者继而描述相反的失败情形:若簇的数量过多,则每个簇内部可能非常紧凑,但不同的簇之间仍可能靠得非常近,缺乏显著的区分特征。
本段落以此权衡关系收尾,沿用未改变的双圆圈图示,强调良好的聚类需在簇内紧凑性与簇间分离性之间取得平衡。
聚类是一种无监督学习技术,它将数据划分为称为‘聚类’的逻辑分组;同一聚类中的成员具有相似的特征或属性,而与聚类外的点差异更大。
本视频强调,聚类适用于没有标签的数据集。算法不依赖预定义的类别,而是直接从数据点的属性中发现结构。
聚类算法考察所给数据集,识别数据点之间的共同属性,并将数据划分为若干个逻辑上合理的簇。其指导原则是:簇内相似性应远大于簇间相似性。
当现实世界中的实体复杂且难以人工归类时,聚类就显得尤为有用。举例包括:对电子商务商品进行分组、对社交媒体用户进行细分、以及在最佳类别定义尚不明确的情况下对网络新闻读者进行分类。
在应用聚类之前,每个实体的关键特征必须转化为数值形式,以便算法能够比较各个数据点。
复杂的现实世界实体本身并不存在唯一天然正确的划分方式。视频片段通过州、城市或社区等地理位置选择示例,说明分组结果取决于所选取的特征。
对于电子商务产品,视频片段列举了评分、评论情感倾向、类别、尺寸和颜色作为可能的聚类属性。
评论情感倾向以一个综合数值得分呈现,其中1表示正面,0表示负面,旁白说明该得分范围介于0与1之间。
类别或颜色等属性未必天然具有数值意义,但只要为每个类别分配一个数值标签,仍可加以使用。
尺寸、身高和体重等物理测量值,是可直接作为数字进入产品特征向量的属性示例。
对于用户或读者,该片段列出了帖子、评论、点赞和分享的参与度得分,基于主题的帖子得分,活跃度得分,以及联系人数。
用户活跃度采用0至100的量表进行编码,其中0表示完全不活跃,100表示高度活跃。
将数据属性(如用户活跃度或连接数)映射为坐标系中的坐标轴,使得每个数据实体均可被可视化为空间中一个唯一的点。
将3D图推广到n维,能够表示具有多个变量的复杂数据集,形成一个所有数据点都位于其中的理论空间。
聚类算法在特征空间中识别出彼此靠近的数据点群组,这意味着这些点具有相似的特征。
同一簇内各点之间的距离是相似性的一个直接指标;距离越近,代表实体越相似。
聚类的一个明确目标是使同一簇内的数据点尽可能相似。视频中用两个虚线圆圈代表簇,并在每个圆圈内画出竖直的双向箭头,以表示簇内比较。
其互补目标是使不同簇之间尽可能不相似,从而使属于不同簇的点彼此相距较远。视觉提示是在标题变为“最小化簇间相似性”后,在两个圆圈之间画出一条水平的双向箭头。
旁白指出,要实现较高的簇内相似性,可能需要基于多个属性而非单一属性进行聚类。本片段未提及任何具体算法。
簇的数量被呈现为决定能否平衡上述两种相似性目标的关键选择。簇的数量过少会导致单个簇内数据散布过大;簇的数量过多则可能导致各簇内部虽相似,但簇与簇之间距离过近而难以区分。
若将数据划分为过少的簇,视频指出,虽然不同簇之间的相似性可能被最小化,但同一簇内的点却可能彼此相距甚远。
若将数据划分为过多的簇,则每个簇内的点可能彼此相似,但不同簇之间可能非常接近,缺乏显著的区分特征。
按知识点查看条件、步骤和证据。补充解释与视频直接内容分别标明。
讲解员指出,聚类是根据特征和相似性将数据划分为逻辑上的组别。
屏幕文字将聚类定义为:依据对象的特征,按其相似性进行分组与聚合。
cluster
一组具有相似属性或特征的数据点所构成的逻辑组。
应用于无监督学习中的数据集。
讲解员提到一个包含数百万个数据点且没有任何标签的巨大数据集。
多个文档图标配以二进制字符串,代表该数据集。
data point
数据集中的单个条目或记录。
用于无标签的机器学习数据集。
讲解员表示,你手头没有任何标签可用。
label
在有监督学习场景中预先设定并赋予数据的类别。
与无监督学习中的无标签数据形成对比。
讲解员指出,聚类算法会考察数据集中的所有属性。
文字显示:寻找共同属性——同一组内的所有数据都具有相似的属性。
attribute
用于判断数据点之间相似性的某个特征或属性。
用于在数据集中比较各个数据点。
屏幕上的属性栏显示:“评论情感(1—正面,0—负面)”。
讲述者指出,综合情感得分的取值范围大致在零到一之间。
Review sentiment
产品评论的综合数值得分,其中1代表正面情感,0代表负面情感。
如讲述内容所述,约为[0,1];幻灯片仅明确标注了端点0和1。
屏幕上的属性栏显示:“类别(1—电子产品,2—时尚用品,……)”。
讲述者解释说,类别型属性可采用数字标签,例如用1表示电子产品,用2表示某种时尚配饰。
Category
一种以数字标签编码的类别型产品属性,其中每个标签代表一个类别,而非某种量级。
离散型数字标签,例如1、2等;本片段未明确说明全部类别的集合。
屏幕上的属性栏显示:“尺寸(大小、高度、重量)”。
讲述者提到,其他产品属性还可包括大小、重量等尺寸类指标。
音频中提到了大小和重量,但未明确提及高度;高度可见于幻灯片上。
Dimensions
作为聚类分析所用属性的产品物理测量值。
数值型测量值;视频片段中未指定单位。
屏幕上的属性栏显示“颜色”。
解说员指出,颜色属于类别型取值,需用某种数值标签来表示。
本视频片段中未在屏幕上展示颜色到数值的具体映射关系。
Color
一种类别型产品属性,在聚类前必须转换为数值标签。
类别型取值已映射为数值标签;但具体映射规则未给出。
屏幕上的属性栏显示“活跃度得分(100最活跃,0完全不活跃)”。
解说员说明,100可代表高度活跃的用户,0则代表完全不活跃的用户。
Activity score
一种衡量用户平台活跃程度的数值型用户属性,数值越高表示用户越活跃。
根据幻灯片与解说内容,取值范围为0至100。
主讲人提到可推广至“n个属性”和“n维超平面”。
屏幕文字显示:“可推广至任意数量的坐标轴”和“n维超平面”。
n
用于表示数据点的属性数量或维度数量。
正整数
主讲人指出,目标是确保同一簇内的所有数据点尽可能相似。
屏幕标题显示:“最大化簇内相似度”。
两个虚线圆圈各自包含一组人物图标,每个圆圈内部有一条垂直双向箭头,表示组内比较。
Intra-cluster similarity
属于同一簇的数据点之间的相似性。
应用于同一组内的已聚类数据点。
主讲人指出,另一项目标是最小化簇间相似度,并且不同簇中的数据点应尽可能彼此远离。
屏幕标题变为:“最小化簇间相似度”。
两个圆圈之间出现一条水平双向箭头,表示跨组比较。
Inter-cluster similarity
属于不同簇的数据点或簇之间的相似性。
应用于不同簇之间的比较。
讲解员将聚类定义为:依据特征与相似性,将数据划分为若干逻辑上合理的组。
屏幕定义:依据对象的特征,将特定集合中的对象进行分组,并根据其相似性加以聚合。
聚类是一种无监督学习技术,它将数据集划分成若干称为“簇”的逻辑组;分组依据是对象共有的特征,因此同一簇内的成员彼此之间的相似程度,高于它们与簇外其他点的相似程度。
适用于无标签的数据集。
分组依据是属性或特征的相似性。
讲解员说:接下来,我们将更深入地了解一种无监督学习中使用的技术,即聚类。
视频将聚类置于无监督学习范畴之内,意味着该算法所处理的数据不带有预定义的标签。
数据集没有标签来指导分类。
讲解员指出,聚类算法的任务是考察数据,并将其划分为若干逻辑上合理的簇。
屏幕文字:考察数据以形成簇。
聚类算法考察所给数据,识别共同属性,并将数据集划分为若干逻辑上合理的簇,使得簇内相似性高于簇间相似性。
输入是一个由数据点组成的数据集。
相似性通过属性或特征来评估。
解说员指出,聚类分析此时开始发挥作用,但在应用该方法前,必须确保每个数据点的特征均以数值形式表达。
幻灯片标题为“用数字定义特征”,并配有一个大脑图标和一个二进制文档图标。
在应用聚类算法之前,必须将每个实体的定义性特征转化为数值形式,以便数据点能在计算中被比较和分组。
任务是聚类。
每个数据点都具有定义性特征或属性。
这些属性需在算法应用前以数值形式表示。
产品幻灯片列出了“评分”、“评论情感(1—正面,0—负面)”、“类别(1—电子产品,2—服饰,……)”、“尺寸(大小、高度、重量)”以及“颜色”。
讲述者举例说明了用于聚类的产品属性,包括评分、评论情感、类别、尺寸和颜色。
对于电子商务产品,该片段指出了若干可能的属性:评分、评论情感、类别、尺寸(如大小/高度/重量)以及颜色。其中一些属性天然为数值型,而另一些为类别型,需赋予数值标签。
被聚类的实体是产品。
属性可以是数值型,也可以是类别型。
类别型属性必须被编码为数值形式。
讲述者指出,属性未必完全为数值型,也可以是类别型,其中每个类别用一个数值标签表示。
幻灯片显示“类别(1—电子产品,2—时尚,……)”,随后又显示“颜色”,而旁白说明颜色同样需要一个数值标签。
可通过为每个类别分配一个唯一数字,将类别型变量预处理为适用于聚类分析的形式。该数字仅作为类别的标签,并不必然表示某种顺序或大小关系。
该属性为类别型。
每个类别都被赋予一个数值标签。
用户幻灯片列出了“RatScore 帖子、评论、点赞、转发”,“按主题为每篇帖子打分(音乐爱好者、体育爱好者)”,“活跃度评分(100最活跃,0完全不活跃)”,以及“连接数”。
讲述者描述了用户属性,例如对帖子/评论/点赞/转发的评分、基于主题的类别标签、活跃度评分以及连接数。
在‘你也可以为每个……’之后的最终口述短语被截断,宾语尚未说完。
对于社交媒体平台用户或在线报纸读者,该片段指出可能的属性包括参与度相关评分、按主题划分的帖子评分、活跃程度以及连接数。
被聚类的实体是用户或读者。
属性用于描述行为、内容交互或网络规模。
主讲人解释,可将用户基于连接数、活跃度、资料完整度等因素,表示为3维坐标系中的点。
画面展示一个3维坐标系,坐标轴分别标注为“连接数”、“活跃度”和“资料完整度(%)”,并用一个绿色圆点代表一名用户。
数据实体(例如社交媒体用户)可在多维空间中表示为点,其中每一坐标轴对应一个特定属性或特征(例如连接数、活跃程度、资料完整度)。
每个属性都必须能被量化为一个数值。
主讲人指出,该概念可推广至n个属性,从而形成n维超平面。
屏幕上出现文字:“可推广至任意数量的坐标轴”和“n维超平面”。
数据点的表示可从三维推广至n维,形成一个n维超平面,其中每个点代表一个具有n个属性的实体。
适用于需考虑三个以上属性的情形。
讲解者说明彼此靠近的点会形成群组或簇,而聚类算法有助于发现这些簇。
画面以视觉过渡方式展示多个蓝色用户图标被虚线圆圈分组包围,用以示意簇的结构。
聚类是在特征空间中将彼此靠近的数据点归为一组的过程,表明它们具有相似的特征或属性。
需要在特征空间中定义一种距离度量。
讲解者指出,簇内用户之间的距离反映了他们彼此的相似程度。
屏幕文字显示:“最大化簇内相似性”。
在同一个簇内,数据点之间的邻近程度(即距离)反映其相似程度;距离越近,相似性越高。
该性质适用于算法所识别出的各个独立簇内部。
主讲人指出,最大化簇内相似性是聚类的目标之一。
标题文字:“最大化簇内相似性”。
在每个虚线圆内,一条竖直的双向箭头连接同一组的成员。
本片段定义了聚类的一个目标:使同一簇内的点尽可能相似。画面以两个独立的虚线圆作为示例簇,并在每个圆内放置一条内部双向箭头,表示簇内比较。
适用于被分配到同一簇的数据点。
视频将此列为聚类的两个目标之一。
讲解员指出,同一簇内的所有数据点彼此之间的共同点,远多于它们与该簇外数据点之间的共同点。
对于聚类所产生的任一簇,其成员彼此之间共享的共同属性,多于它们与该簇外数据点所共享的共同属性。
聚类算法已将数据集划分成若干簇。
对所有簇及其成员数据点与非成员数据点进行比较。
讲述者提问:人们应按州、城市还是社区来划分?并得出结论:显然无法客观地将数据划分为若干组。
开场幻灯片显示“现实世界中的实体极为复杂”,随后切换为“如何客观定义用于聚类的特征?”
对于复杂的现实世界实体,除非事先指明其界定特征,否则不存在唯一且客观的数据分组方式。
这些实体是复杂的现实世界对象,例如产品、用户或读者。
分组旨在实现聚类。
针对本片段中讨论的示例
主讲人说:“因此,最大化簇内相似性是聚类的目标之一,另一目标则是最小化簇间相似性。”
在本视频片段中,聚类被描述为具有两个目标:最大化簇内相似性,以及最小化簇间相似性。
讨论围绕聚类的一般性目标展开。
除概念性背景外,未陈述任何形式化的数学假设。
针对本节所讨论的聚类目标。
主讲人指出,若创建的簇数量过少,则不同簇之间的相似性可能被最小化,但同一簇内的数据点之间距离却可能相当遥远。
创建过少的簇可能降低簇间相似性,同时导致同一簇内的点彼此相距甚远。
簇的数量相对于数据结构而言选择得过小。
若簇的数量过少。
主讲人指出,若创建的簇数量过多,则簇内的数据点彼此相似,但两个不同簇实际上可能非常接近,且不存在显著的区分因素。
创建过多的簇可使每个簇内的点彼此相似,却让不同的簇彼此非常接近,且缺乏强有力的区分因素。
簇的数量相对于数据结构而言选择得过大。
若簇的数量过多。
讲述者从一个庞大的无标签数据集出发,寻找规律、分析属性,并形成聚类。
文档图标出现在标题“庞大数据集”下方,随后保持显示,同时出现解释性文字框。
从一个包含数百万个数据点且无任何标签的庞大数据集开始。
由讲述者直接陈述。
在使用数据之前,先寻找能够识别出分组的规律。
由讲述者直接陈述。
应用聚类算法,考察数据集中的所有属性。
由讲述者直接陈述,并通过屏幕上关于常见属性的文字进一步强化。
识别出具有相似属性或特征的数据点子集。
由讲述者直接陈述。
形成多个分组;每个分组成为一个数据点聚类。
由讲述者直接陈述。
聚类通过检测数据点之间的共有属性,将无标签数据集转换为逻辑分组。
讲解内容从主观分组的问题,过渡到“聚类需要对界定特征进行数值化表达”这一论断。
幻灯片依次呈现:“现实世界中的实体极为复杂”→“使用数字定义界定特征”。
该片段首先将产品、社交媒体用户和报纸读者等现实世界实体呈现为复杂对象。
直接从开场幻灯片及旁白中观察得出。
接着提问:应如何客观地定义用于聚类的特征?并以“位置”为例,说明可在州、城市或社区等不同层级中进行选择。
直接从幻灯片文字及旁白中观察得出。
由于不存在客观默认的划分方式,下一步是在聚类前,先用数值形式明确定义每个数据点的特征。
直接从旁白及后续幻灯片标题中观察得出。
只有在每个实体的相关属性被明确表示为数字之后,聚类才得以适用。
主讲人首先介绍聚类数量,然后对比聚类数量过少与过多两种情况。
主讲人首先指出,聚类数量是影响两个目标达成效果的关键选择。
音频中直接陈述:“这正是你的数据将被划分成的聚类数量发挥作用的地方。”
接着,主讲人分析聚类数量过少的情形:簇间相似性可能被最小化,但簇内离散度却变得很大。
音频中作为创建过少聚类所导致的后果直接陈述。
随后,主讲人分析相反的情形——聚类数量过多:簇内相似性得到提升,但不同簇之间可能依然非常接近,缺乏有意义的区分。
音频中作为上述情形的反向情况直接陈述。
该片段直观地说明:聚类数量必须在两个相互竞争的目标之间取得平衡——即簇内紧凑性与簇间分离性。
讲述者以电子商务网站所售商品为例,并提问:这些商品应划分为多少个类别?
一个带购物车图标的笔记本电脑图标出现,配文“电子商务网站所售商品”。
给定电子商务网站所售的大量商品,确定它们应被划分为多少个不同类别,以及这些类别分别是什么。
大量商品数据。
未提及预定义的类别结构。
识别商品的有用逻辑分组。
意识到商品数据十分复杂,难以靠人工进行简单归类。
讲述者将其作为聚类的动机而提出。
利用聚类,基于商品的共有属性发现其自然分组。
由先前的定义和聚类方法得出。
视频将此作为一个启发式应用来呈现,而非进行数值求解。
未展示任何数值验证;该示例仅起概念性启发作用。
讲述者提到对社交媒体平台上的用户进行分类。
出现一个代表人物的图标,并配有文字说明:社交媒体平台的用户。
当合适的分组标准不明确时,对社交媒体平台的用户进行分类。
用户数据存在。
分类标准的选择是开放的(例如年龄、性别、地理位置等)。
发现具有实际意义的用户群体。
注意,可能有多个属性可用于定义类别。
由讲述者陈述。
聚类可以帮助揭示数据所支持的分组方式。
这源于前文所述的一般聚类方法。
视频将此作为另一个激发思考的情境,而非给出完整求解过程。
未展示明确的验证过程。
讲述者提到了某在线报纸的读者,并提出诸如按年龄、性别或地理位置进行分类等问题。
出现一个笔记本电脑图标,配文“在线报纸读者”。
最后一句话在片段结尾处被截断,尚未表达完整。
当存在多个候选属性时,决定如何对在线报纸读者进行分类。
读者数据可获取。
可能的属性包括年龄、性别和地理位置。
选择或发现有意义的读者类别。
列出可能的分类属性,例如年龄、性别和地理位置。
由叙述者明确指出。
意识到在选择定义性属性时存在的模糊性,从而激发以数据驱动的方式进行分组。
通过叙述者的修辞性提问隐含表达。
视频片段在给出结论前结束;它仅作为一个激发思考的示例。
因在120秒处截断而内容不完整。
产品示例幻灯片列出了以下属性:评分;评论情感(1—正面,0—负面);类别(1—电子产品,2—时尚用品,……);尺寸(长、高、重);颜色。
讲解者逐一介绍这些产品属性,并说明分类型属性需转换为数值标签。
电商平台所售商品该如何表示,以便进行聚类?
该实体是商品。
可能的属性包括评分、评论情感、类别、尺寸和颜色。
分类属性必须编码为数值形式。
为每种产品定义数值特征,以便应用聚类分析。
直接将评分用作数值属性。
由旁白说明,并在幻灯片上展示。
将用户评论的情感倾向聚合为一个介于0和1之间的分数。
由旁白说明,并在幻灯片上展示。
使用数值标签对产品类别进行编码。
由旁白说明,并在幻灯片上展示。
将尺寸、高度和重量等维度作为数值属性纳入。
在幻灯片上展示,且旁白中部分提及。
使用数值标签将颜色编码为分类属性。
由旁白说明;幻灯片上显示该属性名称为“Color”。
产品可用一个特征向量来表示,该向量包含评分、情感得分、类别标签、尺寸以及代表颜色的数字编码。
答案与屏幕上列出的属性列表及关于数值型编码与类别型编码的口述解释一致。
用户示例幻灯片列出了RatScore的帖子、评论、点赞、转发;按主题(如音乐爱好者、体育爱好者)为每篇帖子打分;活动得分(100最活跃,0完全不活跃);好友连接数。
讲解员描述了这些用户属性,并对活动得分给出了从0到100的解释。
最后一句口述内容在“你也可以为每个”之后中断,未完成。
如何表示社交媒体平台的用户或网络报纸的读者,以便进行聚类?
实体是用户或读者。
可能的属性包括参与度得分、基于主题的发帖得分、活动得分以及好友连接数。
为每位用户定义数值型特征,以便应用聚类算法。
将发帖、评论、点赞和转发作为与参与度相关的属性进行打分。
由口述内容说明,并在幻灯片上展示。
为帖子分配基于主题的分数或标签,例如音乐爱好者或体育爱好者。
由旁白陈述,并在幻灯片上显示。
用一个从0到100的分数来表示用户活动。
由旁白陈述,并在幻灯片上显示。
将连接数作为另一个数值型属性使用。
由旁白陈述,并在幻灯片上显示。
用户可通过若干特征来表示,这些特征涵盖参与度、主题亲和力、活跃程度以及连接数量。
答案与可见的项目符号列表及旁白所举示例一致;该片段在任何其他属性被完整命名前即结束。
主讲人以社交媒体平台上的用户为例,这些用户具有连接数、活跃度和资料完整度等属性。
画面显示一台笔记本电脑,屏幕上带有社交媒体图标,以及一个代表这些用户属性的3D图。
依据用户的活跃度和资料属性来表征社交媒体用户,从而识别出相似用户的群体。
属性:连接数、活跃度、资料完整度百分比
将用户映射到3D空间中的点,并识别出相似用户的聚类。
为每位用户的各项属性赋予数值。
以便在坐标系中进行数学表示。
将每位用户绘制成一个点,其中为连接数,为活跃度,为资料完整度百分比。
直观展现用户数据的多维特性。
识别点密集分布的区域。
密集区域表明该区域内用户具有相似的属性组合。
在3D空间中,形成具有相似个人资料和行为的用户群组。
通过图表直观确认点的分组情况。
主讲人讨论将《纽约时报》读者绘制在n维平面上,并依据阅读偏好(例如科技版块)发现其中的群组结构。
画面展示若干用户图标组成的群组,各群组标有描述性文字,例如‘全都喜爱阅读科技版块’和‘某一组读者更偏好时事新闻’。
根据读者在不同版块的阅读习惯对其进行分组。
数据点代表单个读者。
属性涉及在特定版块(如科技、时事、体育)的阅读时长或阅读频次。
运用聚类算法,找出兴趣相似的读者所形成的自然群组。
将每位读者表示为由其阅读指标所定义的n维空间中的一个点。
支持对阅读习惯进行复杂比对,超越简单的人口统计学维度。
对这组点应用聚类算法。
自动发现数据中隐藏的结构或分组。
解读生成的聚类结果(例如,一个聚类偏爱科技类内容,另一个聚类更偏好社论类内容)。
将数学上的分组转化为关于用户行为的可操作洞察。
呈现出不同的读者群体,例如经常阅读科技版块的读者,与更偏好时事版块的读者。
音频解说明确描述所发现聚类的内容。
深蓝色标题卡,带有Codecademy标志及文字“机器学习中的聚类”。
Codecademy标志
标题文字“机器学习中的聚类”
静态背景与文字。
引出本课的主题。
蓝色网络图,包含图标和一个居中的齿轮/浏览器窗口图标。
云朵图标
设备图标
齿轮/浏览器窗口图标
连接线
图标围绕中心节点渐显出现。
中心图标始终保持视觉焦点。
在更广泛的机器学习/数据处理语境中,以可视化方式将聚类呈现为其中一部分。
白色幻灯片,标题为“聚类”,带有一个虚线圆圈,圆圈内含浏览器/齿轮图标及一个给出定义的文本框。
标题:聚类
虚线圆
浏览器/齿轮图标
定义文本框
文本框出现在标题和图标之后。
图标始终位于虚线圆内部。
虚线圆在视觉上暗示一个有界集合,契合‘簇’的概念。
幻灯片标题为‘海量数据集’,包含多个文档图标,每个图标内含二进制字符串,整体置于一个虚线圆内;说明性文本框依次出现。
标题:海量数据集
含二进制字符串的文档图标
虚线圆
文本框
文档首先出现,随后是解释属性检验与聚类形成的文本框。
所有文档均保留在同一虚线边界内。
表示一个大型无标签数据集,正被分析以发现共同属性,并被划分为若干簇。
幻灯片标题为“现实世界中的实体极为复杂”,其下从左至右依次呈现三个圆形图标:电子商务商品、社交媒体用户、在线报纸读者。
标题文字
带购物车的笔记本电脑图标
人物图标
笔记本电脑图标
各图标下方的说明文字
图标及其说明文字从左至右依次出现。
每个示例均被置于各自独立的虚线圆圈中。
展示了多个手动分类困难、而聚类分析十分有用的领域。
标题“现实世界中的实体极为复杂”下方出现三个圆形图标:购物车笔记本电脑图标、一群人图标和一台绿色笔记本电脑图标;随后标题变为“如何客观地定义用于聚类的特征?”。
购物车笔记本电脑图标
一群人图标
绿色笔记本电脑图标
标题文字
标题从关于复杂性的陈述转变为关于如何客观定义特征的问题。
这三个示例实体类别在此时间段内持续可见。
视觉布局将聚类呈现为一个问题:即为不同种类的真实世界实体选择有意义的特征。
一张新幻灯片,标题为“使用数字定义特征”,展示一个大脑图标和一份填满二进制数字的文档。
标题文字
大脑图标
二进制文档图标
画面从开场提问幻灯片过渡到数值表示幻灯片。
该幻灯片强调数字是定义特征的基础。
图像示意:在进行算法分组之前,必须先将定性特征转化为数值形式。
产品幻灯片逐个构建属性条:评分;评论情感(1—正面,0—负面);类别(1—电子产品,2—时尚用品,……);尺寸(大小、高度、重量);颜色。
带购物车图标的笔记本电脑图标
属性条
每个属性条依次出现,直至列出五项产品属性。
中心的产品图标保持固定,而属性列表随之展开。
该动画表明,单个实体可由多个异质特征来描述,其中一些为数值型,另一些为类别型。
用户幻灯片先展示一台带有Facebook、Twitter和Instagram标签的笔记本电脑,随后添加属性条:RatScore发布的帖子数、评论数、点赞数、分享数;按主题对每篇帖子打分(音乐爱好者、体育爱好者);活跃度得分(100最活跃,0完全不活跃);联系人数量。
该片段在“联系人数量”之后未再完成任何其他属性的添加。
带社交媒体标签的笔记本电脑
属性条
每个用户属性条依次出现,直至显示四个。
社交媒体笔记本电脑图标保持固定,而列表不断增长。
该动画与乘积示例相呼应,表明用户同样由一个特征向量表示,该向量由行为性与类别性度量构建而成。
一个3D笛卡尔坐标系出现,其坐标轴分别标注为“连接数”、“活跃度”和“个人资料完成率%”。一个绿色数据点被绘制在该坐标系中。
坐标轴
绿色数据点
坐标轴标签依次出现。
绿色数据点出现在该空间中。
一旦绘制完成,3D坐标轴的结构保持不变。
展示了一个实体如何根据其属性,定位在多维特征空间中。
多个蓝色用户图标出现,并被虚线圆形边界包围,代表聚类;文本框描述每个组内的共性。
蓝色用户图标
虚线圆形边界
文字描述
图标聚集在一起。
边界将各组包围起来。
描述性文字出现在各组下方。
这些图标仍保持为独立个体,但被进行了空间上的组织。
展示了聚类算法的结果:相似的项目被直观地归为一组。
标题为“最大化簇内相似性”。
两个虚线圆圈各自包含四个人物图标;每个圆圈内部均有一条垂直双向箭头。
辅助文字为:“同一簇中的读者应尽可能相似。”
两条虚线圆形簇边界
共八个人员图标,每个圆内四个
每个圆内各有一条垂直双向箭头
标题文字与说明性图注
标题和图注强调每个圆内部的相似性。
内部箭头表示对同一簇内成员之间的比较。
这两个圆在整个时间段内始终保持分离。
每个圆持续包含四个图标。
该图示通过仅在每组内部展示比较、不在组间展示比较的方式,来编码簇内相似性。
讲述者明确指出,在这个海量数据集的例子中,你手头没有任何标签可用。
部分学习者可能误以为:在进行分组之前,数据必须已具备类别标签。
视频将聚类分析呈现为一种无监督方法,它作用于无标签数据,通过属性发现其中的结构。
讲述者提问:应使用多少个类别?这些类别又该是什么?并列举了年龄、性别和地理位置等相互竞争的属性。
有人可能认为现实世界中的类别是天然存在的,且易于选定。
这些例子表明,确定类别的数量及其含义可能存在歧义,这正凸显了数据驱动型聚类分析的必要性。
旁白指出,显然无法以客观方式将你的数据划分为若干组。
幻灯片提问:“你如何客观地定义待聚类的特征?”
人们可能认为,无需指定特征,复杂实体便可自动且客观地被划分为若干组。
该片段强调,客观分组的前提是首先定义待聚类的特征,通常需将这些特征转化为数字。
旁白指出,属性未必完全为数值型,也可以是类别型,其中每个类别用一个数值标签表示。
人们可能认为,只有本身即为数值型的属性才可用于聚类。
分类属性也可以在为每个类别编码为数字标签后使用。
讲解者提醒道:若簇的数量过少,则同一簇内的点之间可能相距较远。
人们可能认为,减少簇的数量自然会提升聚类质量。
视频指出,簇的数量过少虽能最小化不同簇之间的相似性,却会以簇内紧凑性变差为代价。
演讲者警告道:若簇的数量过多,不同簇之间可能彼此非常接近,且缺乏显著的区分特征。
人们可能认为,增加簇的数量总会得到更优的聚类结果。
视频指出,簇的数量过多虽能使每个簇内的点彼此相似,却会导致不同簇之间过于接近,难以进行有意义的区分。
讲述者将聚类分析引入为无监督学习中所采用的一种技术。
聚类分析被呈现为无监督学习这一更广泛范畴中的一种具体技术。
聚类分析的定义直接引出了对该算法任务的描述。
聚类的一般定义,通过考察数据并形成簇这一任务来具体化。
在描述该任务后,讲述者指出:簇内相似性大于簇间相似性。
关于簇内共性更强这一主张,依赖于前文对聚类如何形成分组的描述。
讲解首先指出需要数值表示,然后立即给出产品示例。
幻灯片从“用数字定义特征”切换到产品属性列表。
用具体的产品属性说明了将特征以数值形式表示的一般要求。
讲解者在产品幻灯片显示“类别”和“颜色”的同时,解释分类变量的数值标签化方法。
“类别”和“颜色”被作为必须用数字标签编码的分类产品属性示例呈现。
在产品示例之后,讲解转向用户与读者,并列举其属性。
幻灯片从产品属性切换到用户属性。
将特征以数值形式表示的相同原则也应用于用户与读者数据。
讲解者说:“与其仅考虑三个属性,不如将其扩展到〔n〕个属性……”
在3D空间中表示数据的概念被推广到n维空间,以处理更复杂的數據集。
主讲人将簇内的距离与相似性联系起来:‘用户之间的距离表明了他们彼此的相似程度。’
聚类的一般概念本质上就包含了最大化簇内相似性(即最小化距离)这一原则。
演讲者明确将两个目标配对:最大化簇内相似性,同时最小化簇间相似性。
该片段将这两个目标呈现为聚类中相互补充又彼此对立的目标:簇内相似性应高,而簇间相似性应低。
演讲者先引入簇的数量这一概念,再解释选择过少或过多簇所带来的后果。
关于簇数量的讨论,正是通过应用上述两个相似性目标,来说明为何必须谨慎选择簇的个数。
讲述者提问:“那么,聚类究竟是什么?”,并以一个定义作答。
讲述者提问为何要采用聚类,并给出实际生活中的例子。
讲述者描述了一个包含数百万个数据点、且无标签的巨大数据集。
讲述者指出:同一簇内的点,彼此之间的共同点远多于与该簇外点的共同点。
讲解者指出,只有在用数字定义特征之后,才能应用聚类。
幻灯片显示“类别(1—电子产品,2—服饰,……)”。
讲解员解释各类别的数字标签。
产品幻灯片列出了评分、评论情感倾向、类别、尺寸和颜色。
用户幻灯片列出了RatScore(发帖数/评论数/点赞数/分享数)、主题得分、活跃度得分以及好友连接数。
幻灯片上写着“活跃度得分(100最活跃,0完全不活跃)”。
讲解员解释从0到100的量表。
对将属性映射到坐标轴的解释。
对寻找彼此靠近的点所构成的群组的描述。
关于距离反映相似性的陈述。
已覆盖 · 仅标题卡片;除主题标识外,不含任何数学内容。
已覆盖 · 将聚类介绍为一种无监督学习技术。
已覆盖 · 聚类的定义及有界群体的直观图示。
已覆盖 · 大规模未标注数据集示例,引出属性分析与聚类形成。
已覆盖 · 明确陈述聚类任务及簇内相似性原则。
已覆盖 · 激发实际应用场景;结尾句在视频片段结束处被截断。
已覆盖 · 开场陈述:现实世界中的实体十分复杂,若无明确定义的特征,便无法对其进行客观归类。
已覆盖 · 过渡至聚类前需先用数值定义特征的要求。
已覆盖 · 以产品为例,包含评分、情感倾向、类别、尺寸和颜色,并涵盖分类变量的数值编码。
已覆盖 · 用户与读者示例,包含参与度得分、主题得分、活跃度得分以及连接数;最后的口述语句被截断,但屏幕上可见的属性列表已完整呈现。
已覆盖 · 该完整片段涵盖特征表示、维度扩展、聚类定义,以及利用两个例子说明的簇内相似性。
已覆盖 · 定义了最大化簇内相似性,提及多属性分组,并借助匹配的视觉元素引出成对的聚类目标。
已覆盖 · 定义了最小化簇间相似性,解释了簇数量所起的作用,并对比了簇数过少与过多的情形。
已审核的主题路径