第 3 课时 · 任务三
聚类算法处理鸢尾花 (45分钟交互课堂)
🏠 总目录
第 1 站 · 任务三 走进无监督学习与聚类思维

把花的“名牌标签”撕掉:只靠相似度,电脑能自己分出几堆花吗?

在机器学习里,如果手里没有标准答案(无标签),让算法靠样本特征自己发现群组结构、把相似样本汇成多个“簇 (Cluster)”,这就叫做无监督聚类算法!

💡 零基础秒懂类比 走进水果店不看价签,光看形状大小和颜色:圆滚滚红彤彤的自动归成苹果堆,弯弯黄澄澄的归成香蕉堆——这就是“物以类聚”!

🏷️ 1. 课堂互动体验:“撕掉标签纸”看无监督世界

特征主成分 1
📜 聚类算法执行任务的通用 3 步流程:
  1. 选聚类算法和参数(如距离算法 KMeans 或概率模型 GMM);
  2. 选择聚类数 k(提前告诉电脑分成几簇);
  3. 执行聚类算法(根据样本间相似度/距离划分到同一个簇,组内相似、组间差异大)。

🌍 2. 聚类在真实世界能干什么?(4 个零基础场景)

🛒 电商客户精准分群
消费频次与客单价相近的用户聚为一簇(高价值会员、潜力新客、流失预警用户),分别推送不同优惠券。
📰 每日热搜新闻聚合
先用 TF-IDF 提取词特征,再聚类把描写同一件社会热点的上万篇新闻自动聚成一条头条专题。
🛡️ 异常银行交易发现
正常刷卡都抱团在主流簇心周围,孤零零掉在最外围远处的孤立点,多半是盗刷异常交易!
🎨 图片像素色彩压缩
把图片里上百万种相近 RGB 颜色聚成 k=16 个代表色,瞬间把几 MB 高清图压缩得极小!
第 2 站 · 任务三 距离标尺 & 质心重心手算工坊

怎么判断“两朵花像不像”?又是怎么算出簇的新中心点?

聚类不神秘,背后只有两道初中几何/算术题:① 怎么算两点距离(近的放一组),② 怎么求簇里所有点的平均值当新中心(质心)!

💡 考试计算必会题 只要给你簇里的几个点,把所有点的 x 求平均、y 求平均,就是下一轮质心的坐标!

📏 1. 距离标尺实验:欧氏距离 (euclidean) vs 余弦相似度 (cosine)

🔵 花 A:x1=2 y1=2
🟣 花 B:x2=5 y2=4
⚙️ Spark distanceMeasure 参数:
• "euclidean"(默认):用直线长度(勾股定理)衡量远近;
• "cosine":看原点出发的两条射线夹角像不像,就算 B 拉长一倍只要方向一致,余弦相似度依然很高(常用于文本向量)。

🧮 2. 质心更新手算工坊(点击网格可自由加减样本点)

👆 在左图任意网格位置点击添加新样本点(点击已有圆点可删除)
📌 牢记更新规律(非固定选第1个点!):
K-Means 每次更新簇中心点,绝不是“永远挑第 1 个样本”不动,而是把当前簇内所有样本的每一维求算术平均值,算出重心就是新质心!
第 3 站 · 任务三 K-Means 迭代沙盘、肘部法则与 seed / maxIter

亲手控制 K-Means 一轮轮收敛,看懂 k、SSE 与局部最优

这一站不仅能逐轮推演 K-Means 的“分配 ↔ 更新”,还能看到误差曲线 (SSE) 不断下降,并通过“肘部法则”直观判断为什么鸢尾花选 k=3!

👀 点一下圆点试试! 沙盘中点击任意一个样本点,就能立刻看见它到所有 K 颗星星的距离比较过程!

🧲 1. K-Means 交互迭代沙盘 & SSE 收敛曲线

👆 点击左侧散点图里任意一点,可查看它与各个质心的精确距离对比!
📉 SSE 误差平方和随迭代下降轨迹(越小越紧凑): --

💪 2. 怎么选最佳簇数 K?肘部法则 (Elbow)

当 k=1→2→3 时误差平方和 (SSE) 断崖式暴跌;过了 手肘拐点 k=3 之后曲线变平缓,说明分 3 簇性价比最高!

🎛️ 3. 体会 seed(簇编号随机性)与 maxIter

切换随机种子:
📘 Spark KMeans 常用参数总览:
• k(默认 2):聚类簇数;featuresCol:特征列;predictionCol(默认 "prediction")
• tol(默认 0.0001):中心变化小于此容差停止;maxIter:最大迭代轮数;seed:随机种子。
第 4 站 · 任务三 高斯混合模型 (GMM) 与例 5-7

不只是硬圈地:用“概率钟形山峰”柔性地描述每个簇!

K-Means 只会给出冷冰冰的“归属 0/1/2 号簇”。如果两堆数据长得又扁又斜还互相交叉,高斯混合模型 (GMM) 用多个高斯分布去拟合数据,还能给出属于每一簇的概率百分比!

💡 零基础秒懂类比 K-Means 像画硬边界划分学区;GMM 像在地图上垒起 k 座信号强度渐变的 Wi-Fi 信号塔(高斯分布)——站在边界能同时测出连着 Tower 1 (51%) 还是 Tower 2 (49%)!

🔔 1. 读懂高斯分布的三大参数:均值 (μ)、方差/宽度 (σ)、权重 (π)

📘 EM 算法 4 步工作原理:
① 随机初始化 K 个高斯分布的均值、协方差矩阵与权重 → ② 计算每个点属于各簇的后验概率 → ③ 按概率权重更新参数 → ④ 重复 ②③ 直到参数收敛!

🫧 2. K-Means(非此即彼)vs GMM(输出后验概率 probabilityCol)

高斯分布 0 高斯分布 1 高斯分布 2
👆 点击图上任意位置,直接测量 K-Means 与 GMM 的不同判断
📏 K-Means 结论(只选唯一最近中心):
🎲 GMM 结论(同时给出属于各簇的后验概率):

💻 3. 【例 5-7】生成 1000 个二维样本并用 GaussianMixture 聚成 3 簇

# 1. 生成 1000 个正态随机点,并拼接成 features 向量列
df = spark.range(0, 1000).withColumn('x', randn(seed=42)*5+10).withColumn('y', randn(seed=43)*5+20)
data = VectorAssembler(inputCols=['x', 'y'], outputCol='features').transform(df).select('features')
# 2. 设置 k=3,最大迭代 20,随机种子 42 训练并输出簇编号
gmm = GaussianMixture(k=3, maxIter=20, seed=42)
model = gmm.fit(data)
results = model.transform(data).select(col('features'), col('prediction').alias('cluster'))
results.show(truncate=False)
第 5 站 · 任务三 IrisFeature.py 聚类实战与结果解剖

把任务二的 indexed 切分成 7:3,运行 K-Means 聚成 3 簇!

虽然训练过程不看 label_index,但聚完后我们可以对比一下“算法盲猜出来的簇号 0/1/2”与真实品种有多吻合!

⚠️ 最重要的防混概念 PCA(k=2) 的 k 是主成分维数;
KMeans(k=3) 的 k 是聚类簇数!

💻 1. 任务三 5 步代码步进(点击左代码块切换终端输出)

# 步骤 1:把任务二产物 indexed 按 7:3 拆成训练集与测试集
(trainingData, testData) = indexed.randomSplit([0.7, 0.3])
# 步骤 2:配置 KMeans:只喂入降维特征列 pcaFeatures,分 k=3 簇
kmeans = KMeans(featuresCol="pcaFeatures", k=3, seed=1)
# 步骤 3:注意 KMeans 是无监督训练,fit() 时只用特征,不用标签列!
model = kmeans.fit(trainingData)
# 步骤 4~5:在 testData 上分配簇号并选取 pcaFeatures 与 prediction 显示
predictions = model.transform(testData).select(col('pcaFeatures'), col('prediction'))
predictions.show()
🖥️ PyCharm 任务三聚类输出结果:

📊 2. 上帝视角检验:K-Means 盲猜的簇号 vs 真实花种对照表

真实花种(仅对照参考)分进 簇 0分进 簇 1分进 簇 2
山鸢尾 Iris-setosa15 朵 (全中!)00
变色鸢尾 Iris-versicolor02 朵13 朵
维吉尼亚 Iris-virginica012 朵3 朵
🚫 考试必看两句核心结论:
1. prediction 列存放的只是聚类算法分出来的簇编号 (0/1/2),它不天然等同于真实类别 label_index!
2. 从表可见:山鸢尾与其他两类距离很远,无监督就能 100% 独立成簇;但变色鸢尾和维吉尼亚在边界有挨得很近的花朵,只靠“盲聚”会有少数混在一起——所以下节课(任务四)我们要请出带答案的有监督分类!
第 6 站 · 任务三 随堂互动闯关

任务三知识检验(8 道必会核心题)

涵盖无监督概念、K-Means 步进、质心算术均值手算、GMM 特性与实战参数,点击选项立刻出解析!

🏆 当前闯关进度
已答 0 / 8 题 · 正确 0 题
第 1 站 / 共 6 站