项目五 · Spark MLlib 机器学习库

零基础交互课堂总目录(4 个独立 45 分钟课时)

每个任务均按完整一节课(45 分钟)的节奏拆分为 6 个互动教学站:配备动态原理动画、参数调优实验、PyCharm 真实输出对照与随堂闯关小测,全程可离线双击使用。

🖥️ 课堂投影提示 每一页右上角均配有一键 「🔍 教室大字」 放大模式;向下翻页讲解时顶部栏会自动隐藏,留足演示画布!
第 1 课时 · 任务一 ⏱️ 45 分钟 · 6 站互动

加载鸢尾花数据 & MLlib 基础概念

  • 认识机器学习 3 种模式 & 150 朵鸢尾花数据集剖析
  • Spark MLlib 速度对比与 5 大架构组件交互
  • 本地向量(购物小票稀疏 vs 稠密)、矩阵与 LabeledPoint 整数打包动画
  • Spark 7 步标准建模流水线与评估指标图解
  • IrisFeature.py 数据加载实操与 5 题随堂小测
▶ 进入第 1 课时:任务一
第 2 课时 · 任务二 ⏱️ 45 分钟 · 6 站互动

提取鸢尾花的特征(提取 / 转换 / 选择)

  • 特征处理三大板块 & TF-IDF 公式工坊 + 例 5-1 参数冲突实验
  • Word2Vec 滑动窗口、国王-男人+女人≈王后 & 例 5-2 调试
  • Tokenizer、Binarizer 类型排雷、StringIndexer(例 5-4)、VectorAssembler
  • 缩放三兄弟(Normalizer [3,4] / 例 5-5)与 PCA 手电筒降维实验
  • ChiSqSelector(例 5-6)+IrisFeature.py 10 步流水线 + 10 题闯关
▶ 进入第 2 课时:任务二
第 3 课时 · 任务三 ⏱️ 45 分钟 · 6 站互动

使用聚类算法处理鸢尾花数据

  • “撕掉标签纸”理解无监督学习、聚类 3 步流程与 4 大工业应用
  • 欧氏距离 vs 余弦相似度标尺 & 点击网格自由手算质心重心(含 (2,2) 考题)
  • K-Means 迭代沙盘(点击样本看各质心距离 + SSE 收敛曲线)与肘部法则选 K
  • 高斯混合模型 GMM 三旋钮图解、硬切分 vs 软概率 & 例 5-7 千点实验
  • 任务三代码步进、盲猜簇号 vs 真实品种对照表 + 8 题闯关
▶ 进入第 3 课时:任务三
第 4 课时 · 任务四 ⏱️ 45 分钟 · 6 站互动

使用分类算法处理鸢尾花数据 & 总复盘

  • 一图切换对比二分类 / 多分类 / 回归 / 聚类与 Spark 算法目录
  • 朴素贝叶斯概率乘法推演、拉普拉斯平滑急救与例 5-8(准确率 1.0)
  • 银行放贷决策树、基尼不纯度分篮动画 & maxDepth 过拟合实验
  • 鸢尾花 2D 空间切分 ↔ 动态生长决策树双视图实时联动(点击任意点测预测)
  • 任务四实战(Accuracy = 0.964)、3×3 混淆矩阵、蘑菇实训预告 + 10 题总闯关
▶ 进入第 4 课时:任务四
🗺️ 四节课知识主线接力: 任务一 (iris) ➔ 任务二 (VectorAssembler → PCA → StringIndexer → indexed) ➔ 7:3 拆分 ➔ 任务三 (KMeans 无监督分组) / 任务四 (DecisionTree 有监督分类 + 评估打分)