第 4 课时 · 任务四
分类算法与项目总复盘 (45分钟交互课堂)
🏠 总目录
第 1 站 · 任务四 有监督分类全景(二分类 / 多分类 / 回归 / 聚类)

有老师带路:学习“划界线”的分类算法

任务四从无监督聚类进入有监督分类:手头已经标好了 label_index (0/1/2),模型先在训练集上学会判断边界,再用来预测未知新花朵属于哪个离散类别!

💡 分类 vs 回归 vs 聚类一句话 分类是做选择题(输出离散类别名);回归是做填空题(预测连续数字如房价);聚类是没发题干自己分堆!

🎨 1. 一张画布秒分清 4 种机器学习任务

问题类型输出值特征Spark MLlib 常见算法
二分类0 或 1 (2个离散类)逻辑回归、决策树、随机森林、朴素贝叶斯、SVM
多分类0 / 1 / 2 ... (多离散类)逻辑回归、决策树、随机森林、朴素贝叶斯、一对多
回归分析连续浮点数 (如 4.82)线性回归、决策树回归、随机森林回归
第 2 站 · 任务四 朴素贝叶斯 (Naive Bayes)、拉普拉斯平滑与例 5-8

用“概率乘法天平”猜类别:朴素贝叶斯详解

先看各类平时多常见(先验概率),再看特征出现时支持哪个类(后验概率),最后挑出后验概率最大的类别当预测答案!

💊 为什么需要平滑参数 smoothing=1.0? 如果某个词在正常短信里刚好出现了 0 次,直接连乘会让整项瞬间变成 0!给每个词次都先偷偷加个 1(平滑),就能完美避开零概率崩溃!

⚖️ 1. 垃圾短信分类实战推演 & 拉普拉斯平滑拯救零概率

☑️ 勾选一条测试短信里包含的线索词:
模型类型 modelType:可选 "multinomial"(多项式,统计次数,默认)与 "bernoulli"(伯努利,只关心 0/1 出现与否)。
📩 正常短信 后验概率 (先验 70%) --%
🚫 垃圾短信 后验概率 (先验 30%) --%

💻 2. 【例 5-8】朴素贝叶斯 0/1 二分类全流程代码与运行输出

data = spark.read.format("libsvm").load("file:///.../sample_libsvm_data.txt")
(trainingData, testData) = data.randomSplit([0.7, 0.3], seed=1234)
nb = NaiveBayes(smoothing=1.0, modelType="multinomial")
model = nb.fit(trainingData)
predictions = model.transform(testData)
predictions.show()
evaluator = MulticlassClassificationEvaluator(labelCol="label", predictionCol="prediction", metricName="accuracy")
accuracy = evaluator.evaluate(predictions)
print("Test set accuracy = " + str(accuracy))
第 3 站 · 任务四 决策树原理、基尼纯度分篮与 maxDepth

就像玩“20个问题猜谜”:一层层提问直到确定答案!

决策树是机器学习里最符合人类直觉的算法:由决策节点(特征提问)、分支(不同答案去向)和叶子节点(最终类别标签)组成!

🏀 电脑怎么选“第 1 个问题”先问什么? 挑能让左右两个篮子变最纯(同一类花尽量扎堆)的那个条件,用数学衡量就是基尼不纯度 / 信息增益!

🌳 1. 银行放贷决策树闯关(决策节点 / 分支 / 叶子节点)

① 是否拥有房产:
② 是否结婚:
③ 平均月收入: 3500 元
决策节点 分支 叶子节点 是 否 是 否 大于5000元 小于5000元 是否拥有房产 是否结婚 平均月收入 可以偿还 可以偿还 可以偿还 无力偿还

🧺 2. 电脑怎么选最佳分裂条件?(基尼不纯度越低越纯!)

左篮子 (待切分) 右篮子 (待切分)

📏 3. 树越深越好吗?maxDepth 与过拟合风险

设定树最大深度 maxDepth = 3 ✅ 刚好适中!
📘 训练集得分 (平时做练习)--%
📙 测试集得分 (期末考新题)--%
第 4 站 · 任务四 鸢尾花 2D 决策树“边切边长树”双视图联动

把“空间画分界线”和“树状图判断”合二为一,一眼看穿!

左边用“切刀”在二维特征图上划分地盘,右边同步长出一棵决策树;点击左图任意位置(或拖动坐标滑块)放进一朵测试新花,看它怎么沿着右边的树找到品种叶子节点!

🌟 互动玩法 直接用鼠标点一点左图任何角落,或者拖动右侧金星滑块,右边整棵树的发光路线与 prediction 会实时同步切换!

✂️ 1. 左图切地盘 ↔ 右图长树枝(双视图联动)

主成分 1 (PC1: 0 ~ 10,点击图上任意处放新花⭐)
是 (≤ 3.8) 否 (> 3.8) 是 (≤ 6.7) 否 (> 6.7) 主成分1 ≤ 3.8 ? 叶子: 山鸢尾 (0)投票:[36, 0, 0] 主成分1 ≤ 6.7 ? 叶子: 变色鸢尾 (1)投票:[0, 32, 1] 叶子: 维吉尼亚 (2)投票:[0, 2, 33]
⭐ 调整测试新花 PC1: 5.2
第 5 站 · 任务四 IrisFeature.py 分类实战、混淆矩阵与蘑菇实训预告

跑完决策树分类 & 评估准确率:拿到项目五最终成绩单!

任务四接上 trainingData 与 testData,创建 DecisionTreeClassifier 训练分类模型,并用 MulticlassClassificationEvaluator 打印最终准确率!

⚠️ 绝对不能对调的两个参数 labelCol="label_index"(真答案)
featuresCol="pcaFeatures"(做题线索)
写反会导致拿“答案当题目”,失去分类意义!

💻 1. 任务四决策树分类 7 步实战代码调试器

点击左侧任意代码块,右侧联动查看运行结果
# 步骤 1:创建决策树分类器,指定 labelCol 与 featuresCol
dt = DecisionTreeClassifier(labelCol="label_index", featuresCol="pcaFeatures")
# 步骤 2:在训练集 trainingData 上用 .fit() 学习树规则
model = dt.fit(trainingData)
# 步骤 3~4:对独立测试集 testData 生成预测并展示
predictions = model.transform(testData)
predictions.show()
# 步骤 5~7:创建多分类评估器算准确率,并 print 打印最终成绩
evaluator = MulticlassClassificationEvaluator(labelCol="label_index", predictionCol="prediction", metricName="accuracy")
accuracy = evaluator.evaluate(predictions)
print("Accuracy = %g" % (accuracy))

🧮 2. 互动 3×3 混淆矩阵实验:看准确率如何一格一格算出来

真实 \ 预测判为 0 (山鸢尾)判为 1 (变色)判为 2 (维吉尼亚)
🚫 两个评估必考判断提醒:
1. 训练集准确率不能替代测试集独立评估(背熟平时练习册分数高,不代表上新考场也能考高分!);
2. 准确率 = 0.90 表示样本里总体猜对了 90% 比例,不表示“每一条单独预测都有 90% 的概率正确”。

🍄 3. 下一步综合实训预告:毒蘑菇识别 (MushroomAnalysis.py)

8124 朵蘑菇 × 23 个字母符号特征 → 用今天学的全套流程判断有毒(p)/可食用(e)!
① 批量字符串特征编码
蘑菇的菌盖形状 x/b、气味 p/a/l 全是英文字母!循环用 StringIndexer(inputCols=inputs, outputCols=outputs) 一键转数字列 *_index。
② 组装特征 + 标签编码
用 VectorAssembler 把 22 个 *_index 合并成 features,再对 class (p/e) 用 StringIndexer 编成 label。
③ 朴素贝叶斯二分类与打分
按 7:3 拆分后使用 NaiveBayes(smoothing=1.0, modelType="multinomial") 训练预测,再用评估器算出最终准确度!
第 6 站 · 任务四 全项目复盘与 10 题随堂总通关

项目五大串联:任务一到任务四全景复盘 + 随堂闯关

从加载数据到评估模型,梳理清楚聚类与分类的区别后,拿下最后 10 道随堂闯关题!

🏆 当前闯关进度
已答 0 / 10 题 · 正确 0 题

🗺️ 项目五(任务一~四)四课时大闭环 & 聚类 vs 分类核心对比

核心维度任务三:无监督聚类 (KMeans / GMM)任务四:有监督分类 (决策树 / 朴素贝叶斯)
是否需要标签不需要(仅看特征向量找抱团结构)必须有标签(labelCol="label_index")
prediction 含义只表示分出的簇编号 (0/1/2),不带真品种名直接代表学好的类别标签预测值 (0/1/2)
训练与预测接口kmeans.fit(trainingData) → model.transform(testData)dt.fit(trainingData) → model.transform(testData)
测试评分看聚类散点分布紧密度用 MulticlassClassificationEvaluator 对照真值算准确率
第 1 站 / 共 6 站