第 1 站 · 任务四 有监督分类全景(二分类 / 多分类 / 回归 / 聚类)
有老师带路:学习“划界线”的分类算法
任务四从无监督聚类进入有监督分类:手头已经标好了 label_index (0/1/2),模型先在训练集上学会判断边界,再用来预测未知新花朵属于哪个离散类别!
💡 分类 vs 回归 vs 聚类一句话
分类是做选择题(输出离散类别名);回归是做填空题(预测连续数字如房价);聚类是没发题干自己分堆!
🎨 1. 一张画布秒分清 4 种机器学习任务
| 问题类型 | 输出值特征 | Spark MLlib 常见算法 |
|---|---|---|
| 二分类 | 0 或 1 (2个离散类) | 逻辑回归、决策树、随机森林、朴素贝叶斯、SVM |
| 多分类 | 0 / 1 / 2 ... (多离散类) | 逻辑回归、决策树、随机森林、朴素贝叶斯、一对多 |
| 回归分析 | 连续浮点数 (如 4.82) | 线性回归、决策树回归、随机森林回归 |
第 2 站 · 任务四 朴素贝叶斯 (Naive Bayes)、拉普拉斯平滑与例 5-8
用“概率乘法天平”猜类别:朴素贝叶斯详解
先看各类平时多常见(先验概率),再看特征出现时支持哪个类(后验概率),最后挑出后验概率最大的类别当预测答案!
💊 为什么需要平滑参数
smoothing=1.0?
如果某个词在正常短信里刚好出现了 0 次,直接连乘会让整项瞬间变成 0!给每个词次都先偷偷加个 1(平滑),就能完美避开零概率崩溃!
⚖️ 1. 垃圾短信分类实战推演 & 拉普拉斯平滑拯救零概率
☑️ 勾选一条测试短信里包含的线索词:
模型类型
modelType:可选 "multinomial"(多项式,统计次数,默认)与 "bernoulli"(伯努利,只关心 0/1 出现与否)。
📩 正常短信 后验概率 (先验 70%)
--%
🚫 垃圾短信 后验概率 (先验 30%)
--%
💻 2. 【例 5-8】朴素贝叶斯 0/1 二分类全流程代码与运行输出
data = spark.read.format("libsvm").load("file:///.../sample_libsvm_data.txt")
(trainingData, testData) = data.randomSplit([0.7, 0.3], seed=1234)
nb = NaiveBayes(smoothing=1.0, modelType="multinomial")
model = nb.fit(trainingData)
predictions = model.transform(testData)
predictions.show()
evaluator = MulticlassClassificationEvaluator(labelCol="label", predictionCol="prediction", metricName="accuracy")
accuracy = evaluator.evaluate(predictions)
print("Test set accuracy = " + str(accuracy))
第 3 站 · 任务四 决策树原理、基尼纯度分篮与
maxDepth就像玩“20个问题猜谜”:一层层提问直到确定答案!
决策树是机器学习里最符合人类直觉的算法:由决策节点(特征提问)、分支(不同答案去向)和叶子节点(最终类别标签)组成!
🏀 电脑怎么选“第 1 个问题”先问什么?
挑能让左右两个篮子变最纯(同一类花尽量扎堆)的那个条件,用数学衡量就是基尼不纯度 / 信息增益!
🌳 1. 银行放贷决策树闯关(决策节点 / 分支 / 叶子节点)
① 是否拥有房产:
② 是否结婚:
③ 平均月收入: 3500 元
🧺 2. 电脑怎么选最佳分裂条件?(基尼不纯度越低越纯!)
📏 3. 树越深越好吗?maxDepth 与过拟合风险
设定树最大深度
maxDepth = 3
✅ 刚好适中!
📘 训练集得分 (平时做练习)--%
📙 测试集得分 (期末考新题)--%
第 4 站 · 任务四 鸢尾花 2D 决策树“边切边长树”双视图联动
把“空间画分界线”和“树状图判断”合二为一,一眼看穿!
左边用“切刀”在二维特征图上划分地盘,右边同步长出一棵决策树;点击左图任意位置(或拖动坐标滑块)放进一朵测试新花,看它怎么沿着右边的树找到品种叶子节点!
🌟 互动玩法
直接用鼠标点一点左图任何角落,或者拖动右侧金星滑块,右边整棵树的发光路线与
prediction 会实时同步切换!
✂️ 1. 左图切地盘 ↔ 右图长树枝(双视图联动)
⭐ 调整测试新花 PC1:
5.2
第 5 站 · 任务四
IrisFeature.py 分类实战、混淆矩阵与蘑菇实训预告跑完决策树分类 & 评估准确率:拿到项目五最终成绩单!
任务四接上 trainingData 与 testData,创建 DecisionTreeClassifier 训练分类模型,并用 MulticlassClassificationEvaluator 打印最终准确率!
⚠️ 绝对不能对调的两个参数
写反会导致拿“答案当题目”,失去分类意义!
labelCol="label_index"(真答案)featuresCol="pcaFeatures"(做题线索)写反会导致拿“答案当题目”,失去分类意义!
💻 1. 任务四决策树分类 7 步实战代码调试器
点击左侧任意代码块,右侧联动查看运行结果# 步骤 1:创建决策树分类器,指定 labelCol 与 featuresCol
dt = DecisionTreeClassifier(labelCol="label_index", featuresCol="pcaFeatures")
# 步骤 2:在训练集 trainingData 上用 .fit() 学习树规则
model = dt.fit(trainingData)
# 步骤 3~4:对独立测试集 testData 生成预测并展示
predictions = model.transform(testData)
predictions.show()
# 步骤 5~7:创建多分类评估器算准确率,并 print 打印最终成绩
evaluator = MulticlassClassificationEvaluator(labelCol="label_index", predictionCol="prediction", metricName="accuracy")
accuracy = evaluator.evaluate(predictions)
print("Accuracy = %g" % (accuracy))
🧮 2. 互动 3×3 混淆矩阵实验:看准确率如何一格一格算出来
| 真实 \ 预测 | 判为 0 (山鸢尾) | 判为 1 (变色) | 判为 2 (维吉尼亚) |
|---|
🚫 两个评估必考判断提醒:
1. 训练集准确率不能替代测试集独立评估(背熟平时练习册分数高,不代表上新考场也能考高分!);
2. 准确率 =
1. 训练集准确率不能替代测试集独立评估(背熟平时练习册分数高,不代表上新考场也能考高分!);
2. 准确率 =
0.90 表示样本里总体猜对了 90% 比例,不表示“每一条单独预测都有 90% 的概率正确”。
🍄 3. 下一步综合实训预告:毒蘑菇识别 (MushroomAnalysis.py)
8124 朵蘑菇 × 23 个字母符号特征 → 用今天学的全套流程判断有毒(p)/可食用(e)!
① 批量字符串特征编码
蘑菇的菌盖形状
蘑菇的菌盖形状
x/b、气味 p/a/l 全是英文字母!循环用 StringIndexer(inputCols=inputs, outputCols=outputs) 一键转数字列 *_index。② 组装特征 + 标签编码
用
用
VectorAssembler 把 22 个 *_index 合并成 features,再对 class (p/e) 用 StringIndexer 编成 label。③ 朴素贝叶斯二分类与打分
按 7:3 拆分后使用
按 7:3 拆分后使用
NaiveBayes(smoothing=1.0, modelType="multinomial") 训练预测,再用评估器算出最终准确度!第 6 站 · 任务四 全项目复盘与 10 题随堂总通关
项目五大串联:任务一到任务四全景复盘 + 随堂闯关
从加载数据到评估模型,梳理清楚聚类与分类的区别后,拿下最后 10 道随堂闯关题!
🏆 当前闯关进度
已答 0 / 10 题 · 正确 0 题
🗺️ 项目五(任务一~四)四课时大闭环 & 聚类 vs 分类核心对比
| 核心维度 | 任务三:无监督聚类 (KMeans / GMM) | 任务四:有监督分类 (决策树 / 朴素贝叶斯) |
|---|---|---|
| 是否需要标签 | 不需要(仅看特征向量找抱团结构) | 必须有标签(labelCol="label_index") |
prediction 含义 | 只表示分出的簇编号 (0/1/2),不带真品种名 | 直接代表学好的类别标签预测值 (0/1/2) |
| 训练与预测接口 | kmeans.fit(trainingData) → model.transform(testData) | dt.fit(trainingData) → model.transform(testData) |
| 测试评分 | 看聚类散点分布紧密度 | 用 MulticlassClassificationEvaluator 对照真值算准确率 |