项目五 · 任务一
加载鸢尾花数据 (零基础交互课堂)
第 1 站 · PPT 第 11~17 页

认识机器学习 & 今天的主角:鸢尾花

大数据时代,数据成千上万,靠人工一条条翻看已经来不及。机器学习就是让计算机从历史数据里自己总结规律,再用学到的规律去判断新数据。

💡 零基础秒懂类比 人怎么学会认花?多看几十朵真花并记住它们的尺寸特点,下次只看尺寸就能猜出它是哪一种!电脑做这件事,就叫机器学习。

🌸 1. 先认识今天的数据集:150 朵鸢尾花(Iris)

花萼长 5.1cm 花萼宽 3.5cm 花瓣长 1.4cm 花瓣宽 0.2cm
花萼长度sepal_length
5.1
花萼宽度sepal_width
3.5
花瓣长度petal_length
1.4
花瓣宽度petal_width
0.2

电脑不认识照片,它把每朵花记成一行数字:

点击上方不同的鸢尾花品种,看花瓣大小和 iris.csv 数据行如何联动变化!

📄 iris.csv 中的一条真实记录(共 150 条):
5.1, 3.5, 1.4, 0.2, Iris-setosa
🟦 前 4 个数字 = 特征 (Features):判断用的线索 🩷 最后 1 列 = 标签 (Label):标准答案
🔍 观察山鸢尾 (Iris-setosa):
它的花瓣特别小(花瓣长仅 1.4cm,宽仅 0.2cm),一眼就能跟另外两种花区分开!切换成变色鸢尾或维吉尼亚鸢尾试试,看看花朵怎么变大!
📌 记住这个结构(150 × 5): Iris 数据集共有 150 个样本(3 个品种各 50 朵),每个样本有 4 个数值特征 + 1 个品种标签。

🧠 2. 机器学习的 3 种学习方式(点击切换,看小花如何被学习)

有标准答案(标签)

监督学习 (Supervised Learning)

利用含有标签(标准答案)的数据集对模型进行训练,找出“特征 → 品种”的规律,再用测试集评估模型的预测准不准。

🎒 生活类比:就像刷“带标准答案的练习题”——做错了对照答案改正,最后参加期末考试检验水平!
🌸 后续课程对应:项目五任务四(决策树分类)就是典型的监督学习。
点击“▶ 动画演示学习过程”观察样本点如何被处理
特征 1:花瓣长度 (petal_length) 特征 2:花瓣宽度 (petal_width)
第 2 站 · PPT 第 18~21 页

为什么要用 Spark MLlib?它由哪几部分组成?

传统的单机算法装不下海量数据,而上一代大数据工具 MapReduce 每次计算都要反复读写硬盘。Spark MLlib 把数据留在分布式内存里算,速度暴涨!

💡 零基础秒懂类比 MapReduce 像“每算一步都要跑去仓库取货放货”;Spark 像“把原料摊在超大工作台上直接连续加工”,省掉来回跑仓库的时间!

🏎️ 1. 三轮迭代计算大比拼:单机 vs MapReduce vs Spark MLlib

机器学习往往要把同一份海量数据反复算很多轮(迭代)。点击按钮,看看三种架构在第 1 轮、第 2 轮、第 3 轮发生了什么:

🖥️ 方式 A:传统单机算法 (只靠 1 台电脑内存硬扛)
等待开始
CPU × 1 单机内存:0%
只能装下小数据集
🐢 方式 B:MapReduce 分布式 (多台电脑算,但每轮都要落地存硬盘)
等待开始
第1轮计算 → 💾写/读硬盘 → 第2轮计算 → 💾写/读硬盘 → 第3轮计算
磁盘开销大、延迟高
⚡ 方式 C:Spark MLlib (多台电脑 + 数据常驻内存流水线)
等待开始
⚡ 内存第1轮 → ⚡ 内存第2轮 → ⚡ 内存第3轮
海量数据 × 高速内存迭代

🧩 2. Spark MLlib 的五大组成模块(点击蓝框查看通俗解释)

Spark MLlib 的组成 算法工具 聚类、分类、回归等 特征化工具 特征提取、转换、选择 管道 (Pipeline) 构建、评估、调优工作流 持久性工具 保存/加载算法、模型、管道 实用工具 线性代数、统计、数据处理
5 大组件之一

算法工具 (Algorithms)

📘 教材定义:包含聚类、分类、回归和协同过滤等通用机器学习算法。
🍳 大白话理解:就像厨房里的“专业厨师”——有的擅长分类(判断花是哪种),有的擅长聚类(把相似花分堆),有的擅长推荐(猜你喜欢什么商品)。
🌸 在鸢尾花案例中用到:
任务三的 KMeans(聚类)和任务四的 DecisionTreeClassifier(分类)都属于这一类!
第 3 站 · PPT 第 22~23 页

Spark MLlib 的基本数据类型实验室

机器学习算法不直接算“花朵图片”或“散乱的表格”,它需要把数据装进 3 种标准数学容器:本地向量、本地矩阵、标注点 (LabeledPoint)。

💡 零基础秒懂类比 向量 = 一行特征数字;矩阵 = 多行叠成的数字方阵;标注点 = “题目特征向量 + 标准答案标签”的答题卡!
点击下面任意格子切换 0 与数值,实时看存储变化:
🧱 稠密本地向量 (Dense Vector) 存 8 个数

“老老实实把每一个位置的值都存下来,哪怕是 0 也不跳过。”

存储开销占比:
⚡ 稀疏本地向量 (Sparse Vector) 只存非零

“0 太多了懒得存!只记 总长度 + 非零在哪(索引) + 非零是多少。”

压缩对比:
💡 一句话选型原则:像鸢尾花这样 4 个尺寸几乎都不是 0,用稠密向量;如果遇到 10000 个词语里只出现 3 个词的文本(99.9% 都是 0),必须用稀疏向量才能省下巨量内存!
第 4 站 · PPT 第 24~35 页

Spark MLlib 的 7 步运行流程

从读入原始文件到训练好模型并打分评估,Spark MLlib 遵循清晰统一的 7 步流水线。点击任意节点或点击“自动播放”,看懂 randomSplit、fit、transform 和 evaluate!

💡 考试必分清的两步 fit(训练集) = 上课做练习总结公式;
transform(测试集) = 用学好的公式闭卷考试答题!

🔄 1. 交互式 7 步流程图

测试数据 testData 训练-测试迭代 训练数据 ① 数据加载 read.csv() ② 特征处理 提取/转换/选择 ③ 划分数据集 randomSplit() ④ 模型构建 选定算法 ⑤ 模型训练 fit(训练集) ⑥ 模型测试 transform(测试) ⑦ 模型评估 evaluate()
① 数据加载

使用 Spark 提供的方法(如 spark.read.csv())从文件读取数据,创建结构化的 DataFrame 二维表。

🎒 类比:把零散纸质成绩单录入 Excel 表格!
关键代码格式:
data = spark.read.csv("iris.csv", inferSchema=True, header=False)

🎲 2. 实验:理解 randomSplit(weights, seed)

把 150 朵鸢尾花按比例分成两筐:拖动滑块改变比例,观察 seed 随机种子的作用!

(trainingData, testData) = data.randomSplit([0.7, 0.3], seed=1)
📘 训练集 trainingData 105 朵
📙 测试集 testData 45 朵
提示:每 1 个小圆点代表 5 朵花(共 30 点 = 150 朵)。当指定相同的 seed 时,多次点击拆分结果完全一致!

📝 3. 实验:理解模型评估器 (Evaluator)

点击下面测试集里的“模型预测值”,模拟模型答错几道题,看准确率怎么变:

评估指标 metricName:
accuracy = 1.000 (8/8)
样本 真实标签 label 模型预测 prediction(点击切换) 是否答对
参数说明:labelCol 默认为 "label",predictionCol 默认为 "prediction",metricName 默认为 "f1",也可设为 "accuracy"。

📊 4. 拓展视角:真实科研论文里的“模型评估成绩单”

第 7 步学的指标(Acc / P / R / F1),在实际科研与工程中就长这样
模型评估指标对比表:Params, Acc, Macro Avg (mP, mR, mF1), Weighted Avg (wP, wR, wF1)
👆 点击下方任意表头名词,展开课堂通俗解说:
🎯 Acc ↑ (%) —— 整体准确率(对应 Spark 里的 accuracy):
所有测试样本中,模型一共猜对了百分之多少。箭头 ↑ 表示数值越高越好(例如最后一行改进后达到 86.65%)。
第 5 站 · PPT 第 36~44 页

实战演练:逐行加载 iris.csv 创建 DataFrame

终于来到动手环节!左边是教材里的 IrisFeature.py 代码,右边是数据从磁盘文本变成整齐表格的全过程。强烈推荐切换参数开关亲自“踩坑”试错!

🎯 本节核心成果 记住 read.csv(..., inferSchema=True, header=False) 和 toDF(...) 这两句,你就完成了任务一全部编码!

💻 单步调试实验室:IrisFeature.py

📄 /usr/local/spark/mycode/Mllib/IrisFeature.py PySpark
# 【前置导入】(后半部分为任务二~四提前准备,本任务主要使用 SparkSession)
from pyspark.sql import SparkSession
from pyspark.ml.feature import VectorAssembler, StringIndexer, PCA
from pyspark.ml.clustering import KMeans
from pyspark.ml.classification import DecisionTreeClassifier
from pyspark.ml.evaluation import MulticlassClassificationEvaluator
from pyspark.sql.functions import col
# 步骤 1:创建 SparkSession 对象(唤醒 Spark 引擎)
spark = SparkSession.builder.appName("IrisFeature").getOrCreate()
# 步骤 2:加载鸢尾花 CSV 数据创建 DataFrame
data = spark.read.csv("file:///usr/local/spark/mycode/Mllib/iris.csv", inferSchema=True, header=False)
# 步骤 3:使用 toDF() 方法为 data 指定 5 个列名
iris = data.toDF("sepal_length", "sepal_width", "petal_length", "petal_width", "label")
# 步骤 4:使用 show() 方法显示前 20 行数据
iris.show()
🛠️ 试错实验室:点一点参数开关,看看写错会发生什么事故!
📁 当前状态:iris.csv 静静躺在硬盘里
它只是一段纯文本:每行用逗号隔开 5 个值,第一行就是第 1 朵花的数据,没有列标题。
第 6 站 · 课堂巩固检测

零基础随堂互动闯关(5 道必会核心题)

检验刚才动画里学到的 5 个核心概念!点击选项立即出动画解析,看看自己能拿几分!

🏆 当前闯关进度
已答 0 / 5 题 · 正确 0 题
第 1 站 / 共 6 站