认识机器学习 & 今天的主角:鸢尾花
大数据时代,数据成千上万,靠人工一条条翻看已经来不及。机器学习就是让计算机从历史数据里自己总结规律,再用学到的规律去判断新数据。
🌸 1. 先认识今天的数据集:150 朵鸢尾花(Iris)
电脑不认识照片,它把每朵花记成一行数字:
点击上方不同的鸢尾花品种,看花瓣大小和 iris.csv 数据行如何联动变化!
它的花瓣特别小(花瓣长仅 1.4cm,宽仅 0.2cm),一眼就能跟另外两种花区分开!切换成变色鸢尾或维吉尼亚鸢尾试试,看看花朵怎么变大!
🧠 2. 机器学习的 3 种学习方式(点击切换,看小花如何被学习)
监督学习 (Supervised Learning)
利用含有标签(标准答案)的数据集对模型进行训练,找出“特征 → 品种”的规律,再用测试集评估模型的预测准不准。
为什么要用 Spark MLlib?它由哪几部分组成?
传统的单机算法装不下海量数据,而上一代大数据工具 MapReduce 每次计算都要反复读写硬盘。Spark MLlib 把数据留在分布式内存里算,速度暴涨!
🏎️ 1. 三轮迭代计算大比拼:单机 vs MapReduce vs Spark MLlib
机器学习往往要把同一份海量数据反复算很多轮(迭代)。点击按钮,看看三种架构在第 1 轮、第 2 轮、第 3 轮发生了什么:
🧩 2. Spark MLlib 的五大组成模块(点击蓝框查看通俗解释)
算法工具 (Algorithms)
任务三的
KMeans(聚类)和任务四的 DecisionTreeClassifier(分类)都属于这一类!
Spark MLlib 的基本数据类型实验室
机器学习算法不直接算“花朵图片”或“散乱的表格”,它需要把数据装进 3 种标准数学容器:本地向量、本地矩阵、标注点 (LabeledPoint)。
0 与数值,实时看存储变化:
“老老实实把每一个位置的值都存下来,哪怕是 0 也不跳过。”
“0 太多了懒得存!只记 总长度 + 非零在哪(索引) + 非零是多少。”
Spark MLlib 的 7 步运行流程
从读入原始文件到训练好模型并打分评估,Spark MLlib 遵循清晰统一的 7 步流水线。点击任意节点或点击“自动播放”,看懂 randomSplit、fit、transform 和 evaluate!
transform(测试集) = 用学好的公式闭卷考试答题!
🔄 1. 交互式 7 步流程图
使用 Spark 提供的方法(如 spark.read.csv())从文件读取数据,创建结构化的 DataFrame 二维表。
data = spark.read.csv("iris.csv", inferSchema=True, header=False)
🎲 2. 实验:理解 randomSplit(weights, seed)
把 150 朵鸢尾花按比例分成两筐:拖动滑块改变比例,观察 seed 随机种子的作用!
📝 3. 实验:理解模型评估器 (Evaluator)
点击下面测试集里的“模型预测值”,模拟模型答错几道题,看准确率怎么变:
metricName:
| 样本 | 真实标签 label | 模型预测 prediction(点击切换) | 是否答对 |
|---|
labelCol 默认为 "label",predictionCol 默认为 "prediction",metricName 默认为 "f1",也可设为 "accuracy"。
📊 4. 拓展视角:真实科研论文里的“模型评估成绩单”
第 7 步学的指标(Acc / P / R / F1),在实际科研与工程中就长这样所有测试样本中,模型一共猜对了百分之多少。箭头 ↑ 表示数值越高越好(例如最后一行改进后达到 86.65%)。
实战演练:逐行加载 iris.csv 创建 DataFrame
终于来到动手环节!左边是教材里的 IrisFeature.py 代码,右边是数据从磁盘文本变成整齐表格的全过程。强烈推荐切换参数开关亲自“踩坑”试错!
read.csv(..., inferSchema=True, header=False) 和 toDF(...) 这两句,你就完成了任务一全部编码!
💻 单步调试实验室:IrisFeature.py
零基础随堂互动闯关(5 道必会核心题)
检验刚才动画里学到的 5 个核心概念!点击选项立即出动画解析,看看自己能拿几分!