第 1 站 · 任务二 特征处理全景 & TF-IDF 特征提取
为什么要“特征处理”?先学会从文本提炼 TF-IDF 重点词
机器只认规整的数字向量,不认原始大段文字或杂乱表格。特征处理分为三大板块:特征提取、特征转换、特征选择,是提高后续聚类与分类效果的关键!
💡 零基础秒懂类比
食材进锅前必须加工:从一大筐文章里提炼核心关键词叫特征提取;把大小不均的列调齐、把文字编成号叫特征转换;把无关的杂质挑出去叫特征选择!
🧭 1. Spark MLlib 特征处理三大板块(点击卡片查看常用算法)
① 特征提取 (Extraction)
从文本等原始非结构化数据中抽取可数、可比较的数字特征。
• TF-IDF (HashingTF + IDF)
• Word2Vec
• Word2Vec
② 特征转换 (Transformation)
把已有特征拆分、二值化、编码、归一化或降维成更适合算法的形式。
• Tokenizer / Binarizer / StringIndexer
• Normalizer / MinMax / Standard / PCA / VectorAssembler
• Normalizer / MinMax / Standard / PCA / VectorAssembler
③ 特征选择 (Selection)
淘汰多余或无用维度,挑选最相关特征子集以提升模型性能、降低计算量。
• ChiSqSelector (卡方检验)
• VectorSlicer (下标切片)
• VectorSlicer (下标切片)
📌 本节课学习节奏:第 1~2 站攻克特征提取(TF-IDF + Word2Vec) → 第 3~4 站实验8 种特征转换 → 第 5 站学会特征选择并跑通完整
IrisFeature.py 特征流水线!
📊 2. TF-IDF 词频-逆文档频率:公式拆解 + 例 5-1 实战
① 计算词频 (TF)
词频 = 某个词语在文档中出现次数文档的总词语数
衡量这个词“在本篇出现得多不多”
② 计算逆文档频率 (IDF)
IDF = log(语料库文档总数 (N)含该词的文档数 + 1)
衡量这个词“在所有文档里有多稀有”
③ 相乘得最终权重 (TF-IDF)
TF-IDF = TF × IDF
本篇常见 + 别处罕见 = 核心关键词!
👆 点击下面任意词语标签增加词频(+1 次),感受普通口水词与专属稀有词的得分差异:
🎛️ 实验调参:观察
HashingTF 与 IDF 参数效果minDocFreq=
💻 【例 5-1】点击代码步骤查看 Spark 内部转换细节:
# 1. 准备 3 条文本并按空格切分成 words 列
df = spark.createDataFrame(data, ["labels", "text"])
df = df.withColumn("words", split(df.text, " "))
# 2. HashingTF(默认 262144 维,本例设为 2000):把词映射成桶号统计词频
hashingTF = HashingTF(inputCol="words", outputCol="rawFeatures", numFeatures=2000)
featurizedData = hashingTF.transform(df)
# 3. IDF:先 fit() 统计全语料文档频率,再 transform() 计算 TF-IDF
idf = IDF(inputCol="rawFeatures", outputCol="features")
rescaledData = idf.fit(featurizedData).transform(featurizedData)
rescaledData.select("labels", "features").show(truncate=False)
第 2 站 · 任务二 Word2Vec 词向量(神经网络语义提取)
不只数词频,让算法读懂“词语的意思和关系”
TF-IDF 只能看出词多不多,却不懂“猫”和“狗”都是宠物。Word2Vec 通过滑动窗口看上下文,把每个词变成一个稠密低维数字向量,语义相近的词向量位置也挨在一起!
💡 零基础秒懂类比
人怎么猜一个生词的意思?看它前后左右常跟谁一起出现!比如常跟“喝”“热”“杯子”一起出现的词,多半跟“茶 / 咖啡”很像。
🪟 1. 滑动上下文窗口演示(理解 windowSize 参数怎么学词义)
拖动滑块切换当前“中心目标词”位置:
🧭 2. Word2Vec 语义空间地图 & 向量加减法
📐 神奇的语义加减法:
点击左图任何词语看坐标;或点击右上角“✨ 动画演示”,看 男人→女人 的性别方向差向量如何精确把 国王 平移到 王后!
点击左图任何词语看坐标;或点击右上角“✨ 动画演示”,看 男人→女人 的性别方向差向量如何精确把 国王 平移到 王后!
⚖️ Word2Vec vs TF-IDF 总结对比:
• TF-IDF:词频 × 稀有度,产出几千维的超长稀疏向量(只统计字面出现);
• Word2Vec:神经网络学上下文,产出固定几十/几百维稠密向量(能捕捉同义词与语义关系)。
• TF-IDF:词频 × 稀有度,产出几千维的超长稀疏向量(只统计字面出现);
• Word2Vec:神经网络学上下文,产出固定几十/几百维稠密向量(能捕捉同义词与语义关系)。
⚙️ 3. 【例 5-2】Word2Vec 核心参数实验室(minCount 与 vectorSize)
最小出现次数门槛
minCount: 0小提示:Spark MLlib 默认
minCount=5,但本例只有 3 句话,如果设太大所有词都会被忽略!所以例 5-2 必须手动设 minCount=0。seq = ["I heard about Spark and I love Spark".split(" "), ...]
df = spark.createDataFrame([(s,) for s in seq], ["text"])
word2Vec = Word2Vec(inputCol="text", outputCol="result", vectorSize=3, minCount=0)
model = word2Vec.fit(df)
result = model.transform(df)
result.select("text", "result").show(truncate=False)
🖥️ PyCharm 控制台运行输出(例 5-2):
第 3 站 · 任务二 特征转换(上):拆词 / 二值化 / 字符编码 / 拼装向量
4 大基础转换工具:从“句子和汉字标签”到“算法识别的纯数字”
这一站通过真实实验搞懂 Tokenizer、Binarizer、StringIndexer 和 VectorAssembler 各自的职责以及新手最常踩的类型/脏数据坑!
🔑 本站必记两句话
①
②
Binarizer 要求输入列先转为 double;②
StringIndexer 给出的 0/1/2 只是身份编号,不代表大小等级!
✂️ 1. Tokenizer(文本分词转小写)
tokenizer = Tokenizer(inputCol="sentence", outputCol="words")
wordsData = tokenizer.transform(sentenceDataFrame)
# 规则:按空白符切片,并自动把所有大写字母变成小写!
🚪 2. 【例 5-3】Binarizer(二值化开关 & .cast("double") 排雷)
拖动阈值门槛
threshold: 30.0| name | age | 判断条件 | 结果 bin_age |
|---|
data = spark.createDataFrame([('Bob',21), ('Mary',18), ('William',35)], ["name", "age"])
data = data.withColumn("age", col("age").cast("double"))
binarizer = Binarizer(inputCol="age", outputCol="bin_age", threshold=30.0)
binarizer.transform(data).show()
🏷️ 3. 【例 5-4】StringIndexer(字符→整数编号 & 未见过新词处理)
排序规则
stringOrderType:
未见词 handleInvalid:
| 序号 id | 原始字符串类别 | 编码结果 label (整数) |
|---|
📊 内部频次字典(先
.fit() 排好映射表):
🚫 考试必判对错点:
0, 1, 2, 3 仅仅表示不同字符串对应的类别代号,绝对不代表谁比谁更大、更高等!
📦 4. VectorAssembler(多列横向拼成向量列 & 缺失值处理)
第 4 站 · 任务二 特征转换(下):缩放三兄弟(例 5-5)与 PCA 降维
消除“单位量纲差距” + 把高维数据压缩成紧凑主成分
这一站搞懂 Normalizer、MinMaxScaler、StandardScaler 三种缩放的本质区别,并用“手电筒找影子”彻底看透 PCA 主成分降维!
💡 为什么要做特征缩放?
年龄是 20~50,年薪是 50000~200000!如果不先拉到同一量级,算法算距离时就会只盯着年薪看,完全忽略年龄变化!
📐 1. Normalizer 互动几何实验室(按“每一行”各自缩放长度)
自定义输入二维向量
[x, y]:
💡 为什么只有
因为它按单行独立算长度再归一化,根本不依赖别的行;下面另外两兄弟必须靠
Normalizer 不写 .fit()?因为它按单行独立算长度再归一化,根本不依赖别的行;下面另外两兄弟必须靠
.fit(df) 先看全列才能算!
📊 2. 【例 5-5】MinMaxScaler vs StandardScaler(按“每一列”统计归一化)
设置
MinMaxScaler 目标区间:
data = [(0, Vectors.dense([1.0, 2.0, 3.0])), (1, [4.0, 5.0, 6.0]), (2, [7.0, 8.0, 9.0])]
norm_data = Normalizer(...).transform(df)
minmax_scaler = MinMaxScaler(inputCol="features", outputCol="minmax_scaled_features")
minmax_data = minmax_scaler.fit(df).transform(df)
standard_scaler = StandardScaler(withStd=True, withMean=False, inputCol="features", ...)
stand_data = standard_scaler.fit(df).transform(df)
🔦 3. 主成分分析(PCA):降维手电筒投影 + 鸢尾花信息保留度
旋转角:110°
影子保留的信息量(方差占比):
--%
📊 为什么任务二选择
PCA(k=2) 降到 2 维?
📌 高频易错判断:
• PCA 不是“简单删除某两列、原样拷贝另外两列”,而是把全部 4 列特征做线性组合投影成新的 2 个主成分!
• 目标:降低维度的同时尽量保留原始数据中的关键信息。
• PCA 不是“简单删除某两列、原样拷贝另外两列”,而是把全部 4 列特征做线性组合投影成新的 2 个主成分!
• 目标:降低维度的同时尽量保留原始数据中的关键信息。
第 5 站 · 任务二 特征选择(例 5-6)与鸢尾花实战流水线
精挑细选有用特征,再在 IrisFeature.py 里完整跑通!
先通过【例 5-6】看懂怎么从 692 维稀疏特征里筛出最有用的特征,再亲手把前面学到的 VectorAssembler、PCA 和 StringIndexer 串成任务二实战代码!
🔗 前后衔接提醒
任务二产出的
indexed 表含 pcaFeatures 与 label_index,将直接作为下两节课(任务三聚类、任务四分类)的输入!
✂️ 1. 【例 5-6】特征选择:ChiSqSelector vs VectorSlicer
选择保留最相关的特征数
numTopFeatures:
data = spark.read.format("libsvm").load("file:///.../sample_libsvm_data.txt")
selector = ChiSqSelector(numTopFeatures=2, featuresCol="features", outputCol="selectedFeatures", labelCol="label")
result = selector.fit(data).transform(data)
result.select("label", "selectedFeatures").show(truncate=False)
🖥️ 从 692 维筛选成 2 维后的输出(例 5-6):
🏭 2. 任务二完整实战:IrisFeature.py 10 步特征流水线
# 衔接任务一:已读取好的 5 列 DataFrame
iris = data.toDF("sepal_length", "sepal_width", "petal_length", "petal_width", "label")
# 步骤 1~3:Assembler 直接 transform 合并 4 列
assembler = VectorAssembler(inputCols=["sepal_length", "sepal_width", "petal_length", "petal_width"], outputCol="features")
data_with_features = assembler.transform(iris).select(col("features"), col("label"))
data_with_features.show()
# 步骤 4~7:PCA 必须先 .fit() 再 .transform()
pca = PCA(k=2, inputCol="features", outputCol="pcaFeatures")
model = pca.fit(data_with_features)
iris_pca = model.transform(data_with_features).select(col("pcaFeatures"), col("label"))
iris_pca.show(truncate=False)
# 步骤 8~10:StringIndexer 对标签列编码为 label_index
label_indexer = StringIndexer(inputCol="label", outputCol="label_index")
indexed = label_indexer.fit(iris_pca).transform(iris_pca)
indexed.show()
🖥️ PyCharm 运行结果:
🚑 3. 上机实验常见报错排雷诊所
❌ 报错 1:忘记调用
写成
.fit()写成
pca.transform(...) 会报错!记住:PCA 和 StringIndexer 是评估器,必须先 .fit() 再 .transform()。
❌ 报错 2:把字符串
label 放进 VectorAssemblerVectorAssembler 只接数值/向量列!且 label 是标准答案不是测量特征,应交给 StringIndexer 单独处理。
❌ 报错 3:列名写错或拼写对不上
PCA 的 outputCol="pcaFeatures",下一步选择列 .select(col("pcaFeatures"), ...) 必须一字不差。
第 6 站 · 任务二 随堂互动闯关
任务二知识检验(10 道必会核心题)
覆盖 TF-IDF、Word2Vec、特征转换与特征选择所有高频概念与计算题,点击选项即时公布答案解析!
🏆 当前闯关进度
已答 0 / 10 题 · 正确 0 题