垃圾邮件识别实战：朴素贝叶斯与SVM的Python工程化指南

简介：基于朴素贝叶斯与支持向量机（SVM）两种经典分类算法，这套垃圾邮件识别系统面向机器学习入门与进阶学习者，可用于文本分类、邮件过滤等自然语言处理场景。工程包含数据模块、模型构建与附加功能三大部分，从邮件样本的词频统计、特征提取到模型训练与预测均有完整Python源码实现，并附带训练好的pkl模型文件，便于直接调用与二次开发。运行环境需Python 3.6及以上，可通过Anaconda在Windows下配置，也可在Linux虚拟机中运行，适合作为课程设计或算法对比实验的起点。压缩包内共2000个文件，除5个py核心脚本外，还包含大量jpg样本图片、txt说明文档及数字编号的数据文件，整体约28.64MB，目录结构层次清晰。目前已有1357人学习下载，适合正在学习朴素贝叶斯、SVM分类算法原理，或希望快速搭建邮件分类实验项目的读者参考借鉴。

1. 垃圾邮件识别系统：机器学习之路的第一站

每天早晨打开邮箱，最先看到的是未读邮件、中奖彩票和促销广告——这就是垃圾邮件识别系统要拦截的样本。用机器学习做这个分类，朴素贝叶斯和SVM是绕不开的两个名字：前者靠概率规则，朴素但几乎不会让你失望；后者靠间隔最大化，在中小规模样本上更可靠。这篇笔记会以Python工程为主线，把数据处理、文本向量化、模型训练、参数调整和踩坑经验一次性讲透。适合刚入门机器学习、想做第一个完整分类项目的同学，也适合需要快速搭建可演示的邮件过滤demo的从业者。

2. 把邮件变成数值特征：数据清洗与向量化的关键步骤

2.1 训练集从哪里来：三种常见做法

垃圾邮件识别的第一步不是写模型，而是搞定标签数据。公开数据集如SpamAssassin、Enron邮件数据集是常见的免费语料，已经分好spam和ham两类。如果是在公司内部做demo或者自己学习，可以创建一个专用收件箱，连续收集两周正常邮件，再把垃圾邮件文件夹也导出，按发件人和日期去重后各取一部分。注意不要直接抓取公司真实邮件当训练集，隐私和合规是红线。

我更推荐“规则打底、人工复核”：先按发件人域名和标题关键词做一个粗标签，再人工抽查几百封修正错标。这个步骤在机器学习里的数据处理流程中叫数据标注，听着简单，实际上决定了模型上限。标签错了，后面调参再勤也救不回来。文本分类项目里标签只有两类，垃圾=1、正常=0，建议把数据存成CSV，两列分别叫label和text，之后所有脚本都从这个文件读。

2.2 清洗与分词：正则先上，中文分词后补

邮件正文里有大量对分类没帮助的噪声：HTML标签、URL、数字、乱码符号。数据清洗的目的不是把文本变漂亮，而是降低特征的噪声。英文邮件直接按空白分词就行，中文邮件则需要分词工具，我用jieba，一是快，二是词典和自定义词表都方便。下面的函数把两件事合在一起：

import re import jieba def clean_text(raw: str) -> str: # 去掉 HTML 标签，比如 <div>、<a href=...> text = re.sub(r'<[^>]+>', ' ', raw) # 把 URL 整体换成空格，避免长链接变成特征碎片 text = re.sub(r'https?://\S+', ' ', text) # 邮件里的数字和 ID 类信息没有判别力，统一换空格 text = re.sub(r'\d+', ' ', text) return text.lower() def tokenize(text: str) -> list: text = clean_text(text) # 若含中文则用 jieba 分词；纯英文直接切空白 if re.search(r'[\u4e00-\u9fa5]', text): return jieba.lcut(text) return text.split()

逻辑说明：clean_text负责把噪声替换成空格，而不是直接删除，这样能避免“aaabbb”这种词被错误拼接。tokenize先做清洗，再按语言分流分词。参数说明：这里没有全量清理标点，是因为TfidfVectorizer自带的token_pattern在英文环境下会过滤标点，中文场景传入的是已分词的list，分词器已经把标点单独拆开，不构成干扰。

2.3 向量化：为什么垃圾邮件场景更推荐 TF-IDF

分词后的词列表还不能直接喂给朴素贝叶斯或SVM，需要变成等长的数值特征向量。CountVectorizer统计每个词出现的次数，简单直接；TF-IDF则是对词频做加权：某个词在单封邮件里出现得多、但在整个语料里很少见，它就更有区分度。垃圾邮件里“发票”“点击”“优惠”这类词的IDF权重会被抬起来，而“你好”“谢谢”这类客套词的权重会被压低，所以这个场景我一般直接用TfidfVectorizer。

from sklearn.feature_extraction.text import TfidfVectorizer vectorizer = TfidfVectorizer( tokenizer=tokenize, max_features=8000, min_df=2, ngram_range=(1, 2), sublinear_tf=True ) X = vectorizer.fit_transform(corpus) # corpus 是原始邮件文本列表

逻辑说明：tokenizer传入我们自定义的tokenize函数，fit_transform会在训练集上完成分词、统计词表、计算IDF并返回稀疏矩阵。参数说明：max_features=8000只保留词频最高的8000个特征，防止维度爆炸；min_df=2丢掉只在1封邮件里出现的词，这类词多半是拼写错误或私人昵称；ngram_range=(1,2)同时考虑单词和双词组合，“免费”和“免费 领取”都会被建模；sublinear_tf=True用1+log(tf)替换原始词频，压缩高频词的绝对数量优势，实测对分类结果有小幅提升。

提示：TfidfVectorizer的tokenizer参数接收自定义函数时，它会在内部执行分词；后面用joblib持久化模型时，tokenize必须是模块级可导入函数，不能是lambda或某个函数内部定义的闭包，否则加载时会报找不到函数。

2.4 切分数据集：注意不要混入同一主题的邮件

把训练集和测试集混在一起是新手最容易忽略的问题。比如同一个营销活动发给几十个人的邮件内容几乎一样，如果一部分进了训练集、一部分进了测试集，模型看起来指标很好，一到线上马上失效。常见做法是先用随机切分跑通流程：from sklearn.model_selection import train_test_split，然后X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)。如果数据带时间戳，就按时间先后切，拿前80%的时间段当训练集，后20%当测试集。

有一个更隐蔽的坑：同一发件人的新闻简报可能会在相似模板下有几十封变体。遇到这种情况，我习惯按发件人域名做分组切分，用GroupShuffleSplit保证同一域名不会同时出现在训练集和测试集里。第一次跑demo不用太纠结，但考试和面试常考这一点：不是取数据简单，而是切分姿势和数据处理本身决定模型能不能泛化。

3. 朴素贝叶斯与 SVM：两个文本分类模型的原理与调参

3.1 朴素贝叶斯为什么在垃圾邮件识别里一直没被淘汰

凡讲朴素贝叶斯的案例，十有八九以垃圾邮件过滤开篇，因为它把概率推断落得最直观。朴素贝叶斯把垃圾邮件识别看成概率推断：已知一封邮件里出现了“发票”“链接”这些词，它属于垃圾邮件的概率是多少。贝叶斯公式把它拆成先验概率和似然概率的乘积：P(spam|w1,w2…)正比于P(spam)乘以P(w1|spam)乘以P(w2|spam)再乘下去。其中“朴素”强调的是条件独立假设，认为各词之间互不影响。这个假设在真实文本里显然不成立，“免费”和“领取”经常同时出现，但实践反复证明，这种简化在垃圾邮件场景下损失很小，反而因为参数少，小样本也能学得不错。

sklearn里的MultinomialNB专门面向词频或TF-IDF这类特征，计算的是多项式分布。代码非常短：

from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import classification_report nb_model = MultinomialNB(alpha=0.5) nb_model.fit(X_train, y_train) print(classification_report(y_test, nb_model.predict(X_test)))

逻辑说明：fit过程计算每个类别下各特征的条件概率，predict时按贝叶斯后验概率取最大值。参数说明：alpha是拉普拉斯平滑系数，作用是为训练集中没出现过的词兜底，防止概率算成0；alpha偏小会让模型对罕见词更敏感，偏大则会让概率分布趋于平缓，我一般从0.5起步，再拿网格搜索缩小范围。另外，MultinomialNB最贴合整数词频特征，但喂TF-IDF这种非负实数特征也常用；如果发现概率输出异常，就改成CountVectorizer或对TF-IDF矩阵做舍入对比一轮，不要默认前面那套特征一定是对的。

3.2 SVM 的核函数与参数：线性核是第一选择

SVM的思路是在特征空间里找一个最大间隔超平面，让两类样本离分界线尽可能远。垃圾邮件特征是高维稀疏的，样本量从几千到几十万不定。高维稀疏场景下，线性SVM通常已经够用，因为线性核没有额外参数，训练也快；RBF核虽然能拟合非线性边界，但文本特征经过TF-IDF后本身就落在数千维空间里，线性可分程度往往比想象中好很多。SVM核函数与参数的影响，在很多教材里被拿手写数字分类这样的例子反复强调，换核、换C，效果天差地别，在垃圾邮件任务里同样成立。

from sklearn.svm import SVC svm_model = SVC( kernel='linear', # 文本分类首选线性核 C=1.0, # 误分类惩罚系数 class_weight='balanced', # 自动补偿类别不平衡 probability=True # 开启 predict_proba，便于调阈值 ) svm_model.fit(X_train, y_train)

逻辑说明：C越大，模型越不愿意容忍训练集上的误分类，边界越复杂，容易过拟合；C越小，模型越追求间隔大，可能欠拟合。class_weight='balanced'会按类别频率反向加权，是垃圾邮件场景里的常用配置。probability=True会额外拟合Platt缩放，让SVM输出概率值，但会拖慢训练速度；如果只需要排序不需要概率，建议去掉。

3.3 用网格搜索把 alpha 和 C 定下来

手动试参的流程很难受：每换一组参数都要切数据、训练、看指标、记录，最后凭感觉挑一组，这几乎就是玄学。更可控的做法是把参数范围交给GridSearchCV，让它用交叉验证统一打分。下面的代码把向量器和分类器一起放进搜索管道：

from sklearn.pipeline import Pipeline from sklearn.model_selection import GridSearchCV pipe = Pipeline([ ('vec', TfidfVectorizer(tokenizer=tokenize, max_features=8000, min_df=2, sublinear_tf=True)), ('clf', MultinomialNB()) ]) param_grid = [ {'clf': [MultinomialNB()], 'clf__alpha': [0.1, 0.5, 1.0]}, {'clf': [SVC(kernel='linear', class_weight='balanced')], 'clf__C': [0.5, 1.0, 2.0]} ] search = GridSearchCV(pipe, param_grid, cv=5, scoring='f1', n_jobs=-1) search.fit(X_train, y_train) print(search.best_params_)

逻辑说明：管道保证每次交叉验证都在每一折上重新fit向量器，不会把验证集的信息泄漏到训练特征里。param_grid用列表分别搜索两个分类器，搜索空间不大。scoring='f1'在垃圾邮件这种正类占比低的场景里，比accuracy更诚实。我在实际项目里通常先把词表长度、ngram固定住，只搜alpha和C，搜索维度太多不仅慢，还会让最优组合变得难解释。

3.4 两个模型的取舍：一张表看清边界

我的取舍倾向：第一版demo用朴素贝叶斯跑通链路，确保数据处理没有问题；正式上线前用线性SVM在同样特征上对比一轮F1和预测时间，谁赢用谁。SVM训练慢通常发生在样本量超过几万且特征数上万时，工程里可以用SGDClassifier(loss='hinge')近似线性SVM，但这就偏离了标题里SVM的原意，我会在工程章节里说一句“这是折中方案”，不拿它冒充SVM交作业。

4. 从训练到预测：一套可以直接套用的 Python 工程架子

4.1 工程目录长什么样

标题里说“含Python工程全源码”，我这里给出一套我常用的最小工程结构，照着建目录就能跑：

spam_filter/ ├── data/ # 原始训练数据与标签 ├── models/ # 训练好的模型文件 ├── src/ │ ├── preprocess.py # 清洗与分词 │ ├── pipeline.py # 组装完整模型管道 │ ├── train.py # 训练入口 │ └── predict.py # 预测入口 └── requirements.txt

逻辑说明：src下的脚本只依赖标准库和sklearn、jieba、pandas，models目录下次训练前清空，data目录放带label和text两列的CSV。requirements.txt里固定版本号，尤其是scikit-learn和joblib。这个目录看着简单，但要保证任何人拿到机器都能在三分钟内复现，靠的就是文件职责单一。

4.2 用 Pipeline 打包整个流程，杜绝“特征不一致”

很多翻车现场长这样：训练时手动保存了vectorizer和模型两个文件，预测时却只加载了模型，忘加载vectorizer，或者加载了另一个版本，结果特征维度对不上。把向量器和分类器装进同一个Pipeline再dump，就能避免这个麻烦：

from sklearn.pipeline import Pipeline from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.svm import SVC from preprocess import tokenize model = Pipeline([ ('vec', TfidfVectorizer( tokenizer=tokenize, max_features=8000, min_df=2, ngram_range=(1, 2), sublinear_tf=True )), ('clf', SVC(kernel='linear', C=1.0, class_weight='balanced', probability=True)) ])

逻辑说明：fit时Pipeline先对原始文本调用vec.fit_transform，再把稀疏矩阵交给clf.fit；predict时vec直接用transform，保证测试文本经过的词表与训练时完全一致。参数说明：这里特意把tokenize从preprocess模块导入，让它可以被joblib序列化。这个封装是后面所有避坑讨论的前提。

4.3 train.py 骨架：训练、评估、存档一气呵成

import joblib import pandas as pd from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report from pipeline import model # 上一节构建的完整 Pipeline def main(): # 建议在项目根目录执行：python src/train.py df = pd.read_csv('data/spam_dataset.csv') X_train, X_test, y_train, y_test = train_test_split( df['text'], df['label'], test_size=0.2, random_state=42 ) model.fit(X_train, y_train) # 向量器 + 分类器一起训练 report = classification_report( y_test, model.predict(X_test), output_dict=True ) print(report) joblib.dump(model, 'models/spam_model.pkl') joblib.dump({ 'params': model.get_params(), 'f1': report['weighted avg']['f1-score'] }, 'models/model_meta.pkl') if __name__ == '__main__': main()

逻辑说明：这段骨架把训练、指标打印、模型存档放在一个入口里，跑一次生成一个成果。参数说明：test_size=0.2是常规比例，数据量很大时可把验证集缩到0.1；random_state固定住，便于复现。我把模型的超参和评估指标一起存成元信息文件，后面来了新数据要对比时，才知道当前线上跑的是哪一版。实际工程中train.py还会接收一个命令行参数指定数据集路径，方便换数据重训。

4.4 predict.py：新邮件进来怎么判断

import joblib # 建议在项目根目录执行：python src/predict.py model = joblib.load('models/spam_model.pkl') def predict_email(text: str) -> dict: # SVC 开了 probability=True，这里才能拿到概率 proba = model.predict_proba([text])[0] label = model.predict([text])[0] return {'label': int(label), 'spam_prob': float(proba[1])} if __name__ == '__main__': sample = '恭喜您获得积分，点击链接立即兑换，数量有限！' print(predict_email(sample))

逻辑说明：predict_proba返回形状为(1,2)的数组，第0列是正常概率，第1列是垃圾概率，所以取proba[1]。后续如果要调阈值，只改这里，不改训练代码。注意SVC必须用probability=True，否则这步直接报错。对朴素贝叶斯模型同样适用，MultinomialNB一直自带predict_proba。

4.5 模型持久化：joblib 比 pickle 更适合含大数组的对象

sklearn模型内部有大量numpy数组，用pickle几乎也能存，但joblib对大数组的分块序列化效率更高，加载也更快。我现在默认用joblib.dump和joblib.load。训练好的Pipeline里已经有词表、IDF权重、分类器系数，一个文件就是一个可独立部署的最小模型。跨Python大版本迁移时，建议在同版本环境内dump和load，稳妥的做法是导出模型参数读出来核对一遍特征数，再上线预测。真要部署到服务端，可以再做ONNX或mlflow的导出，demo阶段joblib足够。

5. 垃圾邮件识别实战避坑指南：掉进去的五个坑

这五个坑是我把朴素贝叶斯加SVM的垃圾邮件识别方案落地时反复踩过的，有的靠看源码定位，有的靠熬夜试错。写在这里，希望读者不用再吃一遍后悔药。

5.1 类别不平衡：准确率95%，垃圾邮件却一封都没拦住

现象：训练完一看accuracy有95%以上，翻到classification_report才发现，spam那一行的recall是0，模型把所有邮件都判成了正常邮件。

原因：正常邮件占绝大多数，模型只要全预测为0就能拿高准确率，朴素贝叶斯和SVM默认都在优化整体准确率，不会主动照顾少数类。

解决：给分类器加class_weight='balanced'，让少数类的误分类代价更高；如果效果还不够，把预测阈值从0.5往下调，比如pred = model.predict_proba(X)[:,1] > 0.3。这一步通常能立刻让召回率抬起来，代价是正常邮件被误拦的比例升高，需要业务上权衡。

5.2 中文分词太慢，每次重跑都要等半天

现象：代码跑通后，每调一次参就要把全部中文邮件重新分词一遍，训练只花几秒，分词却要几分钟。

原因：fit_transform会对整个语料调用tokenizer，而清洗和jieba分词是纯CPU操作，做一次就重复一次。

解决：把预处理结果缓存。先跑一遍，把每封邮件的分词结果以空格分隔的文本存成CSV新列，实验调参时向量器的tokenizer换成lambda s: s.split()，相当于只切空格，这样后续实验都跳过jieba，时间能省一大半。等到模型定参后，把train.py里的tokenizer换回模块级可导入的tokenize函数重新训练一次再存档，不然joblib加载时会因lambda无法反序列化而报错。

5.3 预测时维度不匹配：训练好好的，上线就报错

现象：测试脚本里加载模型后，单条邮件predict时报数组维度不一致，或者直接打出feature names mismatch的警告。

原因：最常见的是训练时用了fit_transform，预测时却重新new了一个vectorizer去transform原始文本，词表是空的，特征对不上。

解决：不要单独保存vectorizer和分类器，只保存完整的Pipeline，预测时统一model.predict(text)。我在工程里还习惯写一个冒烟测试：训练完立刻从测试集里抽1条，走一遍predict接口，返回标签后才把模型文件归档。

5.4 alpha、C 这种超参直接按默认值用到地老天荒

现象：模型F1一直卡在0.88上不去，以为是特征不够，其实换一组参数就涨了1到2个点。

原因：sklearn默认值面向的是通用场景，不是邮件文本分布。MultinomialNB默认alpha=1.0，线性SVC默认C=1.0，在本文数据集上不一定最优。

解决：用第3章的GridSearchCV跑一轮，搜索范围锁定在alpha的0.1、0.5、1.0和C的0.5、1.0、2.0。数据量大、不想跑完整搜索时，手动按alpha递减、C递增各试一轮，通常也能摸到甜区。比参数更重要的是记录，每次实验把模型参数、特征参数、评测指标写进一行TSV，省得几十天后一脸懵。

5.5 拿到“全源码”不等于直接能跑：环境和数据才是关键

现象：把源码下载下来、装上依赖，一跑发现数据格式、字段名、分词版本都对不上，或者代码是Python 3.8写的、本机是3.11，字符串处理细节变了。

原因：文本分类工程里模型部分被sklearn封装得很简单，真正耗时的是数据准备和特征验证。任何一个“现成工程”都只搭了一半，另一半在自己手里。

解决：落地时先把数据文件整理成统一格式，用脚本校验字段和标签分布，再固定Python版本与核心依赖版本，至少锁住scikit-learn、jieba、joblib、pandas。环境复现这件事在机器学习里属于数据处理的一部分，却经常被忽略。我一般会在README里写三行命令：python -m venv .venv、pip install -r requirements.txt、python src/train.py。

6. 验收不是只看准确率：混淆矩阵、阈值与灰度上线

6.1 用混淆矩阵替代准确率

垃圾邮件识别本质上是机器学习检测任务，检测得好不好不看accuracy，看四格混淆矩阵。classification_report里的precision、recall再亮眼，也不如一个四格混淆矩阵直观。正常邮件判对、垃圾邮件判对、误杀、漏网各有多少，一眼就清楚。比如下面这张示例矩阵：实际垃圾邮件2000封里拦住1985封，实际正常邮件2000封里误杀20封，一眼能看出漏网是15，误杀是20。

对垃圾邮件识别来说，漏掉一封垃圾邮件的代价远大于误杀一封，所以我在项目验收时重点看垃圾邮件召回率，而不是整体accuracy。

6.2 阈值移动：宁可多拦，不要漏过

用朴素贝叶斯或SVC的predict_proba，可以得到每条邮件的垃圾概率，默认阈值是0.5。把阈值降到0.3，会牺牲少量正常邮件，换回更多垃圾邮件召回；阈值调到0.7则反过来，适合那些从不看垃圾箱的用户。这个参数对业务的影响，往往比模型选型还大。实际开发里我习惯把阈值写进配置文件，让运营能在界面里调，而不是每次改代码重新部署。

6.3 上线前先离线回放，再灰度放量

我踩过的教训是：直接拿新模型替换线上模型，结果一天误拦了十几封正常邮件，被同事投诉。后来养成一个习惯：更新前先用历史数据批量跑一遍新旧模型，算出各自F1和误拦数量，确认不劣化再灰度1%流量观察三天。模型不是训练完就结束，验证和上线链路本身就是工程的一部分。希望帮到你。

本文还有配套的精品资源，点击获取