基于SVM的恶意URL检测：特征工程与在线识别实践

简介：机器学习检测恶意网址改进版源码项目，面向计算机科学、人工智能、大数据、数学、电子信息等专业正在准备课程设计、期末大作业或毕业设计的学生，也适合希望接触真实算法工程的初学者参考。代码经过严格调试可直接运行，完整覆盖数据预处理、特征提取、模型训练与检测评估等环节，并附带训练好的支持向量机模型、类别标签及测试数据，便于读者对照结果、理解内部原理。压缩包共十五个文件，包含三个核心脚本，分别处理程序入口、网络数据包解析与模型构建，另有七个文本说明或数据文件、模型文件、抓包样例、效果图及说明文档，整体大小十点八二兆字节，目录结构简洁，按功能模块划分清晰。目前已有六十一人学习下载，借助完整源代码、真实抓包样例与详尽的说明文档，可快速掌握基于机器学习检测恶意网址的改进思路，从数据准备到模型部署形成完整认知，有效节省自行摸索与环境调试的时间。

1. 恶意URL检测为什么需要机器学习，而不是黑名单

先看一个反直觉的事实：恶意URL的平均存活时间只有几十分钟，而传统黑名单从发现、审核到下发，通常需要数小时甚至数天。你拿到的这份改进版源码，解决的正是这个时间差问题——用SVM对URL的静态特征做分类，让程序在URL被访问前就判断它是否可疑。整个项目包含start.py入口脚本、pcap.py流量解析模块、model.py模型训练脚本，以及一份已经调好的模型文件SVM__n2_k80.pickle，数据侧用train/good和train/bad两个目录下的样本集完成分类训练。比较适合正在做网络安全方向课程设计或毕业设计的同学，也适合想了解"机器学习如何落地到安全检测"的从业者。本文会从特征工程的细节、SVM调参的思路、离线训练与在线检测的衔接这三个层面，把这个项目真正拆开讲透。

2. 特征工程：URL的哪部分信息对分类器是有意义的

拿到一个URL，第一步不是直接扔给模型，而是把它转成一组数值特征。SVM__n2_k80.pickle这个文件名里的n2暗示了训练时使用了二级特征组合，k80对应RBF核的参数gamma，这些都建立在特征已经向量化的前提之上。

2.1 静态特征的设计依据

恶意URL和正常URL在字符构成上存在统计差异。比如钓鱼网站常使用IP直连、很长的路径层级、大量数字与特殊字符；而主流网站的域名通常较短、字母占比高、路径结构简单。项目中的model.py会从原始URL里提取十几维特征，我梳理了其中最具区分度的六类：

这六类特征全部是词法层面（lexical）的，不需要发起网络请求、不需要解析DNS，提取成本极低。对start.py这种面向在线推理的入口来说，特征提取的时延直接决定了检测可以跑多快。

2.2 特征直方图与样本分布的核对方式

拿到train/good和train/bad两个目录之后，我一般会先做一步分布核对，而不是直接训练。因为SVM对特征尺度敏感，如果某一维特征的方差过大，会主导距离计算。

import os import re import math def entropy(url): """计算URL字符的信息熵，熵值越高说明字符越无序""" if not url: return 0.0 prob = [float(url.count(c)) / len(url) for c in set(url)] return -sum(p * math.log(p, 2) for p in prob) def parse_url_features(url): """从原始URL提取静态特征向量，返回list格式""" url = url.strip() length = len(url) digits = sum(c.isdigit() for c in url) special = sum(not c.isalnum() for c in url) paths = url.split('/') # 去掉空字符串，减少路径切分噪声 depth = len([p for p in paths if p]) - 1 is_ip = 1 if re.match(r"^\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}", url) else 0 return [length, digits / length, special / length, depth, is_ip, entropy(url)]

这段代码的核心在于把URL映射成六维向量。digits / length和special / length取的是占比而不是绝对值，这样做能避免长URL天然占优的问题；is_ip是二值特征，正则直接匹配URL开头的IPv4形态。路径深度单独计算，把域名部分剔除，避免把"深度"和"长度"两个特征做成强共线。

特征提取完成后，建议用直方图比对good和bad两个集合在该特征上的分布是否明显分离。比如特殊字符占比这一维，如果两个集合的分布几乎重合，说明这个特征在当前数据上信息量有限，可以考虑后面对维度做裁剪，防止带入噪声。

3. 模型训练与调参：SVM如何从样本里学出分类边界

特征向量化之后，训练部分相对标准，但有两个坑需要专门处理：一是正负样本比例是否均衡，二是核函数参数gamma和惩罚系数C的匹配问题。

3.1 样本准备与标签对齐

train/good和train/bad里每个文本文件对应一条URL记录，model.py的常见做法是按目录名打标签：good目录标0，bad目录标1。需要注意一点，读取文件时不要用os.listdir直接拼路径，因为文件名里可能存在换行符或隐藏字符，用strip()清洗URL再进特征提取函数，能避免脏数据污染向量。

3.2 网格搜索确定核参数

RBF核有两个关键参数：C控制对误分类的惩罚强度，gamma控制单个样本的影响半径。SVM__n2_k80.pickle里的k80表示gamma=1/80，这是在特征维度为若干维时比较稳妥的默认尺度。网格搜索的取值区间我建议这样设置：

from sklearn.svm import SVC from sklearn.model_selection import GridSearchCV from sklearn.preprocessing import StandardScaler import numpy as np # 特征矩阵X，标签y X = np.array(feature_matrix) y = np.array(labels) # 标准化：SVM对特征尺度敏感，必须做归一化 scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # C控制误分类容忍度，gamma控制核函数的影响半径 param_grid = [ {"C": [1, 10, 100], "gamma": [0.01, 0.05, 0.1, "scale"], "kernel": ["rbf"]} ] grid = GridSearchCV( SVC(probability=True, class_weight="balanced"), param_grid, cv=5, scoring="f1", n_jobs=-1 ) grid.fit(X_scaled, y) print(grid.best_params_)

这里用probability=True是为了后续start.py推理时能调用predict_proba拿到置信度，而不仅仅是二分类标签。class_weight="balanced"的作用是当good样本和bad样本数量不一致时，自动给少数类更高的误分类代价，防止模型学成"永远预测多数类"的偷懒分类器。网格搜索的评分用f1而不是accuracy，因为恶意URL检测场景下，FN（把恶意URL放过去）的代价远高于FP（误伤正常URL），f1能把精确率和召回率同时纳入考量。

标准化这一步很容易被忽略。SVM的间隔计算依赖样本点之间的距离，如果URL长度是几百、路径深度只有个位数，长度这一维就会在距离计算中占绝对主导，其他维度形同虚设。用StandardScaler把每一维变成零均值、单位方差之后，各维度对分类边界的贡献才相对公平。

3.3 交叉验证时的一个常见误用

做交叉验证时，标准化必须在每一折的训练集上fit、再transform验证集，而不能在整个数据集上fit完再切分。后者会造成数据泄露，验证分数虚高。严格的做法是用Pipeline把标准化和SVC串起来，再交给GridSearchCV：

from sklearn.pipeline import Pipeline pipe = Pipeline([ ("scaler", StandardScaler()), ("svm", SVC(probability=True, class_weight="balanced")) ]) grid = GridSearchCV(pipe, param_grid, cv=5, scoring="f1", n_jobs=-1) grid.fit(feature_matrix, labels)

4. 在线检测流程：从pcap解析到单条URL判定的完整链路

这个模块是项目里"改进版"价值最明显的地方。pcap.py负责从抓包文件里提取HTTP请求中的URL，start.py负责把这些URL逐条送进已训练的SVM模型做判定。整个流程可以拆成三个环节：流量还原、特征抽取、模型推理。

4.1 从pcap包中还原HTTP请求

test.pcap是测试用的抓包文件，pcap.py用dpkt库解析，匹配TCP载荷中的HTTP GET/POST请求，从中抽出完整的Host + Path作为URL。这里的关键是处理分片和流重组，常见做法是按键值维护TCP流缓冲区：

import dpkt def extract_urls_from_pcap(pcap_path): urls = [] tcp_streams = {} with open(pcap_path, "rb") as fp: pcap = dpkt.pcap.Reader(fp) for ts, buf in pcap: eth = dpkt.ethernet.Ethernet(buf) if eth.type != dpkt.ethernet.ETH_TYPE_IP: continue ip = eth.ip if ip.p != dpkt.ip.IP_PROTO_TCP: continue tcp = ip.tcp # 用四元组标识一条TCP流 key = (ip.src, tcp.sport, ip.dst, tcp.dport) seg = bytes(tcp.payload) tcp_streams.setdefault(key, b"") tcp_streams[key] += seg for key, stream in tcp_streams.items(): try: req = stream.decode("utf-8", errors="ignore").split("\r\n\r\n")[0] lines = req.split("\r\n") method_line = lines[0] parts = method_line.split(" ") if len(parts) < 2: continue method, path = parts[0], parts[1] host = "" for line in lines: if line.lower().startswith("host:"): host = line.split(":")[1].strip() if method in ("GET", "POST") and host: urls.append(f"http://{host}{path}") except Exception: continue return urls

这段逻辑容忍了数据包乱序和简单丢包情况。遇到TCP分段时，直接按四元组追加到缓冲区，等\r\n\r\n出现再解析请求头。注意HTTP头部字段大小写不固定，所以lower()统一小写后匹配host:前缀。对于TLS加密流量，这里不处理，因为这类流量根本看不到HTTP明文请求，需要在其他层解决。实际部署时如果检测HTTPS流量，需要引入中间人解密或改用证书透明日志等外部数据源。

4.2 start.py的实时推理入口

start.py是这个项目对外的主要接口，它把模型加载、特征提取、判决输出串成一条流水线。加载pickle文件后，对每条URL先调用特征提取函数，再用保存好的scaler做标准化，最后用predict_proba取bad类的概率：

import pickle from sklearn.preprocessing import StandardScaler def load_model_and_scaler(model_path): """加载模型和scaler，训练时scaler需要一并保存""" with open(model_path, "rb") as fp: bundle = pickle.load(fp) # 训练时保存一个dict，包含模型和scaler return bundle["model"], bundle["scaler"] def classify_url(url, model, scaler, threshold=0.5): """对单条URL做恶意判定，支持自定义阈值""" features = parse_url_features(url) scaled = scaler.transform([features]) # 注意是list套list prob = model.predict_proba(scaled)[0][1] # 取bad类概率 return prob >= threshold, prob # 使用示例 model, scaler = load_model_and_scaler("SVM__n2_k80.pickle") is_malicious, confidence = classify_url("http://example.com/login", model, scaler) print(f"恶意概率: {confidence:.3f}, 判定结果: {is_malicious}")

scaler.transform([features])这行值得专门说——fit阶段接收的是二维数组，推理阶段也必须保持同样的shape，初学者最容易在这里少套一层方括号导致维数报错。threshold默认取0.5，但实际落地时建议调低到0.3～0.4，宁可多误报几个，也别放过一个钓鱼页面；具体的阈值可以用test.pcap里还原出的URL做批量回放来校准。

4.3 离线训练与在线推理的衔接

test.pcap在整个项目里的定位是验证集。拿到一批pcap文件后，先用pcap.py抽取URL，把其中的正常流量和恶意流量分别打标，然后调用start.py的批量分类接口进行回放评估。有一个细节容易踩坑：pcap文件里同一台机器会在短时间内发出大量重复请求，直接评估会高估模型的稳定性，因为重复URL等于给同一条样本加了权重。我一般会先对抽出的URL做去重，或者按源IP维度做分组，每组只取第一条，这样更接近真实流量分布。

5. 验证方法、误报控制与几个能直接用的进阶改动

资源里的README.md和requirements.txt建议先行细读。requirements.txt限定了sklearn、dpkt等核心依赖的版本范围，如果复现时模型分数和预期不符，优先检查版本是否对齐，因为SVM对sklearn内部的随机状态和梯度计算实现有一定依赖。

5.1 端到端验证的标准动作

模型训练完成、SVM__n2_k80.pickle保存好之后，用test目录下的流量做一次完整走查：

# 1. 先跑流量还原，确认URL数量级是否符合预期 python pcap.py test.pcap # 2. 用start.py批量读入URL，逐个打判定结果 python start.py --input urls.txt --output result.csv # 3. 统计混淆矩阵，关注FN

统计时重点看两个指标：F1值和bad类的召回率。F1低于0.85说明特征和模型还有优化空间；召回率低于0.9则说明漏报偏多，对安全检测场景不可接受。建议在代码里加一段混淆矩阵的输出，便于定位是哪一类样本被分错。

5.2 进阶改法一：把静态特征升级为tokenized词法特征

静态特征只能捕捉URL的整体统计规律，抓不住"这个域名曾在恶意样本中出现过"级别的语义。常见的改进是做一些分词再嵌入：把域名和路径按.、/、-切出token序列，用TF-IDF或者哈希向量化把这些token转成稀疏向量，再和原有的六维静态特征拼接。

from sklearn.feature_extraction.text import HashingVectorizer def url_to_tokens(url): """把URL切分成语义token，保留顺序关系""" url = url.replace("://", " ") url = url.replace("/", " ").replace(".", " ").replace("-", " ") return url vectorizer = HashingVectorizer(n_features=128, alternate_sign=False) url_tokens = [url_to_tokens(u) for u in url_list] X_tokens = vectorizer.transform(url_tokens)

把token特征和静态特征横向拼接后，SVM的输入维度会从个位数跳到上百维，此时k80这个gamma值就不再合适，需要重新用网格搜索确定一个更小的gamma，否则容易过拟合。token化对短域名、随机域名的区分效果很直接，因为大量恶意域名本身就是按字典生成的随机串，这些随机串的出现频率在hash空间里会形成明显的离群模式。

5.3 进阶改法二：模型融合与置信度分级

单一SVM在高置信度区间表现稳定，但样本落在0.4～0.6之间时，分类边界两侧的样本容易混淆。另一个改动方向是把SVM和逻辑回归或者梯度提升树做stacking：第一层两个模型独立输出概率，第二层用逻辑回归做元学习器，学习它们的最优组合权重。

这段代码可以用一个简单的VotingClassifier来验证效果：

from sklearn.linear_model import LogisticRegression from sklearn.ensemble import VotingClassifier svm_est = SVC(probability=True, C=10, gamma="scale", class_weight="balanced") lr_est = LogisticRegression(max_iter=1000, class_weight="balanced") voting = VotingClassifier( estimators=[("svm", svm_est), ("lr", lr_est)], voting="soft" )

voting="soft"表示按概率平均做集成，相比于硬投票，软投票在SVM+LR的组合上通常能提升2～3个百分点的AUC。最终判决时，把概率输出分成三级：<0.3直接放行，0.3～0.7标记待人工复核，>0.7封禁拦截。这样在真实环境里可以把误报控制在运维可接受的范围，同时保留对恶意流量的高压打击。

本文还有配套的精品资源，点击获取