简介：这是一款面向SEO从业者、市场研究人员及数据分析师的关键词URL批量采集工具，可针对指定关键词自动遍历搜索引擎结果，提取匹配的网址链接，大幅提升信息收集效率。2018年版本在抓取速度与准确度上做了优化，适合需要快速积累目标网址、进行竞品监控或内容挖掘的中级用户。包体文件仅4个，包括可执行的exe主程序、两个htm阅读说明以及一个url站点快捷方式，整体压缩包大小约940KB，结构精简，便于下载与携带。其中htm文档可帮助用户了解配置方法，exe工具即下即用，降低了上手门槛。目前已有393人学习或下载过该资料，验证了其实际参考价值。借助该工具，读者可以省去手动逐页检索的繁琐过程，快速获得结构化的关键词关联URL列表，并进一步用于外链建设、行业报告撰写或舆情分析等场景，是一份轻量而实用的小型采集辅助资源。
1. 关键词URL采集工具：不是爬虫，是给字段补全“链接”的半自动流水线
关键词URL采集工具这个标题，乍看像爬虫，实际要解决的是另一件事：给定一批关键词、站点入口或页面模板，把散落在搜索页、列表页、接口里的http(s)链接捞出来，统一去重、校验，最后输出成一份能直接进库的URL清单。适合做竞品监控、数据标注、内容聚合和按关键词补全业务字段的人。真正决定这类工具能不能用的，往往不是抓取速度，而是对URL的清洗能力：一个结果里如果混着跳转链接、私有协议、失效链接，下游一导入就是批量翻车。
2. 从关键词到URL清单：一种可复现的最小采集流程
2.1 先决定URL入口：搜索页解析、URL模板拼接还是RSS/站点地图
做URL采集前，第一件事不是写代码，而是确认入口。常见入口有三类，选错入口，后面所有解析逻辑都得返工。
第一类是搜索引擎关键词页。适合你不知道目标URL、只想按关键词找候选链接的场景，比如竞品关键词监控、未收录链接盘点。做法是把关键词拼到搜索URL的q参数里，再解析结果页中的<a>标签。这里要注意：搜索引擎结果页的反爬和参数规则各家不同，有的需要带num或count，有的会统一走跳转链接。最好先抓一页保存成HTML，人工确认结果结构再开始写解析。
第二类是URL模板拼接。适合你已经知道目标站点的列表页规则，比如https://list.example.com/so/{keyword}/{page}。这种入口转化率最高，因为URL结构确定，不需要从一堆搜索广告里筛结果。常见做法是维护一个“拼接URL题库”，每个站点一条模板，跑的时候批量填充关键词和页码。注意模板里的关键词必须做URL编码，否则遇到中文、空格、&会直接把URL截断。
第三类是RSS、站点地图和开放API。如果目标站点提供sitemap.xml或feed，优先用这个。它是给程序消费的，结构干净、访问成本低，也不会误抓到导航栏、登录页这些不需要的链接。关键词URL采集工具在工程化时，我会把这三类入口抽象成同一个接口：输入关键词或模板，输出原始链接列表。后续的去重、校验、输出逻辑就可以完全复用。
2.2 最小脚本：requests与urllib.parse组合出的采集骨架
入口定了之后，先用一个最小脚本把整条链路跑通。我一般不会一上来就上Scrapy或Playwright，而是先用requests加标准库里的html.parser做一版几十行的原型，确认返回的HTML里确实有目标链接，再拆模块。
import requests from html.parser import HTMLParser from urllib.parse import urlencode, urljoin # 示例搜索入口，实际替换成你有权采集的数据源 SEARCH_SEED = "https://search.example.com/search" class LinkParser(HTMLParser): def __init__(self): super().__init__() self.links = [] def handle_starttag(self, tag, attrs): if tag != "a": return href = dict(attrs).get("href") if href: self.links.append(href) def collect_by_keyword(keyword: str, limit: int = 20) -> list[str]: params = {"q": keyword, "num": limit} url = f"{SEARCH_SEED}?{urlencode(params)}" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)", "Accept-Language": "zh-CN,zh;q=0.9", } resp = requests.get(url, headers=headers, timeout=10) resp.raise_for_status() resp.encoding = resp.apparent_encoding parser = LinkParser() parser.feed(resp.text) return [urljoin(url, link) for link in parser.links]这段代码的逻辑很直白：先用urlencode把关键词百分号编码后拼进URL，再用HTMLParser提取所有<a>标签的href，最后用urljoin把相对路径和缺少协议的地址补全成绝对URL。urlencode这一步是关键，很多新手直接用字符串拼接，遇到中文关键词时URL直接乱掉，后面解析出来自然是错的。
resp.apparent_encoding是从HTML内容里推断编码，比直接读响应头的resp.encoding更稳，因为不少站点响应头里写的是text/html，没给charset，或者给的和实际内容不一致。limit参数在不同站点叫num、count或per_page，不能写死，先人工确认再填。
如果是模板拼接型入口，核心就一行：
from urllib.parse import quote def build_by_template(keyword: str, page: int = 1) -> str: return f"https://list.example.com/so/{quote(keyword)}/{page}"quote默认按UTF-8编码，和HTML页面里的<a href="...">是同一个标准。如果目标站是GBK编码，需要改成quote(keyword, encoding="gbk")。
2.3 URL标准化与去重：把“看起来不同”的链接归一成一个可比较键
采集回来的URL，直接去重是不行的。同一个页面可能因为参数顺序不同、utm跟踪参数不同、片段标识不同，被当成好几个URL。关键词URL采集工具的下游一般是数据库去重或业务匹配，这时候必须先把URL标准化成一个“可比较键”。
我一般会写一个normalize_url函数，做五件事：协议和域名转小写、去掉默认端口、去掉#片段、丢弃跟踪参数、对query参数排序。
from urllib.parse import urlsplit, urlunsplit, parse_qsl, urlencode DROP_PARAMS = {"utm_source", "utm_medium", "utm_campaign", "utm_term", "utm_content"} def normalize_url(raw: str) -> str | None: raw = raw.strip() try: scheme, netloc, path, query, fragment = urlsplit(raw) except ValueError: return None scheme = scheme.lower() netloc = netloc.lower() if scheme == "http" and netloc.endswith(":80"): netloc = netloc.rsplit(":", 1)[0] if scheme == "https" and netloc.endswith(":443"): netloc = netloc.rsplit(":", 1)[0] params = [ (k, v) for k, v in parse_qsl(query, keep_blank_values=True, encoding="utf-8") if k.lower() not in DROP_PARAMS ] query = urlencode(sorted(params), doseq=True, encoding="utf-8") return urlunsplit((scheme, netloc, path, query, ""))这里用parse_qsl和urlencode，默认都按UTF-8处理。如果你在采集GBK站点时遇到url解码失败，可以在两个函数里都加上encoding="gbk"，或者先用unquote_to_bytes拿到原始字节自己解码。后面的避坑章节会再展开。
标准化之后的字符串只用来做当前URL的key，原始URL还是要单独存一份。因为下游可能需要展示原文，比如输出成链接时如果丢了原URL，用户看到的会是去掉参数的简化地址，反而对不上实际页面。
3. 让采集结果能直接入库：链接有效性与结果清洗
3.1 先做目标站的有效性校验：状态码、重定向与超时
采集结果里十个URL有八个打不开，是关键词URL采集工具最常见的交付事故。所以脚本写完下一步，就是给每个URL做有效性校验。校验不能只看HTTP状态码是200，还要处理重定向、超时、临时故障。
import requests import time UA = "Mozilla/5.0 (Windows NT 10.0; Win64; x64)" def check_url(raw_url: str, session: requests.Session, timeout: float = 5.0) -> dict: result = {"raw": raw_url, "final": raw_url, "ok": False, "status": None, "error": None} try: resp = session.get( raw_url, timeout=timeout, stream=True, allow_redirects=True, headers={"User-Agent": UA}, ) result["status"] = resp.status_code result["final"] = resp.url result["ok"] = resp.status_code < 400 resp.close() except requests.exceptions.TooManyRedirects: result["error"] = "too_many_redirects" except requests.exceptions.Timeout: result["error"] = "timeout" except requests.exceptions.RequestException as exc: result["error"] = str(exc)[:200] return resultstream=True是这里的重点。它只读响应头，不会把整个响应体下载回来。如果你用普通get，一个URL可能推送几MB内容下来，几千个URL一跑，带宽和内存全被浪费。校验完马上resp.close()释放连接。
allow_redirects=True会让requests自动跟随跳转，并把最终地址写到resp.url。这其实就是“expand short url”的同一套机制：短链接、跳转链接、302中转，全都可以用这个字段拿到真实目标。如果目标URL出现502 Bad Gateway这类临时错误，不要直接标死，先放回重试队列，等几秒重试一次。后面避坑章节会继续讲。
3.2 动态页面里真实URL在哪：接口、跳转参数与JS渲染
校验URL还不是最难的，最难的是很多页面你不会直接看到目标URL。静态HTML里的<a href>可能是一个空壳，真实地址被藏在点击事件、>from urllib.parse import parse_qs, unquote def extract_real_url_from_private_scheme(raw_url: str) -> str | None: if "?" not in raw_url: return None query = raw_url.partition("?")[2] params = parse_qs(query) target = params.get("url") or params.get("target") or params.get("redirect") if not target: return None real = target[0] if real.startswith("http://") or real.startswith("https://"): return unquote(real) return None
parse_qs会把百分号编码后的参数还原成键值对，拿到url参数后还要再unquote一次，因为很多私有scheme里的URL是二次编码的。看到类似dps://p?url=https%3a%2f%2fmain.m.taobao.com%2fdetail%2findex.html%3fid%3d123的数据，解析后就能得到完整的http链接。
3.3 输出成CSV/JSON，并把失败链接留到重试队列
清洗完的URL，最后要落地成文件。关键词URL采集工具的输出格式，我建议同时存CSV和JSON，因为CSV给运营和Excel用户看，JSON给下游程序直接消费。
import csv import json def save_result(items: list[dict], csv_path: str, json_path: str) -> None: fieldnames = ["keyword", "raw_url", "final_url", "status", "ok", "error"] with open(csv_path, "w", newline="", encoding="utf-8-sig") as f: writer = csv.DictWriter(f, fieldnames=fieldnames, extrasaction="ignore") writer.writeheader() writer.writerows(items) with open(json_path, "w", encoding="utf-8") as f: json.dump(items, f, ensure_ascii=False, indent=2)CSV用utf-8-sig编码而不是utf-8，是为了让Excel打开时不乱码。JSON里ensure_ascii=False保证中文参数直接显示，不要存成\uXXXX。
结果里除了通过校验的URL，还要把失败项、重试项单独留出来。有效的URL进正式表，无效的直接标记原因，状态码为429、500、502、503的进重试队列。采集工具和爬虫不同，太激进会导致IP被限，重试队列是用时间换可靠性。
另外我习惯在输出文件名上加一个url_前缀，比如url_keyword_20240520.csv，这样和普通数据文件区分开，也方便批量处理时一眼看出这是哪批关键词的采集结果。
4. 避坑：关键词URL采集的5个翻车点与修复
下面这5个问题，基本是关键词URL采集工具从脚本走向可用之间一定会踩的坑。每条按现象、原因、解决展开，是我自己做采集时真正翻过车的地方。
4.1 拿到一堆跳转链接，真实URL却丢了
现象：采集结果里全是https://search.example.com/link?url=https%3A%2F%2Fexample.com%2Fa&src=...，看起来是URL，打开却是中转页，不是目标站。
原因：搜索引擎和部分站点为了让点击行为可追踪，会把所有外部链接统一包成一个跳转地址。目标URL被编码在url参数里。直接把这个跳转链接入库，下游用户点过去还要再跳一次，多数系统不会买账。
解决：两种做法。第一种是在校验阶段跟随重定向，用requests请求跳转链接，最终resp.url就是真实URL。第二种是解析跳转参数里的url字段，手动解码还原。短链接展开用的也是同一个原理：HEAD请求短链，allow_redirects=True，读resp.url。
def expand_short_url(url: str, session: requests.Session) -> str: resp = session.head(url, allow_redirects=True, timeout=5) return resp.url如果目标服务器不支持HEAD，会返回405，那就换成GET加stream=True。
4.2 URL解码失败和中文参数乱码
现象：采集到的URL里中文百分号编码变成了乱码，或者用parse_qsl解析时直接抛url解码失败。
原因：URL百分号编码本身不携带字符集信息。同一个%D6%D0%CE%C4，按UTF-8解码是乱码，按GBK解码才是“中文”。很多程序默认UTF-8，遇到GBK编码的链接就会报错或产出乱码。另外有些站点在URL里用的charset和页面HTML的charset不一致，也容易踩坑。
解决：先解码成原始字节，再按页面charset还原。
from urllib.parse import unquote_to_bytes def decode_percent_text(percent: str, charset: str = "utf-8") -> str: raw = unquote_to_bytes(percent) return raw.decode(charset, errors="replace")unquote_to_bytes会把百分号编码还原成字节序列，拿到字节后再用decode按正确字符集处理，这样就不会有解码失败的问题。GSSI_mentioning if uses parse_qsl in normalize_url, pass encoding param accordingly.
4.3 目标站返回403或502，采集直接中断
现象：批量采集跑到一半，返回值不再有页面内容，而是403 Forbidden、502 Bad Gateway，甚至是一段“很抱歉，由于您访问的URL有可能对网站造成安全威胁，您的访问被阻断”的错误文案。
原因：403大概率不是URL错了，而是请求头不完整或访问频率过高。没有合适的User-Agent、没有Referer、同一个出口IP每秒请求几十次，都会触发风控。502一般是目标站上游临时故障，也可能是瞬时并发压力挤爆了服务端。
解决：先用一个完整请求头重试，包括User-Agent、Accept、Accept-Language。用requests.Session复用Cookie，让状态保持一致。再把请求频率降到每链接至少间隔0.5秒到1秒。遇到502或429这类临时状态码，指数退避重试三到五次后再决定是否标失效。
def request_with_retry(url: str, session: requests.Session, max_tries: int = 3) -> requests.Response: for attempt in range(max_tries): try: resp = session.get(url, timeout=5) if resp.status_code not in (429, 500, 502, 503): return resp except requests.exceptions.RequestException: pass time.sleep(2 ** attempt) return resp4.4 同一个URL被采了上千次，参数顺序不同而已
现象：输出文件有上万行，实际去重后只剩几百个页面。
原因：同一个页面的URL因为query参数顺序不同、大小写不同、utm参数不同、token动态变化，被当成完全不同的链接。如果直接用原始URL当key做去重，效果接近零。
解决：用前面写的normalize_url把URL标准化后再去重。实际存储时保留两列，一列是标准化的key，一列是展示用原始URL。生产环境数据量大了以后，可以再用bloomfilter或SQLite的唯一索引做二次去重，避免重复URL把队列撑爆。
4.5 动态页面提取不到任何http链接
现象：采集回来的页面HTML里能找到<a>标签，但没有任何目标链接；浏览器打开却能正常看到列表和跳转。
原因：链接是JS渲染出来的，静态HTML里只有空壳或占位符。还有一部分链接不是http协议，而是dps://、mqqapi://等私有scheme，普通startswith("http")过滤直接把它们丢掉了。
解决：先看Network里的XHR请求，找到返回JSON的接口，直接采集接口数据。如果页面完全依赖JS执行，再用Playwright或Selenium。对私有scheme，提取url参数并按decode还原成真实http链接。这一个点单独能让很多工具的结果量翻倍，因为App跳转链接在搜索结果里占比很高。
5. 做成工程后的验证与调优：URL队列、限速和可观测性
采集脚本能跑通之后，我会把工具改成“任务队列+worker”的结构，而不是把所有URL一次性塞进内存。最轻量的做法是用SQLite建一张任务表，字段就是url、状态、重试次数、最近错误。状态从pending到running，通过校验的标ok，重试超过三次的标dead。这样跑到一半进程断开，重启后能接着跑，不用从头再来。
限速要按host做，不能全局统一sleep。不同站点的承受能力不同，对同一个host连续请求超过阈值，很容易触发风控。
from urllib.parse import urlsplit from collections import defaultdict import time last_request_by_host = defaultdict(float) def polite_get(url: str, session: requests.Session, min_interval: float = 1.0): host = urlsplit(url).netloc wait = min_interval - (time.time() - last_request_by_host.get(host, 0)) if wait > 0: time.sleep(wait) last_request_by_host[host] = time.time() return session.get(url, timeout=5)最后是验证。工具采出来的结果，我会抽前20条和后20条人工点开看一次，确认最终落库的URL不是跳转、不是404、不含跟踪参数。现在我的习惯是：不管工具多小，都先加一个dry_run模式，只跑第一个关键词，输出前20条原始结果和标准化结果，确认URL形态没有异常再全量跑。这个习惯帮我避免了很多次把错误编码结果直接写进生产库的尴尬。希望帮到你。
本文还有配套的精品资源，点击获取
