尧图网站建设 
简介这是一款面向SEO从业者、市场研究人员及数据分析师的关键词URL批量采集工具可针对指定关键词自动遍历搜索引擎结果提取匹配的网址链接大幅提升信息收集效率。2018年版本在抓取速度与准确度上做了优化适合需要快速积累目标网址、进行竞品监控或内容挖掘的中级用户。包体文件仅4个包括可执行的exe主程序、两个htm阅读说明以及一个url站点快捷方式整体压缩包大小约940KB结构精简便于下载与携带。其中htm文档可帮助用户了解配置方法exe工具即下即用降低了上手门槛。目前已有393人学习或下载过该资料验证了其实际参考价值。借助该工具读者可以省去手动逐页检索的繁琐过程快速获得结构化的关键词关联URL列表并进一步用于外链建设、行业报告撰写或舆情分析等场景是一份轻量而实用的小型采集辅助资源。1. 关键词URL采集工具不是爬虫是给字段补全“链接”的半自动流水线关键词URL采集工具这个标题乍看像爬虫实际要解决的是另一件事给定一批关键词、站点入口或页面模板把散落在搜索页、列表页、接口里的http(s)链接捞出来统一去重、校验最后输出成一份能直接进库的URL清单。适合做竞品监控、数据标注、内容聚合和按关键词补全业务字段的人。真正决定这类工具能不能用的往往不是抓取速度而是对URL的清洗能力一个结果里如果混着跳转链接、私有协议、失效链接下游一导入就是批量翻车。2. 从关键词到URL清单一种可复现的最小采集流程2.1 先决定URL入口搜索页解析、URL模板拼接还是RSS/站点地图做URL采集前第一件事不是写代码而是确认入口。常见入口有三类选错入口后面所有解析逻辑都得返工。第一类是搜索引擎关键词页。适合你不知道目标URL、只想按关键词找候选链接的场景比如竞品关键词监控、未收录链接盘点。做法是把关键词拼到搜索URL的q参数里再解析结果页中的a标签。这里要注意搜索引擎结果页的反爬和参数规则各家不同有的需要带num或count有的会统一走跳转链接。最好先抓一页保存成HTML人工确认结果结构再开始写解析。第二类是URL模板拼接。适合你已经知道目标站点的列表页规则比如https://list.example.com/so/{keyword}/{page}。这种入口转化率最高因为URL结构确定不需要从一堆搜索广告里筛结果。常见做法是维护一个“拼接URL题库”每个站点一条模板跑的时候批量填充关键词和页码。注意模板里的关键词必须做URL编码否则遇到中文、空格、会直接把URL截断。第三类是RSS、站点地图和开放API。如果目标站点提供sitemap.xml或feed优先用这个。它是给程序消费的结构干净、访问成本低也不会误抓到导航栏、登录页这些不需要的链接。关键词URL采集工具在工程化时我会把这三类入口抽象成同一个接口输入关键词或模板输出原始链接列表。后续的去重、校验、输出逻辑就可以完全复用。2.2 最小脚本requests与urllib.parse组合出的采集骨架入口定了之后先用一个最小脚本把整条链路跑通。我一般不会一上来就上Scrapy或Playwright而是先用requests加标准库里的html.parser做一版几十行的原型确认返回的HTML里确实有目标链接再拆模块。import requests from html.parser import HTMLParser from urllib.parse import urlencode, urljoin # 示例搜索入口实际替换成你有权采集的数据源 SEARCH_SEED https://search.example.com/search class LinkParser(HTMLParser): def __init__(self): super().__init__() self.links [] def handle_starttag(self, tag, attrs): if tag ! a: return href dict(attrs).get(href) if href: self.links.append(href) def collect_by_keyword(keyword: str, limit: int 20) - list[str]: params {q: keyword, num: limit} url f{SEARCH_SEED}?{urlencode(params)} headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64), Accept-Language: zh-CN,zh;q0.9, } resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() resp.encoding resp.apparent_encoding parser LinkParser() parser.feed(resp.text) return [urljoin(url, link) for link in parser.links]这段代码的逻辑很直白先用urlencode把关键词百分号编码后拼进URL再用HTMLParser提取所有a标签的href最后用urljoin把相对路径和缺少协议的地址补全成绝对URL。urlencode这一步是关键很多新手直接用字符串拼接遇到中文关键词时URL直接乱掉后面解析出来自然是错的。resp.apparent_encoding是从HTML内容里推断编码比直接读响应头的resp.encoding更稳因为不少站点响应头里写的是text/html没给charset或者给的和实际内容不一致。limit参数在不同站点叫num、count或per_page不能写死先人工确认再填。如果是模板拼接型入口核心就一行from urllib.parse import quote def build_by_template(keyword: str, page: int 1) - str: return fhttps://list.example.com/so/{quote(keyword)}/{page}quote默认按UTF-8编码和HTML页面里的a href...是同一个标准。如果目标站是GBK编码需要改成quote(keyword, encodinggbk)。2.3 URL标准化与去重把“看起来不同”的链接归一成一个可比较键采集回来的URL直接去重是不行的。同一个页面可能因为参数顺序不同、utm跟踪参数不同、片段标识不同被当成好几个URL。关键词URL采集工具的下游一般是数据库去重或业务匹配这时候必须先把URL标准化成一个“可比较键”。我一般会写一个normalize_url函数做五件事协议和域名转小写、去掉默认端口、去掉#片段、丢弃跟踪参数、对query参数排序。from urllib.parse import urlsplit, urlunsplit, parse_qsl, urlencode DROP_PARAMS {utm_source, utm_medium, utm_campaign, utm_term, utm_content} def normalize_url(raw: str) - str | None: raw raw.strip() try: scheme, netloc, path, query, fragment urlsplit(raw) except ValueError: return None scheme scheme.lower() netloc netloc.lower() if scheme http and netloc.endswith(:80): netloc netloc.rsplit(:, 1)[0] if scheme https and netloc.endswith(:443): netloc netloc.rsplit(:, 1)[0] params [ (k, v) for k, v in parse_qsl(query, keep_blank_valuesTrue, encodingutf-8) if k.lower() not in DROP_PARAMS ] query urlencode(sorted(params), doseqTrue, encodingutf-8) return urlunsplit((scheme, netloc, path, query, ))这里用parse_qsl和urlencode默认都按UTF-8处理。如果你在采集GBK站点时遇到url解码失败可以在两个函数里都加上encodinggbk或者先用unquote_to_bytes拿到原始字节自己解码。后面的避坑章节会再展开。标准化之后的字符串只用来做当前URL的key原始URL还是要单独存一份。因为下游可能需要展示原文比如输出成链接时如果丢了原URL用户看到的会是去掉参数的简化地址反而对不上实际页面。3. 让采集结果能直接入库链接有效性与结果清洗3.1 先做目标站的有效性校验状态码、重定向与超时采集结果里十个URL有八个打不开是关键词URL采集工具最常见的交付事故。所以脚本写完下一步就是给每个URL做有效性校验。校验不能只看HTTP状态码是200还要处理重定向、超时、临时故障。import requests import time UA Mozilla/5.0 (Windows NT 10.0; Win64; x64) def check_url(raw_url: str, session: requests.Session, timeout: float 5.0) - dict: result {raw: raw_url, final: raw_url, ok: False, status: None, error: None} try: resp session.get( raw_url, timeouttimeout, streamTrue, allow_redirectsTrue, headers{User-Agent: UA}, ) result[status] resp.status_code result[final] resp.url result[ok] resp.status_code 400 resp.close() except requests.exceptions.TooManyRedirects: result[error] too_many_redirects except requests.exceptions.Timeout: result[error] timeout except requests.exceptions.RequestException as exc: result[error] str(exc)[:200] return resultstreamTrue是这里的重点。它只读响应头不会把整个响应体下载回来。如果你用普通get一个URL可能推送几MB内容下来几千个URL一跑带宽和内存全被浪费。校验完马上resp.close()释放连接。allow_redirectsTrue会让requests自动跟随跳转并把最终地址写到resp.url。这其实就是“expand short url”的同一套机制短链接、跳转链接、302中转全都可以用这个字段拿到真实目标。如果目标URL出现502 Bad Gateway这类临时错误不要直接标死先放回重试队列等几秒重试一次。后面避坑章节会继续讲。3.2 动态页面里真实URL在哪接口、跳转参数与JS渲染校验URL还不是最难的最难的是很多页面你不会直接看到目标URL。静态HTML里的a href可能是一个空壳真实地址被藏在点击事件、>from urllib.parse import parse_qs, unquote def extract_real_url_from_private_scheme(raw_url: str) - str | None: if ? not in raw_url: return None query raw_url.partition(?)[2] params parse_qs(query) target params.get(url) or params.get(target) or params.get(redirect) if not target: return None real target[0] if real.startswith(http://) or real.startswith(https://): return unquote(real) return Noneparse_qs会把百分号编码后的参数还原成键值对拿到url参数后还要再unquote一次因为很多私有scheme里的URL是二次编码的。看到类似dps://p?urlhttps%3a%2f%2fmain.m.taobao.com%2fdetail%2findex.html%3fid%3d123的数据解析后就能得到完整的http链接。3.3 输出成CSV/JSON并把失败链接留到重试队列清洗完的URL最后要落地成文件。关键词URL采集工具的输出格式我建议同时存CSV和JSON因为CSV给运营和Excel用户看JSON给下游程序直接消费。import csv import json def save_result(items: list[dict], csv_path: str, json_path: str) - None: fieldnames [keyword, raw_url, final_url, status, ok, error] with open(csv_path, w, newline, encodingutf-8-sig) as f: writer csv.DictWriter(f, fieldnamesfieldnames, extrasactionignore) writer.writeheader() writer.writerows(items) with open(json_path, w, encodingutf-8) as f: json.dump(items, f, ensure_asciiFalse, indent2)CSV用utf-8-sig编码而不是utf-8是为了让Excel打开时不乱码。JSON里ensure_asciiFalse保证中文参数直接显示不要存成\uXXXX。结果里除了通过校验的URL还要把失败项、重试项单独留出来。有效的URL进正式表无效的直接标记原因状态码为429、500、502、503的进重试队列。采集工具和爬虫不同太激进会导致IP被限重试队列是用时间换可靠性。另外我习惯在输出文件名上加一个url_前缀比如url_keyword_20240520.csv这样和普通数据文件区分开也方便批量处理时一眼看出这是哪批关键词的采集结果。4. 避坑关键词URL采集的5个翻车点与修复下面这5个问题基本是关键词URL采集工具从脚本走向可用之间一定会踩的坑。每条按现象、原因、解决展开是我自己做采集时真正翻过车的地方。4.1 拿到一堆跳转链接真实URL却丢了现象采集结果里全是https://search.example.com/link?urlhttps%3A%2F%2Fexample.com%2Fasrc...看起来是URL打开却是中转页不是目标站。原因搜索引擎和部分站点为了让点击行为可追踪会把所有外部链接统一包成一个跳转地址。目标URL被编码在url参数里。直接把这个跳转链接入库下游用户点过去还要再跳一次多数系统不会买账。解决两种做法。第一种是在校验阶段跟随重定向用requests请求跳转链接最终resp.url就是真实URL。第二种是解析跳转参数里的url字段手动解码还原。短链接展开用的也是同一个原理HEAD请求短链allow_redirectsTrue读resp.url。def expand_short_url(url: str, session: requests.Session) - str: resp session.head(url, allow_redirectsTrue, timeout5) return resp.url如果目标服务器不支持HEAD会返回405那就换成GET加streamTrue。4.2 URL解码失败和中文参数乱码现象采集到的URL里中文百分号编码变成了乱码或者用parse_qsl解析时直接抛url解码失败。原因URL百分号编码本身不携带字符集信息。同一个%D6%D0%CE%C4按UTF-8解码是乱码按GBK解码才是“中文”。很多程序默认UTF-8遇到GBK编码的链接就会报错或产出乱码。另外有些站点在URL里用的charset和页面HTML的charset不一致也容易踩坑。解决先解码成原始字节再按页面charset还原。from urllib.parse import unquote_to_bytes def decode_percent_text(percent: str, charset: str utf-8) - str: raw unquote_to_bytes(percent) return raw.decode(charset, errorsreplace)unquote_to_bytes会把百分号编码还原成字节序列拿到字节后再用decode按正确字符集处理这样就不会有解码失败的问题。GSSI_mentioning if uses parse_qsl in normalize_url, pass encoding param accordingly.4.3 目标站返回403或502采集直接中断现象批量采集跑到一半返回值不再有页面内容而是403 Forbidden、502 Bad Gateway甚至是一段“很抱歉由于您访问的URL有可能对网站造成安全威胁您的访问被阻断”的错误文案。原因403大概率不是URL错了而是请求头不完整或访问频率过高。没有合适的User-Agent、没有Referer、同一个出口IP每秒请求几十次都会触发风控。502一般是目标站上游临时故障也可能是瞬时并发压力挤爆了服务端。解决先用一个完整请求头重试包括User-Agent、Accept、Accept-Language。用requests.Session复用Cookie让状态保持一致。再把请求频率降到每链接至少间隔0.5秒到1秒。遇到502或429这类临时状态码指数退避重试三到五次后再决定是否标失效。def request_with_retry(url: str, session: requests.Session, max_tries: int 3) - requests.Response: for attempt in range(max_tries): try: resp session.get(url, timeout5) if resp.status_code not in (429, 500, 502, 503): return resp except requests.exceptions.RequestException: pass time.sleep(2 ** attempt) return resp4.4 同一个URL被采了上千次参数顺序不同而已现象输出文件有上万行实际去重后只剩几百个页面。原因同一个页面的URL因为query参数顺序不同、大小写不同、utm参数不同、token动态变化被当成完全不同的链接。如果直接用原始URL当key做去重效果接近零。解决用前面写的normalize_url把URL标准化后再去重。实际存储时保留两列一列是标准化的key一列是展示用原始URL。生产环境数据量大了以后可以再用bloomfilter或SQLite的唯一索引做二次去重避免重复URL把队列撑爆。4.5 动态页面提取不到任何http链接现象采集回来的页面HTML里能找到a标签但没有任何目标链接浏览器打开却能正常看到列表和跳转。原因链接是JS渲染出来的静态HTML里只有空壳或占位符。还有一部分链接不是http协议而是dps://、mqqapi://等私有scheme普通startswith(http)过滤直接把它们丢掉了。解决先看Network里的XHR请求找到返回JSON的接口直接采集接口数据。如果页面完全依赖JS执行再用Playwright或Selenium。对私有scheme提取url参数并按decode还原成真实http链接。这一个点单独能让很多工具的结果量翻倍因为App跳转链接在搜索结果里占比很高。5. 做成工程后的验证与调优URL队列、限速和可观测性采集脚本能跑通之后我会把工具改成“任务队列worker”的结构而不是把所有URL一次性塞进内存。最轻量的做法是用SQLite建一张任务表字段就是url、状态、重试次数、最近错误。状态从pending到running通过校验的标ok重试超过三次的标dead。这样跑到一半进程断开重启后能接着跑不用从头再来。限速要按host做不能全局统一sleep。不同站点的承受能力不同对同一个host连续请求超过阈值很容易触发风控。from urllib.parse import urlsplit from collections import defaultdict import time last_request_by_host defaultdict(float) def polite_get(url: str, session: requests.Session, min_interval: float 1.0): host urlsplit(url).netloc wait min_interval - (time.time() - last_request_by_host.get(host, 0)) if wait 0: time.sleep(wait) last_request_by_host[host] time.time() return session.get(url, timeout5)最后是验证。工具采出来的结果我会抽前20条和后20条人工点开看一次确认最终落库的URL不是跳转、不是404、不含跟踪参数。现在我的习惯是不管工具多小都先加一个dry_run模式只跑第一个关键词输出前20条原始结果和标准化结果确认URL形态没有异常再全量跑。这个习惯帮我避免了很多次把错误编码结果直接写进生产库的尴尬。希望帮到你。本文还有配套的精品资源点击获取 关键词URL采集工具：从搜索入口到可入库URL清单的完整流程
简介这是一款面向SEO从业者、市场研究人员及数据分析师的关键词URL批量采集工具可针对指定关键词自动遍历搜索引擎结果提取匹配的网址链接大幅提升信息收集效率。2018年版本在抓取速度与准确度上做了优化适合需要快速积累目标网址、进行竞品监控或内容挖掘的中级用户。包体文件仅4个包括可执行的exe主程序、两个htm阅读说明以及一个url站点快捷方式整体压缩包大小约940KB结构精简便于下载与携带。其中htm文档可帮助用户了解配置方法exe工具即下即用降低了上手门槛。目前已有393人学习或下载过该资料验证了其实际参考价值。借助该工具读者可以省去手动逐页检索的繁琐过程快速获得结构化的关键词关联URL列表并进一步用于外链建设、行业报告撰写或舆情分析等场景是一份轻量而实用的小型采集辅助资源。1. 关键词URL采集工具不是爬虫是给字段补全“链接”的半自动流水线关键词URL采集工具这个标题乍看像爬虫实际要解决的是另一件事给定一批关键词、站点入口或页面模板把散落在搜索页、列表页、接口里的http(s)链接捞出来统一去重、校验最后输出成一份能直接进库的URL清单。适合做竞品监控、数据标注、内容聚合和按关键词补全业务字段的人。真正决定这类工具能不能用的往往不是抓取速度而是对URL的清洗能力一个结果里如果混着跳转链接、私有协议、失效链接下游一导入就是批量翻车。2. 从关键词到URL清单一种可复现的最小采集流程2.1 先决定URL入口搜索页解析、URL模板拼接还是RSS/站点地图做URL采集前第一件事不是写代码而是确认入口。常见入口有三类选错入口后面所有解析逻辑都得返工。第一类是搜索引擎关键词页。适合你不知道目标URL、只想按关键词找候选链接的场景比如竞品关键词监控、未收录链接盘点。做法是把关键词拼到搜索URL的q参数里再解析结果页中的a标签。这里要注意搜索引擎结果页的反爬和参数规则各家不同有的需要带num或count有的会统一走跳转链接。最好先抓一页保存成HTML人工确认结果结构再开始写解析。第二类是URL模板拼接。适合你已经知道目标站点的列表页规则比如https://list.example.com/so/{keyword}/{page}。这种入口转化率最高因为URL结构确定不需要从一堆搜索广告里筛结果。常见做法是维护一个“拼接URL题库”每个站点一条模板跑的时候批量填充关键词和页码。注意模板里的关键词必须做URL编码否则遇到中文、空格、会直接把URL截断。第三类是RSS、站点地图和开放API。如果目标站点提供sitemap.xml或feed优先用这个。它是给程序消费的结构干净、访问成本低也不会误抓到导航栏、登录页这些不需要的链接。关键词URL采集工具在工程化时我会把这三类入口抽象成同一个接口输入关键词或模板输出原始链接列表。后续的去重、校验、输出逻辑就可以完全复用。2.2 最小脚本requests与urllib.parse组合出的采集骨架入口定了之后先用一个最小脚本把整条链路跑通。我一般不会一上来就上Scrapy或Playwright而是先用requests加标准库里的html.parser做一版几十行的原型确认返回的HTML里确实有目标链接再拆模块。import requests from html.parser import HTMLParser from urllib.parse import urlencode, urljoin # 示例搜索入口实际替换成你有权采集的数据源 SEARCH_SEED https://search.example.com/search class LinkParser(HTMLParser): def __init__(self): super().__init__() self.links [] def handle_starttag(self, tag, attrs): if tag ! a: return href dict(attrs).get(href) if href: self.links.append(href) def collect_by_keyword(keyword: str, limit: int 20) - list[str]: params {q: keyword, num: limit} url f{SEARCH_SEED}?{urlencode(params)} headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64), Accept-Language: zh-CN,zh;q0.9, } resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() resp.encoding resp.apparent_encoding parser LinkParser() parser.feed(resp.text) return [urljoin(url, link) for link in parser.links]这段代码的逻辑很直白先用urlencode把关键词百分号编码后拼进URL再用HTMLParser提取所有a标签的href最后用urljoin把相对路径和缺少协议的地址补全成绝对URL。urlencode这一步是关键很多新手直接用字符串拼接遇到中文关键词时URL直接乱掉后面解析出来自然是错的。resp.apparent_encoding是从HTML内容里推断编码比直接读响应头的resp.encoding更稳因为不少站点响应头里写的是text/html没给charset或者给的和实际内容不一致。limit参数在不同站点叫num、count或per_page不能写死先人工确认再填。如果是模板拼接型入口核心就一行from urllib.parse import quote def build_by_template(keyword: str, page: int 1) - str: return fhttps://list.example.com/so/{quote(keyword)}/{page}quote默认按UTF-8编码和HTML页面里的a href...是同一个标准。如果目标站是GBK编码需要改成quote(keyword, encodinggbk)。2.3 URL标准化与去重把“看起来不同”的链接归一成一个可比较键采集回来的URL直接去重是不行的。同一个页面可能因为参数顺序不同、utm跟踪参数不同、片段标识不同被当成好几个URL。关键词URL采集工具的下游一般是数据库去重或业务匹配这时候必须先把URL标准化成一个“可比较键”。我一般会写一个normalize_url函数做五件事协议和域名转小写、去掉默认端口、去掉#片段、丢弃跟踪参数、对query参数排序。from urllib.parse import urlsplit, urlunsplit, parse_qsl, urlencode DROP_PARAMS {utm_source, utm_medium, utm_campaign, utm_term, utm_content} def normalize_url(raw: str) - str | None: raw raw.strip() try: scheme, netloc, path, query, fragment urlsplit(raw) except ValueError: return None scheme scheme.lower() netloc netloc.lower() if scheme http and netloc.endswith(:80): netloc netloc.rsplit(:, 1)[0] if scheme https and netloc.endswith(:443): netloc netloc.rsplit(:, 1)[0] params [ (k, v) for k, v in parse_qsl(query, keep_blank_valuesTrue, encodingutf-8) if k.lower() not in DROP_PARAMS ] query urlencode(sorted(params), doseqTrue, encodingutf-8) return urlunsplit((scheme, netloc, path, query, ))这里用parse_qsl和urlencode默认都按UTF-8处理。如果你在采集GBK站点时遇到url解码失败可以在两个函数里都加上encodinggbk或者先用unquote_to_bytes拿到原始字节自己解码。后面的避坑章节会再展开。标准化之后的字符串只用来做当前URL的key原始URL还是要单独存一份。因为下游可能需要展示原文比如输出成链接时如果丢了原URL用户看到的会是去掉参数的简化地址反而对不上实际页面。3. 让采集结果能直接入库链接有效性与结果清洗3.1 先做目标站的有效性校验状态码、重定向与超时采集结果里十个URL有八个打不开是关键词URL采集工具最常见的交付事故。所以脚本写完下一步就是给每个URL做有效性校验。校验不能只看HTTP状态码是200还要处理重定向、超时、临时故障。import requests import time UA Mozilla/5.0 (Windows NT 10.0; Win64; x64) def check_url(raw_url: str, session: requests.Session, timeout: float 5.0) - dict: result {raw: raw_url, final: raw_url, ok: False, status: None, error: None} try: resp session.get( raw_url, timeouttimeout, streamTrue, allow_redirectsTrue, headers{User-Agent: UA}, ) result[status] resp.status_code result[final] resp.url result[ok] resp.status_code 400 resp.close() except requests.exceptions.TooManyRedirects: result[error] too_many_redirects except requests.exceptions.Timeout: result[error] timeout except requests.exceptions.RequestException as exc: result[error] str(exc)[:200] return resultstreamTrue是这里的重点。它只读响应头不会把整个响应体下载回来。如果你用普通get一个URL可能推送几MB内容下来几千个URL一跑带宽和内存全被浪费。校验完马上resp.close()释放连接。allow_redirectsTrue会让requests自动跟随跳转并把最终地址写到resp.url。这其实就是“expand short url”的同一套机制短链接、跳转链接、302中转全都可以用这个字段拿到真实目标。如果目标URL出现502 Bad Gateway这类临时错误不要直接标死先放回重试队列等几秒重试一次。后面避坑章节会继续讲。3.2 动态页面里真实URL在哪接口、跳转参数与JS渲染校验URL还不是最难的最难的是很多页面你不会直接看到目标URL。静态HTML里的a href可能是一个空壳真实地址被藏在点击事件、>from urllib.parse import parse_qs, unquote def extract_real_url_from_private_scheme(raw_url: str) - str | None: if ? not in raw_url: return None query raw_url.partition(?)[2] params parse_qs(query) target params.get(url) or params.get(target) or params.get(redirect) if not target: return None real target[0] if real.startswith(http://) or real.startswith(https://): return unquote(real) return Noneparse_qs会把百分号编码后的参数还原成键值对拿到url参数后还要再unquote一次因为很多私有scheme里的URL是二次编码的。看到类似dps://p?urlhttps%3a%2f%2fmain.m.taobao.com%2fdetail%2findex.html%3fid%3d123的数据解析后就能得到完整的http链接。3.3 输出成CSV/JSON并把失败链接留到重试队列清洗完的URL最后要落地成文件。关键词URL采集工具的输出格式我建议同时存CSV和JSON因为CSV给运营和Excel用户看JSON给下游程序直接消费。import csv import json def save_result(items: list[dict], csv_path: str, json_path: str) - None: fieldnames [keyword, raw_url, final_url, status, ok, error] with open(csv_path, w, newline, encodingutf-8-sig) as f: writer csv.DictWriter(f, fieldnamesfieldnames, extrasactionignore) writer.writeheader() writer.writerows(items) with open(json_path, w, encodingutf-8) as f: json.dump(items, f, ensure_asciiFalse, indent2)CSV用utf-8-sig编码而不是utf-8是为了让Excel打开时不乱码。JSON里ensure_asciiFalse保证中文参数直接显示不要存成\uXXXX。结果里除了通过校验的URL还要把失败项、重试项单独留出来。有效的URL进正式表无效的直接标记原因状态码为429、500、502、503的进重试队列。采集工具和爬虫不同太激进会导致IP被限重试队列是用时间换可靠性。另外我习惯在输出文件名上加一个url_前缀比如url_keyword_20240520.csv这样和普通数据文件区分开也方便批量处理时一眼看出这是哪批关键词的采集结果。4. 避坑关键词URL采集的5个翻车点与修复下面这5个问题基本是关键词URL采集工具从脚本走向可用之间一定会踩的坑。每条按现象、原因、解决展开是我自己做采集时真正翻过车的地方。4.1 拿到一堆跳转链接真实URL却丢了现象采集结果里全是https://search.example.com/link?urlhttps%3A%2F%2Fexample.com%2Fasrc...看起来是URL打开却是中转页不是目标站。原因搜索引擎和部分站点为了让点击行为可追踪会把所有外部链接统一包成一个跳转地址。目标URL被编码在url参数里。直接把这个跳转链接入库下游用户点过去还要再跳一次多数系统不会买账。解决两种做法。第一种是在校验阶段跟随重定向用requests请求跳转链接最终resp.url就是真实URL。第二种是解析跳转参数里的url字段手动解码还原。短链接展开用的也是同一个原理HEAD请求短链allow_redirectsTrue读resp.url。def expand_short_url(url: str, session: requests.Session) - str: resp session.head(url, allow_redirectsTrue, timeout5) return resp.url如果目标服务器不支持HEAD会返回405那就换成GET加streamTrue。4.2 URL解码失败和中文参数乱码现象采集到的URL里中文百分号编码变成了乱码或者用parse_qsl解析时直接抛url解码失败。原因URL百分号编码本身不携带字符集信息。同一个%D6%D0%CE%C4按UTF-8解码是乱码按GBK解码才是“中文”。很多程序默认UTF-8遇到GBK编码的链接就会报错或产出乱码。另外有些站点在URL里用的charset和页面HTML的charset不一致也容易踩坑。解决先解码成原始字节再按页面charset还原。from urllib.parse import unquote_to_bytes def decode_percent_text(percent: str, charset: str utf-8) - str: raw unquote_to_bytes(percent) return raw.decode(charset, errorsreplace)unquote_to_bytes会把百分号编码还原成字节序列拿到字节后再用decode按正确字符集处理这样就不会有解码失败的问题。GSSI_mentioning if uses parse_qsl in normalize_url, pass encoding param accordingly.4.3 目标站返回403或502采集直接中断现象批量采集跑到一半返回值不再有页面内容而是403 Forbidden、502 Bad Gateway甚至是一段“很抱歉由于您访问的URL有可能对网站造成安全威胁您的访问被阻断”的错误文案。原因403大概率不是URL错了而是请求头不完整或访问频率过高。没有合适的User-Agent、没有Referer、同一个出口IP每秒请求几十次都会触发风控。502一般是目标站上游临时故障也可能是瞬时并发压力挤爆了服务端。解决先用一个完整请求头重试包括User-Agent、Accept、Accept-Language。用requests.Session复用Cookie让状态保持一致。再把请求频率降到每链接至少间隔0.5秒到1秒。遇到502或429这类临时状态码指数退避重试三到五次后再决定是否标失效。def request_with_retry(url: str, session: requests.Session, max_tries: int 3) - requests.Response: for attempt in range(max_tries): try: resp session.get(url, timeout5) if resp.status_code not in (429, 500, 502, 503): return resp except requests.exceptions.RequestException: pass time.sleep(2 ** attempt) return resp4.4 同一个URL被采了上千次参数顺序不同而已现象输出文件有上万行实际去重后只剩几百个页面。原因同一个页面的URL因为query参数顺序不同、大小写不同、utm参数不同、token动态变化被当成完全不同的链接。如果直接用原始URL当key做去重效果接近零。解决用前面写的normalize_url把URL标准化后再去重。实际存储时保留两列一列是标准化的key一列是展示用原始URL。生产环境数据量大了以后可以再用bloomfilter或SQLite的唯一索引做二次去重避免重复URL把队列撑爆。4.5 动态页面提取不到任何http链接现象采集回来的页面HTML里能找到a标签但没有任何目标链接浏览器打开却能正常看到列表和跳转。原因链接是JS渲染出来的静态HTML里只有空壳或占位符。还有一部分链接不是http协议而是dps://、mqqapi://等私有scheme普通startswith(http)过滤直接把它们丢掉了。解决先看Network里的XHR请求找到返回JSON的接口直接采集接口数据。如果页面完全依赖JS执行再用Playwright或Selenium。对私有scheme提取url参数并按decode还原成真实http链接。这一个点单独能让很多工具的结果量翻倍因为App跳转链接在搜索结果里占比很高。5. 做成工程后的验证与调优URL队列、限速和可观测性采集脚本能跑通之后我会把工具改成“任务队列worker”的结构而不是把所有URL一次性塞进内存。最轻量的做法是用SQLite建一张任务表字段就是url、状态、重试次数、最近错误。状态从pending到running通过校验的标ok重试超过三次的标dead。这样跑到一半进程断开重启后能接着跑不用从头再来。限速要按host做不能全局统一sleep。不同站点的承受能力不同对同一个host连续请求超过阈值很容易触发风控。from urllib.parse import urlsplit from collections import defaultdict import time last_request_by_host defaultdict(float) def polite_get(url: str, session: requests.Session, min_interval: float 1.0): host urlsplit(url).netloc wait min_interval - (time.time() - last_request_by_host.get(host, 0)) if wait 0: time.sleep(wait) last_request_by_host[host] time.time() return session.get(url, timeout5)最后是验证。工具采出来的结果我会抽前20条和后20条人工点开看一次确认最终落库的URL不是跳转、不是404、不含跟踪参数。现在我的习惯是不管工具多小都先加一个dry_run模式只跑第一个关键词输出前20条原始结果和标准化结果确认URL形态没有异常再全量跑。这个习惯帮我避免了很多次把错误编码结果直接写进生产库的尴尬。希望帮到你。本文还有配套的精品资源点击获取