这次我们来看一个用 Python 实现的视频链接爬虫项目。它不是破解工具也不是“一键白嫖”脚本而是一套面向公开视频页面的链接提取与批量管理方案。你给它一个页面地址它能自动抓取页面里的视频播放地址、解析 m3u8 资源、清洗无效链接最后把结果整理成 JSON 或 Markdown 清单。整个流程可以用命令行跑也可以挂成 API 服务还能放进批量任务队列里非常适合做视频素材归档、公开资源整理和个人学习研究。先说明一下底线本文章只讨论技术实现和合法使用边界不提供任何绕过付费、破解版权、盗取会员内容的方法。如果你想把爬虫用在视频站点上请务必确认目标内容有公开访问权限或已获得授权。下面直接进入正文。1. 核心能力速览能力项说明项目类型Python 命令行工具 API 服务主要功能页面抓取、视频地址提取、m3u8 链接解析、批量任务、结果导出技术栈requests、BeautifulSoup/lxml、re、Flask/FastAPI可选、concurrent.futures运行环境Python 3.8 及以上无需 GPU启动方式命令行运行 / API 服务启动是否支持 API支持可返回 JSON 结果是否支持批量任务支持可处理 URL 列表是否支持 Windows/Linux/macOS支持只要 Python 环境可用依赖安装pip 安装 requests、beautifulsoup4、lxml、flask 等适用场景公开视频资源整理、离线链接归档、内容源监测、学习爬虫技术这个项目的重点不是“复杂到没法跑”而是把爬虫流程拆成四个可复用的模块抓取、解析、清洗、输出。每一步都能单独测试也能组合成流水线。下面从环境准备开始逐步搭建并验证。2. 适用场景与使用边界2.1 适合谁用需要批量整理公开视频链接的运营或编辑同学。想学习 Python 爬虫、解析、反爬处理的开发者。需要把网页内视频内容结构化保存的技术爱好者。做内容合规监测需要定期检查链接是否有效的运维人员。2.2 能解决什么问题人工复制几十个页面链接效率低容易漏。页面里视频地址可能是相对路径或加密参数需要统一解析。需要把结果输出成结构化数据方便后续入库或展示。大量 URL 需要按固定频率轮询人工盯不过来。2.3 不适用什么场景有防盗链、需要付费解锁才能播放的视频。明确禁止爬取或者 robots.txt 不允许访问的站点。需要模拟登录、绕过验证码才能获取的内容。对实时性要求极高、需要流媒体协议直连播放的场景。2.4 必须遵守的合规边界只抓取公开可访问、无版权限制的内容。不破解鉴权参数、不绕过播放限制。遵守目标网站的 robots.txt 和“服务条款”。不对目标服务器造成压力控制请求频率。涉及人脸、声音、用户生成内容时必须确认合法授权。爬取结果仅用于个人学习或内部测试不得公开传播侵权内容。3. 环境准备与前置条件3.1 操作系统Windows 10/11、Ubuntu 20.04、macOS 均可。下面命令以 Windows 和 Linux 为例macOS 类似。3.2 Python 环境建议使用 Python 3.8 及以上版本。检查方式python --version如果还没装 Python到官网下载安装包安装时勾选“Add Python to PATH”。3.3 创建虚拟环境推荐每个项目单独建虚拟环境避免依赖冲突。mkdir video-link-crawler cd video-link-crawler python -m venv venv激活虚拟环境Windows.\venv\Scripts\activateLinux/macOSsource venv/bin/activate3.4 安装依赖本项目核心依赖如下pip install requests beautifulsoup4 lxml flask如果你只需要命令行批量任务可以不装 flask。lxml 用于快速解析 HTML比默认解析器更快。3.5 项目目录结构建议按下面方式组织video-link-crawler/ ├── crawler/ │ ├── __init__.py │ ├── fetcher.py # 页面下载 │ ├── parser.py # 视频地址提取 │ ├── cleaner.py # 链接清洗与去重 │ └── runner.py # 批量执行逻辑 ├── api/ │ └── server.py # API 服务 ├── inputs/ # 待处理的 URL 列表 │ └── urls.txt ├── outputs/ # 抓取结果 ├── main.py # 命令行入口 └── requirements.txt4. 安装部署与启动方式4.1 编写页面抓取模块先实现crawler/fetcher.py负责下载页面并处理超时、重试import requests import time from urllib.parse import urlparse class PageFetcher: def __init__(self, timeout10, retries3, delay0.5): self.timeout timeout self.retries retries self.delay delay self.session requests.Session() def set_headers(self, headers: dict None): default_headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, } if headers: default_headers.update(headers) self.session.headers.update(default_headers) def fetch_page(self, url: str) - tuple[str, bool]: for attempt in range(1, self.retries 1): try: resp self.session.get(url, timeoutself.timeout) resp.raise_for_status() return resp.text, True except Exception as e: print(f[{attempt}] 请求 {url} 失败: {e}) time.sleep(self.delay * attempt) return , False def close(self): self.session.close()注意这里的 User-Agent 只是一般标识不要伪装成其他服务也不要伪造真实浏览器避免误导目标站点。4.2 编写地址解析模块crawler/parser.py负责从 HTML 中提取视频地址。视频地址常见形式有三种video src...标签。m3u8链接出现在script或iframe中。mp4 链接以变量赋值形式存在。import re from urllib.parse import urljoin from bs4 import BeautifulSoup class VideoLinkParser: VIDEO_EXT (.mp4, .webm, .ogg) HLS_PATTERN re.compile(r[\]([^\]\.m3u8[^\]*?)[\], re.I) MP4_PATTERN re.compile(r[\]([^\]\.mp4[^\]*?)[\], re.I) def __init__(self, page_url: str): self.page_url page_url def parse(self, html: str) - list: links [] links.extend(self._parse_video_tag(html)) links.extend(self._parse_hls(html)) links.extend(self._parse_mp4(html)) links [urljoin(self.page_url, link) for link in links] # 去重保持顺序 seen set() unique_links [] for link in links: if link not in seen: seen.add(link) unique_links.append(link) return unique_links def _parse_video_tag(self, html: str) - list: soup BeautifulSoup(html, lxml) results [] for video in soup.find_all(video): src video.get(src) if src: results.append(src) for source in video.find_all(source): source_src source.get(src) if source_src: results.append(source_src) return results def _parse_hls(self, html: str) - list: return self.HLS_PATTERN.findall(html) def _parse_mp4(self, html: str) - list: return self.MP4_PATTERN.findall(html)解析逻辑并不复杂但已经能覆盖大多数静态嵌入的视频链接。如果目标页面是动态渲染出来的后面会单独处理。4.3 编写清洗模块crawler/cleaner.py负责过滤无效链接、排除明显不是视频文件的地址from urllib.parse import urlparse class LinkCleaner: VIDEO_SUFFIXES ( .m3u8, .mp4, .webm, .ogg, /playlist.m3u8, /index.m3u8 ) classmethod def clean(cls, links: list) - list: cleaned [] for link in links: if not link: continue if not cls._looks_like_video_url(link): continue cleaned.append(link) return list(dict.fromkeys(cleaned)) staticmethod def _looks_like_video_url(url: str) - bool: path urlparse(url).path.lower() return path.endswith(LinkCleaner.VIDEO_SUFFIXES)注意dict.fromkeys虽然可以保留顺序去重但如果有大量数据可读性较差。这里仅用于少量链接问题不大。更稳妥的做法是用set再排序。4.4 命令行入口main.py提供最简单的一键式体验import argparse import json from crawler.fetcher import PageFetcher from crawler.parser import VideoLinkParser from crawler.cleaner import LinkCleaner def process_url(url: str) - dict: fetcher PageFetcher() html, ok fetcher.fetch_page(url) if not ok: return {url: url, status: fail, links: []} parser VideoLinkParser(url) raw_links parser.parse(html) clean_links LinkCleaner.clean(raw_links) fetcher.close() return { url: url, status: success, links: clean_links, } def main(): parser argparse.ArgumentParser(description视频链接提取工具) parser.add_argument(--url, help单个页面 URL) parser.add_argument(--input, help包含 URL 列表的文件每行一个) parser.add_argument(--output, defaultoutputs/result.json, help结果输出路径) args parser.parse_args() urls [] if args.url: urls.append(args.url) elif args.input: with open(args.input, r, encodingutf-8) as f: urls [line.strip() for line in f if line.strip()] if not urls: print(请提供 --url 或 --input 参数) return results [] for url in urls: print(f处理: {url}) result process_url(url) results.append(result) with open(args.output, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2) print(f完成结果写入 {args.output}) if __name__ __main__: main()4.5 测试启动先创建一个测试 URL 文件inputs/urls.txthttps://www.example.com/video/1 https://www.example.com/video/2运行mkdir -p outputs python main.py --input inputs/urls.txt看到输出结果后检查outputs/result.json。需要说明的是示例 URL 不会返回真实视频仅用于演示流程。实际使用中要替换成你已获授权访问的页面。5. 功能测试与效果验证5.1 测试静态视频标签页面准备一个包含video标签的测试 HTML 文件或直接在本地起一个简单服务器!DOCTYPE html html headtitle测试页面/title/head body video controls srchttps://example.com/media/demo.mp4/video video controls source srchttps://example.com/media/demo2.webm typevideo/webm /video script var playerUrl https://example.com/hls/demo.m3u8; /script /body /html然后用--url指向它预期结果中应包含https://example.com/media/demo.mp4https://example.com/media/demo2.webmhttps://example.com/hls/demo.m3u8判断标准三个地址都出现在输出里且相对路径已拼接为完整 URL。5.2 测试相对路径解析如果 HTML 里写的是/media/demo.mp4而页面地址是https://example.com/watch/111解析后应为https://example.com/media/demo.mp4。这一步验证urljoin是否生效。5.3 测试无效链接过滤链接中混入图片地址https://example.com/poster.jpgJS 文件https://example.com/app.js带参数的https://example.com/media/demo.mp4?tokenabc清洗模块应只保留最后一条demo.mp4过滤掉.jpg和.js。5.4 测试动态页面有些视频链接是 JS 渲染后才出现的requests 直接抓不到。这时需要 Selenium 或 Playwright。这里给出 Selenium 的替代思路不额外安装浏览器驱动的情况下可以先分析接口。如果页面真的有 AJAX 接口可以抓包后直接用 requests 请求那个接口。比如import requests api_url https://example.com/api/video?id123 resp requests.get(api_url, timeout10) data resp.json() print(data.get(video_url))如果确实需要 Selenium安装pip install selenium然后用 Chrome 无头模式from selenium import webdriver from selenium.webdriver.chrome.options import Options options Options() options.add_argument(--headless) driver webdriver.Chrome(optionsoptions) driver.get(https://example.com/video/123) html driver.page_source driver.quit()再把html传给VideoLinkParser。不过这不是本项目默认模块需要根据实际情况扩展。5.5 测试批量任务在inputs/urls.txt里放 5 个 URL运行后检查所有 URL 都被处理。输出 JSON 中每个 URL 都有status字段。失败 URL 不会中断整个流程。输出文件可读能直接导入 Excel 或数据库。5.6 判断成功标准返回的链接都是可下载或可播放的公开链接。没有漏掉视频标签里的src。清洗后没有图片或 JS 地址。批量任务中途遇到网络错误不会崩。输出 JSON 格式合法包含 URL 和 links 字段。5.7 常见测试失败原因网页被 WAF 拦截更换请求头、降低频率或检查是否需要在请求里携带 Cookie。视频链接是相对路径且没带协议检查urljoin是否用了页面 URL。链接藏在 JS 变量里但正则没匹配到检查转义或改用更宽松的正则。页面本身需要登录项目不支持登录态需要先解决授权问题。6. 接口 API 与批量任务6.1 提供 API 服务为了方便集成到其他系统可以加一个 Flask API。api/server.pyfrom flask import Flask, request, jsonify from crawler.fetcher import PageFetcher from crawler.parser import VideoLinkParser from crawler.cleaner import LinkCleaner app Flask(__name__) app.route(/extract, methods[POST]) def extract(): data request.get_json() if not data or url not in data: return jsonify({code: 400, message: 缺少 url 参数}), 400 url data[url] fetcher PageFetcher() html, ok fetcher.fetch_page(url) if not ok: return jsonify({code: 500, message: 页面抓取失败, url: url}), 500 raw_links VideoLinkParser(url).parse(html) clean_links LinkCleaner.clean(raw_links) fetcher.close() return jsonify({ code: 0, url: url, links: clean_links, }) app.route(/health, methods[GET]) def health(): return jsonify({status: ok}) if __name__ __main__: app.run(host127.0.0.1, port8000, debugFalse)启动服务python api/server.py注意如果端口 8000 被占用可以修改为其他端口比如 8090。6.2 调用 API用 curl 测试curl -X POST http://127.0.0.1:8000/extract \ -H Content-Type: application/json \ -d {url: https://www.example.com/video/1}用 Python requests 测试import requests url http://127.0.0.1:8000/extract payload {url: https://www.example.com/video/1} resp requests.post(url, jsonpayload, timeout30) print(resp.json())返回结果大致如下{ code: 0, url: https://www.example.com/video/1, links: [ https://example.com/media/demo.mp4 ] }6.3 批量任务设计批量任务有两种实现思路方案一多线程批量处理使用ThreadPoolExecutor控制并发数避免打爆服务器。import json from concurrent.futures import ThreadPoolExecutor, as_completed from crawler.fetcher import PageFetcher from crawler.parser import VideoLinkParser from crawler.cleaner import LinkCleaner def process_one(url): fetcher PageFetcher() html, ok fetcher.fetch_page(url) if not ok: return {url: url, status: fail, links: []} raw_links VideoLinkParser(url).parse(html) clean_links LinkCleaner.clean(raw_links) fetcher.close() return {url: url, status: success, links: clean_links} def batch_process(urls, max_workers4): results [] with ThreadPoolExecutor(max_workersmax_workers) as executor: future_map {executor.submit(process_one, url): url for url in urls} for future in as_completed(future_map): url future_map[future] try: result future.result() results.append(result) print(f完成: {url}) except Exception as e: print(f失败: {url}, 错误: {e}) results.append({url: url, status: error, links: []}) return results if __name__ __main__: urls [ https://example.com/video/1, https://example.com/video/2, https://example.com/video/3, ] output_path outputs/batch_result.json results batch_process(urls, max_workers3) with open(output_path, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2) print(f批量结果已写入 {output_path})并发数建议从 3 开始不要一开始就设 20。对目标服务器友好一点。方案二基于文件队列如果你的任务是定时增量抓取可以维护一个待处理队列文件。每次启动时读取成功后将 URL 移到已完成列表失败记录到错误日志。实现不复杂但更实用。批量任务必须加日志。至少打印每个 URL 的状态方便定位失败原因。更完整的做法是把日志写入文件python batch_process.py logs/batch.log 216.4 失败重试建议网络超时可重试 2~3 次间隔递增。页面返回 5xx等待 5 秒再重试。返回 404不要重试直接标记失败。所有重试次数耗尽后把 URL 写入failed.log方便下次重新处理。7. 资源占用与性能观察7.1 如何观察资源占用命令行运行时可以用系统自带工具观察Windows 的任务管理器Linux 的htop或free -m。API 服务运行时观察 Python 进程的 RSS 内存。没有实际运行数据时不编造数字。你可以用下面脚本快速看内存import os import psutil process psutil.Process(os.getpid()) print(process.memory_info().rss / 1024 / 1024, MB)需要安装psutilpip install psutil7.2 影响内存和 CPU 的因素HTML 页面大小大页面解析耗 CPU。BeautifulSoup 解析器lxml 比 html.parser 快但都要占用内存。并发线程数线程越多内存占用越高。正则匹配范围正则写得不好可能出现灾难性回溯CPU 飙高。输出结果大小如果 links 很多构建 JSON 会占用内存。7.3 如何降低资源占用不要一次性加载超大 HTML可以用流式方式读取前多少 KB除非必须完整解析。控制并发数在 3~5。每次抓完关闭 Session减少连接占用。结果及时写入文件不要全部攒在列表里一次性 dump。使用gzip请求头减少传输体积。7.4 如何避免端口冲突和进程残留API 服务启动前检查端口# Linux netstat -tlnp | grep 8000 # Windows netstat -ano | findstr 8000如果端口被占用换一个端口或者用--port参数动态指定。进程残留会导致端口一直占用可用# Linux pkill -f python api/server.py # Windows taskkill /F /IM python.exe不过taskkill /F /IM python.exe会把所有 Python 进程杀掉使用时要确认机器上没有其他重要任务。8. 常见问题与排查方法问题现象可能原因排查方式解决方案脚本运行后没有输出任何链接页面不是静态 HTML或者视频链接格式不在正则范围内检查 HTML 内容确认视频链接存在形式扩展正则规则或改用动态页面抓取方案输出链接是相对地址不完整urljoin 没有正确拿到页面 URL检查 VideoLinkParser 初始化时是否传入 page_url确保传入的是最终页面 URL页面返回 403目标站点拒绝默认请求头查看响应头和错误信息添加浏览器 Cookie 或调整请求头但必须遵守站点规则批量任务卡住不结束单个请求超时时间太长或重试次数过多查看日志看卡在哪个 URL调低超时时间增加中断机制API 启动后访问 404Flask 路由路径写错检查 URL 路径和请求方法确认是 POST /extract内存持续上涨结果列表无限增长或没有关闭 Session使用 psutil 观察及时写入文件批量控制并发数正则匹配到广告链接正则不精确打印 raw_links检查多余链接优化清洗规则加黑名单字符串格式错误某些链接包含特殊字符打印原始数据做 URL 解码或去除特殊字符9. 最佳实践与使用建议9.1 第一次先小参数测试不要一上来跑 100 个 URL。先用 3~5 个 URL 验证解析规则是否准确确认输出符合预期后再扩大范围。这样可以避免大量无效请求浪费资源。9.2 保留一套最小可运行配置把项目里最核心的抓取、解析、清洗逻辑做成一个crawler包不依赖 Flask。这样即使没有 API 服务也能通过命令行跑批量任务。最小配置遵循“能跑不碎”的原则。9.3 分目录管理文件inputs/只放待处理的 URL 列表。outputs/只放结果文件。logs/只放运行日志。models/或config/放自定义规则。这样可以避免输入输出混在一起后续做定时任务也方便。9.4 批量任务要加日志和失败重试日志里记录时间、URL、状态。失败重试的间隔要递增第一次等 1 秒第二次 3 秒第三次 5 秒。不要无限重试三次即可。9.5 接口服务要限制访问范围如果 API 服务需要对外开放建议只监听127.0.0.1不走公网。加简单鉴权 Token。限制请求频率。下面给一个带请求频率限制的 Flask 示例思路from flask import Flask, request, jsonify from functools import wraps import time app Flask(__name__) # 简单的请求计数 _requests {} def rate_limit(max_requests10, per_seconds60): def decorator(func): wraps(func) def wrapper(*args, **kwargs): client_ip request.remote_addr now time.time() if client_ip not in _requests: _requests[client_ip] [] _requests[client_ip] [t for t in _requests[client_ip] if now - t per_seconds] if len(_requests[client_ip]) max_requests: return jsonify({code: 429, message: 请求过快}), 429 _requests[client_ip].append(now) return func(*args, **kwargs) return wrapper return decorator app.route(/extract, methods[POST]) rate_limit(max_requests5, per_seconds10) def extract(): # ...省略 pass这段代码只是演示思路生产环境建议用 Redis 或更成熟的限流方案。9.6 涉及人脸、声音、版权素材时必须确认授权爬虫拿到的不只是 URL还可能是包含肖像权、隐私或版权的内容。即使是技术验证也不能随意把抓取的链接公开分享出去。做内容分析时务必对用户生成内容保持敏感必要时直接丢弃相关字段。9.7 发布或商用前要做效果复核自动化提取的链接可能包含失效地址、错误解析结果。正式使用前随机抽 10 条链接人工验证有效性。如果发现大量无效结果要回头调整解析规则而不是一直扩大抓取范围。10. 总结与下一步这个 Python 视频链接爬虫项目最值得尝试的点在于它把“页面抓取 - 链接解析 - 清洗 - 输出”这个流程拆成了低耦合模块你可以很快扩展到其他类型的资源提取场景比如图片链接、文档下载链接。最先应该验证的功能是找一个公开且允许抓取的页面测试main.py --url能否正确输出视频地址。只要这一步跑通整个项目的主干就通了。接下来再补批量任务和 API 服务完全看你业务需要。最容易踩的坑有两个一是目标页面是动态渲染只靠 requests 拿不到链接二是清洗规则不严导致输出结果混入大量非视频地址。遇到这两个问题先打印原始 HTML别急着改正则。后续可以继续扩展的方向结合 Playwright 处理动态渲染页面加入 Redis 队列做分布式批量任务把输出结果同步到数据库做一个简单的可视化界面或者配合定时任务定期检查链接是否失效。建议收藏备用。下次再遇到“提取网页里的视频地址”这种需求直接拿这套模块改一改就能用。如果你已经跑通了基础流程再上手 API 和批量任务就会非常快。