网站离线下载快速上手只改一行代码把整个网站完整搬回本地【免费下载链接】WebSite-DownloaderA website downloader written with Python项目地址: https://gitcode.com/gh_mirrors/web/WebSite-Downloader一个零依赖的 Python 小工具怎么跑、怎么调快、怎么让它认识更多文件类型一次讲清。上周出差高铁刚钻进隧道群手机信号就没了收藏夹里那篇教程怎么都刷不出来。盯着转圈的加载图标我第一次认真琢磨一件事网站离线下载到底难不难直到翻到开源项目WebSite-Downloader我才发现答案简单得有点意外。这个用 Python 写的网站下载器整个项目就一个核心文件却像一群勤快的快递员给它一个网址它会顺着页面里的链接爬遍整站把 HTML、CSS、JS、图片、字体全部搬回你电脑 再自动把网页里的绝对链接改写成相对路径——离线打开结构和在线时一模一样。动手从一条命令到看到进度在刷项目零依赖全部用 Python 自带模块实现不用pip install任何东西Python 3.6 以上装完即用。拉下来只要一条命令git clone https://gitcode.com/gh_mirrors/web/WebSite-Downloader cd WebSite-Downloader打开WebSite-Downloader.py翻到文件末尾你会看到两行示例代码if __name__ __main__: manager Manager(https://www.example.com) manager.start()把example.com换成你真正想存的网址保存然后运行python WebSite-Downloader.py这段在做什么Manager是总调度负责派发链接、去重、判断何时收工8 个Spider线程是干活的工人领到网页就解析、领到资源就直接下载。你只需要关心这一行网址剩下的全交给它。所有文件会存进以域名命名的文件夹比如whsw-site/www.whsw.net/。下载途中要是遇到乱码它会自动按utf-8、gb2312、gbk依次尝试解码中文站基本不翻车连续 60 秒没发现新链接它就自己收尾还会叮叮叮响铃提醒你 搬完了来验收吧。想让它跑得更快给快递员加派人手第一次跑页面多、速度慢看着进度条磨磨蹭蹭——网站离线下载最怕的就是这种龟速我干脆研究起提速的办法。翻遍代码发现要改的其实就一处找到创建爬虫线程的那段for i in range(8): self.spiders.append(Spider(...))把range(8)改成range(16)8 个快递员变 16 个速度通常立竿见影 ⚡。但别贪心64、128 个线程同时打一个网站等于十几号人挤进一家小店容易把服务器惹毛、连累自己被限流。从 16 起步试过再微调。页面缺了东西给爬虫递张名片第二趟跑完我发现本地文件夹里几张.webp图片是空的。原因不复杂爬虫靠后缀判断这是网页还是该直接搬的文件而白名单就藏在Spider类的other_suffixes集合里。补一句就行self.other_suffixes.add(webp)这行在做什么等于告诉爬虫这类文件也归你直接搬回家。网站里任何特殊格式——.webp、.psd、自定义素材——都能照这个方法加进白名单。大文件超时它早就留了条绿色通道网站里那几十 MB 的视频和压缩包是我最担心断在半路的。翻代码才发现media_suffixes集合里的mp3、mp4、pdf、zip、rar等类型自带绿色通道普通请求超时 20 秒这些大文件自动放宽到 600 秒——小文件快进快出大文件慢慢搬完。要是你的站点有更特殊的超大文件把它加进media_suffixes就能享受同样的待遇。列车驶出隧道网站也落地了列车驶出隧道那一刻我打开下载好的文件夹双击index.html——教程、配图、样式、脚本全部本地化离线打开和在线几乎看不出差别。收藏夹里的链接是借来的而这完整的一整站是真正装进了自己口袋、谁也删不掉的。挑一个你舍不得丢的网站现在就去试一次完整的网站离线下载吧——记得只下载自己拥有版权、或允许离线保存的内容尊重网站的robots.txt控制抓取频率别给目标服务器添麻烦。【免费下载链接】WebSite-DownloaderA website downloader written with Python项目地址: https://gitcode.com/gh_mirrors/web/WebSite-Downloader创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考