尧图网站建设 
最近在找小说资源时发现很多想看的书要么需要付费要么分散在各个平台阅读体验割裂。如果能有一个工具把全网的小说资源整合起来一键下载到本地用自己喜欢的阅读器打开那该多方便。本文将分享一个基于 Python 的解决方案通过一个脚本实现小说内容的抓取与本地化让你轻松管理个人阅读库。本文将从零开始手把手教你搭建环境、理解核心代码、运行脚本并最终获得一个可用的工具。无论你是 Python 新手想通过实战项目练手还是有一定基础的开发者希望学习网络爬虫和数据处理的实用技巧都能从本文中获得清晰的指引。我们将覆盖从环境配置、代码解析、运行调试到异常处理的完整闭环。1. 背景与核心概念在开始动手之前我们有必要先厘清几个关键概念和这个工具的设计边界。网络爬虫Web Crawler/Spider简单来说这是一种按照一定规则自动抓取互联网上公开信息的程序。我们的工具本质上就是一个针对小说网站结构定制化的爬虫。它模拟浏览器访问网页解析网页HTML代码从中提取出我们关心的内容——小说章节的标题和正文。HTML 解析网页是由 HTML超文本标记语言构成的。爬虫下载到的是包含标签、样式、脚本等内容的原始 HTML 文档。我们需要从中“解析”出纯文本内容。常用的解析库如BeautifulSoup和lxml它们能帮助我们根据标签、CSS 选择器等定位到特定元素。本地化存储将抓取到的网络内容文本、图片等保存到本地计算机的过程。对于小说通常保存为.txt或.epub等格式。本地化存储的好处是离线可读、不受网络限制、便于统一管理。重要声明与合规性尊重版权本工具及教程仅用于技术学习与交流所涉及的网络爬虫技术应严格用于抓取公开、免费的网络资源。请务必尊重作者版权和网站的服务条款不得用于抓取、传播明确声明需要付费或禁止转载的版权内容。遵守 robots.txt在编写爬虫时应检查目标网站的robots.txt文件遵守其中关于爬虫访问频率和目录的限制避免对目标网站服务器造成不必要的压力。个人学习用途通过本项目你将主要学习 Python 网络请求、HTML 解析、文件操作和异常处理等核心编程技能。2. 环境准备与版本说明工欲善其事必先利其器。我们先来准备好开发环境。本项目主要依赖 Python 及其第三方库。2.1 Python 环境Python 是本项目的编程语言。请确保你的电脑上已安装 Python。推荐版本Python 3.7 及以上版本。Python 3.6 已停止官方支持建议使用更新的版本。如何检查打开命令行Windows 上是 CMD 或 PowerShellmacOS/Linux 上是 Terminal输入以下命令python --version或python3 --version如果显示类似Python 3.8.10的信息说明已安装。如果提示“不是内部或外部命令”则需要先安装 Python。安装 Python访问 Python 官方网站下载对应操作系统的安装包安装时请务必勾选 “Add Python to PATH” 选项。2.2 安装必要的第三方库我们将使用requests库来发送网络请求使用BeautifulSoup4来解析 HTML。使用 Python 的包管理工具pip进行安装。在命令行中依次执行以下命令pip install requests beautifulsoup4如果安装速度慢可以使用国内镜像源加速例如清华源pip install requests beautifulsoup4 -i https://pypi.tuna.tsinghua.edu.cn/simple2.3 代码编辑器或 IDE你可以使用任何文本编辑器来编写 Python 代码例如VS Code轻量级且功能强大需安装 Python 扩展。PyCharm专业的 Python IDE社区版免费。Sublime Text / Notepad简单的文本编辑器。选择你熟悉或喜欢的一款即可。2.4 项目结构规划在开始编码前我们先规划一个清晰的目录结构这有助于代码管理。novel_downloader/ ├── main.py # 主程序入口 ├── core/ │ ├── __init__.py │ ├── downloader.py # 核心下载与解析逻辑 │ └── utils.py # 工具函数如保存文件 ├── novels/ # 存放下载的小说文本文件 └── requirements.txt # 项目依赖列表可选你可以先在本地创建一个名为novel_downloader的文件夹然后按照上述结构创建子文件夹和文件。3. 核心原理与代码拆解我们的工具工作流程可以概括为以下几个步骤输入用户提供目标小说的目录页URL。抓取目录程序访问目录页解析出所有章节的链接和标题。遍历章节按顺序访问每一个章节链接。解析内容在章节页面中解析出章节正文内容。保存内容将章节标题和正文按顺序保存到本地文本文件中。异常处理与进度显示处理网络超时、解析失败等情况并给用户友好的进度提示。下面我们分模块拆解核心代码。3.1 网络请求与伪装requests直接使用requests.get(url)可能会被一些网站识别为爬虫并拒绝访问。因此我们需要设置请求头Headers来模拟真实浏览器的行为。# core/downloader.py 片段 import requests from bs4 import BeautifulSoup import time import os class NovelDownloader: def __init__(self): # 定义请求头模拟浏览器访问 self.headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, } self.session requests.Session() # 使用Session可以保持一些连接状态效率稍高 def get_html(self, url, retry3): 获取网页HTML内容包含重试机制 for i in range(retry): try: # 设置超时时间避免长时间等待 response self.session.get(url, headersself.headers, timeout10) response.raise_for_status() # 如果状态码不是200抛出HTTPError异常 # 通常需要指定编码中文网站常用 utf-8 或 gbk response.encoding response.apparent_encoding # 自动判断编码 return response.text except requests.exceptions.RequestException as e: print(f第{i1}次尝试请求 {url} 失败: {e}) if i retry - 1: time.sleep(2) # 等待2秒后重试 else: print(f请求 {url} 最终失败跳过。) return None关键点解释User-Agent告诉服务器我们是什么浏览器。这是最基本的反爬措施。timeout10设置10秒超时防止因网络问题导致程序长时间卡住。response.raise_for_status()这是一个好习惯确保我们只处理成功的响应。retry机制网络请求不稳定加入重试逻辑可以提高鲁棒性。response.encoding正确设置编码至关重要否则会出现乱码。apparent_encoding是requests库推测的编码通常比较准确。3.2 HTML 解析BeautifulSoup获取到 HTML 后我们需要从中提取有用的信息。这需要分析目标网页的结构。假设我们有一个小说目录页其HTML结构大致如下div idlist dl dt正文卷/dt dda href/book/123/1.html第一章 开局/a/dd dda href/book/123/2.html第二章 奇遇/a/dd !-- 更多章节... -- /dl /div我们的解析代码需要定位到idlist的div然后找到里面所有的dd a标签。# core/downloader.py 片段 def parse_directory(self, html, base_url): 解析目录页获取所有章节的链接和标题 if not html: return [] soup BeautifulSoup(html, html.parser) chapters [] # 这里的选择器需要根据实际网站结构调整 # 示例找到id为‘list’的div下的所有a标签 chapter_links soup.select(div#list dd a) for link in chapter_links: title link.get_text().strip() href link.get(href) if not href: continue # 处理相对链接拼接成完整URL full_url requests.compat.urljoin(base_url, href) chapters.append({title: title, url: full_url}) return chapters关键点解释BeautifulSoup(html, html.parser)使用 Python 内置的html.parser解析器创建 BeautifulSoup 对象。你也可以安装lxml库并使用lxml解析器速度更快。soup.select(‘div#list dd a’)使用 CSS 选择器语法来定位元素。这是BeautifulSoup非常强大的功能。你需要根据目标网站的实际 HTML 结构来调整这个选择器。requests.compat.urljoin(base_url, href)这是一个非常实用的函数用于将可能为相对路径的href拼接成完整的绝对 URL。3.3 内容提取与清洗进入章节页面后我们需要找到正文所在的 HTML 元素。同样需要分析页面结构。假设章节正文在一个idcontent的div中div idcontent p这里是第一章的正文内容.../p p第二段内容.../p div classad广告内容需要过滤/div p第三段内容.../p /div我们的目标是提取所有属于正文的p标签文本并过滤掉广告等无关内容。# core/downloader.py 片段 def parse_chapter_content(self, html): 解析章节页面获取正文内容 if not html: return soup BeautifulSoup(html, html.parser) # 找到正文容器选择器需根据实际情况调整 content_div soup.find(div, idcontent) if not content_div: # 如果找不到尝试其他常见选择器 content_div soup.find(div, class_content) if not content_div: return 【正文解析失败】 # 清理内容移除脚本、样式、广告等标签 for tag in content_div([script, style, div.ad, div.ads]): tag.decompose() # 彻底移除这些标签及其内容 # 获取文本并处理空白字符 text content_div.get_text(separator\n, stripTrue) # 进一步清洗合并多余空行 lines [line.strip() for line in text.splitlines() if line.strip()] cleaned_text \n\n.join(lines) return cleaned_text关键点解释soup.find(‘div’, id‘content’)使用find方法查找第一个匹配的标签。find_all用于查找所有匹配的。tag.decompose()将标签从 DOM 树中完全移除常用于清理无关元素。get_text(separator‘\n’, stripTrue)获取标签内所有文本用换行符连接并去除首尾空格。文本清洗网页文本常包含大量换行和空格通过splitlines和join进行规整使最终保存的文本更整洁。3.4 文件保存与进度管理我们需要将抓取到的章节按顺序保存到一个文件中并实时向用户反馈进度。# core/utils.py import os def save_novel(novel_title, chapters_content, save_dirnovels): 将小说内容保存到文件 # 确保保存目录存在 if not os.path.exists(save_dir): os.makedirs(save_dir) # 文件名处理移除非法字符 safe_title .join([c for c in novel_title if c.isalnum() or c in ( , -, _)]).rstrip() file_path os.path.join(save_dir, f{safe_title}.txt) with open(file_path, w, encodingutf-8) as f: for chapter in chapters_content: f.write(chapter[title] \n) # 写入章节标题 f.write(chapter[content] \n\n) # 写入章节正文空两行分隔 print(f小说已保存至{file_path}) return file_path# core/downloader.py 片段 (在 NovelDownloader 类中) def download_novel(self, directory_url, novel_title): 下载小说的主流程 print(f开始处理小说《{novel_title}》) print(f目录页URL{directory_url}) # 1. 获取并解析目录 print(正在获取目录...) dir_html self.get_html(directory_url) if not dir_html: print(获取目录失败程序退出。) return chapters_info self.parse_directory(dir_html, directory_url) if not chapters_info: print(未解析到任何章节请检查目录页URL或解析规则。) return total_chapters len(chapters_info) print(f共发现 {total_chapters} 个章节。) # 2. 遍历下载每个章节 chapters_content [] for idx, chap_info in enumerate(chapters_info, 1): print(f正在下载 [{idx}/{total_chapters}]{chap_info[title]}) chap_html self.get_html(chap_info[url]) content self.parse_chapter_content(chap_html) chapters_content.append({ title: chap_info[title], content: content }) # 礼貌性延迟避免请求过快 time.sleep(0.5) # 3. 保存到文件 from .utils import save_novel # 导入工具函数 save_novel(novel_title, chapters_content) print(下载完成)关键点解释os.makedirs(save_dir, exist_okTrue)创建目录如果目录已存在也不会报错。time.sleep(0.5)在请求之间加入短暂延迟这是“礼貌性爬虫”的体现可以减轻目标网站服务器的压力降低被封IP的风险。这个时间间隔可以根据需要调整。进度提示使用[{idx}/{total_chapters}]的格式让用户清晰了解下载进度。4. 完整实战案例构建并运行下载器现在我们将上述模块组合起来创建一个完整的、可运行的程序。4.1 创建项目文件结构按照之前规划的目录创建以下文件novel_downloader/ ├── main.py ├── core/ │ ├── __init__.py (空文件) │ ├── downloader.py │ └── utils.py └── (运行后会自动生成 novels 文件夹)4.2 编写核心模块代码文件core/__init__.py这是一个空文件它的存在使得core目录成为一个 Python 包允许我们使用from core import xxx的语法。文件core/utils.py# core/utils.py import os def save_novel(novel_title, chapters_content, save_dirnovels): 将小说内容保存到文件 if not os.path.exists(save_dir): os.makedirs(save_dir) # 文件名处理移除可能造成问题的字符 safe_title .join([c for c in novel_title if c.isalnum() or c in ( , -, _)]).rstrip() if not safe_title: safe_title 未命名小说 file_path os.path.join(save_dir, f{safe_title}.txt) try: with open(file_path, w, encodingutf-8) as f: for chapter in chapters_content: f.write(chapter[title] \n) f.write(chapter[content] \n\n) # 章节间空两行 print(f√ 小说已成功保存至{file_path}) return file_path except IOError as e: print(f× 保存文件时出错{e}) return None文件core/downloader.py将前面第3节拆解的所有NovelDownloader类的方法整合到这个文件中。以下是完整类定义的示例# core/downloader.py import requests from bs4 import BeautifulSoup import time import os class NovelDownloader: def __init__(self): self.headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, } self.session requests.Session() def get_html(self, url, retry3): for i in range(retry): try: resp self.session.get(url, headersself.headers, timeout10) resp.raise_for_status() resp.encoding resp.apparent_encoding return resp.text except requests.exceptions.RequestException as e: print(f请求失败 ({i1}/{retry}): {url} - {e}) if i retry - 1: time.sleep(2) else: return None def parse_directory(self, html, base_url): if not html: return [] soup BeautifulSoup(html, html.parser) chapters [] # !!! 重要此选择器需要根据目标网站实际结构修改 !!! # 这里是一个通用性较强的尝试可能需要对不同网站进行调整 # 尝试多种常见的选择器 selectors [ div#list dd a, # 常见结构1 .listmain dd a, # 常见结构2 #chapterlist li a, # 常见结构3 ul.chapter-list li a, # 常见结构4 ] chapter_links [] for selector in selectors: chapter_links soup.select(selector) if chapter_links: print(f使用选择器 {selector} 成功找到 {len(chapter_links)} 个章节链接。) break if not chapter_links: print(警告未找到章节链接请手动检查网页结构并更新 parse_directory 方法中的选择器。) # 作为备选获取页面所有链接不推荐噪音大 # chapter_links soup.find_all(a) for link in chapter_links: title link.get_text().strip() href link.get(href) if href and title: full_url requests.compat.urljoin(base_url, href) chapters.append({title: title, url: full_url}) return chapters def parse_chapter_content(self, html): if not html: return soup BeautifulSoup(html, html.parser) # !!! 重要此选择器需要根据目标网站实际结构修改 !!! content_selectors [ (div, {id: content}), (div, {class: content}), (div, {id: chaptercontent}), (div, {class: chapter-content}), (article, {id: content}), ] content_div None for tag, attrs in content_selectors: content_div soup.find(tag, attrs) if content_div: break if not content_div: return 【正文解析失败请检查页面结构】 # 清理无关元素 for tag in content_div([script, style, div.ad, .ads, div.advertisement]): tag.decompose() # 获取并清洗文本 text content_div.get_text(separator\n, stripTrue) lines [line.strip() for line in text.splitlines() if line.strip()] cleaned_text \n\n.join(lines) return cleaned_text def download_novel(self, directory_url, novel_title): print(f开始下载《{novel_title}》) print(f目录页{directory_url}) dir_html self.get_html(directory_url) if not dir_html: print(获取目录页失败。) return chapters_info self.parse_directory(dir_html, directory_url) if not chapters_info: print(解析章节列表失败。请确认URL是否正确或需要调整 parse_directory 方法。) return total len(chapters_info) print(f找到 {total} 个章节。) all_content [] for i, chap in enumerate(chapters_info, 1): print(f[{i:03d}/{total:03d}] 正在下载{chap[title][:30]}...) # 只显示前30字符 chap_html self.get_html(chap[url]) content self.parse_chapter_content(chap_html) all_content.append({title: chap[title], content: content}) time.sleep(0.3) # 延迟 # 保存 from .utils import save_novel save_novel(novel_title, all_content) print(全部章节处理完毕)4.3 编写主程序入口文件main.py这是用户直接运行的脚本。# main.py import sys import os sys.path.append(os.path.dirname(os.path.abspath(__file__))) from core.downloader import NovelDownloader def main(): print( * 50) print(小说下载工具 v0.1) print( * 50) print(提示请确保目标小说网站可公开访问并遵守其 robots.txt 规定。) print(- * 50) # 用户输入 url input(请输入小说目录页的URL: ).strip() if not url: print(URL不能为空。) return title input(请输入小说名称用于保存文件名: ).strip() if not title: title 下载的小说 # 默认名称 print(- * 50) print(开始执行...) # 创建下载器并执行 downloader NovelDownloader() downloader.download_novel(url, title) print( * 50) print(程序执行结束。) input(按回车键退出...) # 防止窗口一闪而过 if __name__ __main__: main()4.4 运行与验证打开命令行导航到novel_downloader项目根目录。cd /path/to/your/novel_downloader运行程序python main.py根据提示输入当程序提示请输入小说目录页的URL:时粘贴你找到的某个免费小说网站的书籍目录页URL。当程序提示请输入小说名称用于保存文件名:时输入你想保存的文件名例如“斗破苍穹”。观察输出程序会开始打印下载进度。如果一切顺利最终会显示保存路径。查看结果在项目根目录下会生成一个novels文件夹里面有一个以你输入的小说名称命名的.txt文件用记事本或其他文本编辑器打开即可阅读。4.5 结果说明如果程序成功运行你将得到一个本地文本文件里面包含了从指定目录页抓取的所有章节内容并按顺序排列。这个工具的核心框架就完成了。请注意由于不同小说网站的 HTML 结构千差万别上述代码中的parse_directory和parse_chapter_content方法内的选择器如‘div#list dd a’很可能需要针对你具体想抓取的网站进行调整。这是编写定向爬虫的常态你需要使用浏览器的“开发者工具”F12来查看目标网页的元素结构并修改代码中的选择器以匹配。5. 常见问题与排查思路在实际运行中你可能会遇到各种问题。下面列出一些常见情况及其解决方法。问题现象可能原因排查与解决思路运行后立即报错ModuleNotFoundError: No module named ‘requests’未安装必要的第三方库。在命令行中执行pip install requests beautifulsoup4安装依赖。输入URL后程序提示“获取目录页失败”或长时间无响应1. 网络连接问题。2. 目标网站无法访问。3. 请求被网站屏蔽反爬。1. 检查网络。2. 手动在浏览器中打开该URL确认可访问。3. 尝试在headers中添加更多浏览器信息如Referer,Accept-Encoding。4. 增加get_html方法中的timeout和retry次数。程序显示“找到 0 个章节”HTML解析失败选择器不匹配当前网站结构。这是最常见的问题1. 用浏览器打开目录页按F12打开开发者工具。2. 使用“元素选择”工具点击一个章节链接。3. 在Elements面板中观察该链接的HTML结构找到其父级容器的特征如id、class。4. 修改core/downloader.py中parse_directory方法的selectors列表添加或替换为正确的CSS选择器。章节内容下载下来是“【正文解析失败】”或乱码1. 正文区域的选择器不匹配。2. 网页编码识别错误。1. 同目录页问题使用开发者工具分析章节正文所在容器的特征修改parse_chapter_content中的content_selectors列表。2. 尝试在get_html方法中强制指定编码例如resp.encoding ‘utf-8’或resp.encoding ‘gbk’。下载了几章后程序卡住或报错1. 某个章节URL异常请求失败。2. 网站有访问频率限制。1. 检查get_html方法的错误处理确保单章失败不影响整体流程当前代码已跳过失败章节。2. 适当增加time.sleep的延迟时间如从0.3秒增加到1秒或更长。保存的文件名为空或包含非法字符输入的小说名称包含系统不允许作为文件名的字符如 \ / : * ? “ 。程序在Windows命令行中运行输出中文乱码Windows命令行默认编码可能是GBK。1. 临时解决运行程序前在命令行执行chcp 65001切换到UTF-8编码。2. 修改代码在main.py开头添加import io; sys.stdout io.TextIOWrapper(sys.stdout.buffer, encoding‘utf-8’)强制标准输出UTF-8可能不适用于所有环境。6. 最佳实践与工程建议掌握了基础功能后我们可以从工程化角度思考如何让这个工具更健壮、更易用、更安全。6.1 配置化与可扩展性分离选择器配置将不同网站的选择器规则目录选择器、正文选择器提取到外部配置文件如config.yaml或sites.json中。程序根据输入的URL域名自动匹配对应的规则。这样支持新网站时只需添加配置无需修改核心代码。插件化架构为每个支持的网站编写一个单独的解析器类Parser它们继承自一个基础解析器接口。主程序通过工厂模式根据URL创建对应的解析器实例。这是大型爬虫框架如 Scrapy的设计思路。6.2 健壮性与错误处理更精细的异常捕获区分网络错误、解析错误、存储错误并分别处理。例如解析失败时可以记录下失败的章节URL和原因最后生成一个错误报告。断点续传在下载过程中定期将已下载的章节信息标题、URL、本地保存状态保存到一个状态文件如progress.json。如果程序中途中断重启时可以读取状态文件跳过已下载的章节从断点处继续。日志记录使用 Python 的logging模块替代print将运行信息、警告、错误记录到文件中便于后期排查问题。6.3 性能与礼貌并发下载对于章节很多的小说顺序下载速度慢。可以使用concurrent.futures或asyncio实现多线程/异步并发下载显著提升速度。但务必注意控制并发数如3-5个线程并在每个请求间保留适当延迟避免对目标服务器造成攻击性压力。遵守 robots.txt在程序开始时可以尝试读取http://目标网站域名/robots.txt解析其中关于爬虫的规则如Crawl-delay并据此调整请求频率。使用代理IP池如果下载量非常大单一IP容易被封。可以考虑集成代理IP服务在请求失败时自动切换IP。6.4 功能增强多格式输出除了.txt可以集成python-docx库输出.docx或使用ebooklib生成.epub电子书格式。内容去重与清洗有些网站会在正文中插入重复的广告文字。可以编写更复杂的清洗函数例如基于文本模式匹配去除固定的广告头尾。图形界面GUI使用tkinter或PyQt为工具制作一个简单的图形界面方便不熟悉命令行的用户使用。批量任务支持从一个文本文件中读取多个小说URL和名称进行批量下载。6.5 法律与道德边界再强调仅供学习本项目所有代码和技术讲解仅供学习 Python 网络编程和 HTML 解析之用。尊重版权切勿使用此工具下载、传播受版权保护的付费内容。技术的正当使用是每一位开发者的责任。控制频率在自行测试时请将请求延迟设置得高一些如time.sleep(2)做一个“礼貌”的爬虫。查看条款在使用任何网站的数据前请阅读其Terms of Service服务条款。通过这个项目你不仅学会了一个工具的制作更重要的是掌握了分析问题、分解任务、编写代码、调试排错和迭代优化的完整开发流程。这些能力远比工具本身更有价值。你可以以此为基础探索更广阔的爬虫世界例如学习Scrapy框架或者尝试抓取其他类型的数据如天气、新闻、公开数据集等。 Python网络爬虫实战：从零构建小说下载工具
最近在找小说资源时发现很多想看的书要么需要付费要么分散在各个平台阅读体验割裂。如果能有一个工具把全网的小说资源整合起来一键下载到本地用自己喜欢的阅读器打开那该多方便。本文将分享一个基于 Python 的解决方案通过一个脚本实现小说内容的抓取与本地化让你轻松管理个人阅读库。本文将从零开始手把手教你搭建环境、理解核心代码、运行脚本并最终获得一个可用的工具。无论你是 Python 新手想通过实战项目练手还是有一定基础的开发者希望学习网络爬虫和数据处理的实用技巧都能从本文中获得清晰的指引。我们将覆盖从环境配置、代码解析、运行调试到异常处理的完整闭环。1. 背景与核心概念在开始动手之前我们有必要先厘清几个关键概念和这个工具的设计边界。网络爬虫Web Crawler/Spider简单来说这是一种按照一定规则自动抓取互联网上公开信息的程序。我们的工具本质上就是一个针对小说网站结构定制化的爬虫。它模拟浏览器访问网页解析网页HTML代码从中提取出我们关心的内容——小说章节的标题和正文。HTML 解析网页是由 HTML超文本标记语言构成的。爬虫下载到的是包含标签、样式、脚本等内容的原始 HTML 文档。我们需要从中“解析”出纯文本内容。常用的解析库如BeautifulSoup和lxml它们能帮助我们根据标签、CSS 选择器等定位到特定元素。本地化存储将抓取到的网络内容文本、图片等保存到本地计算机的过程。对于小说通常保存为.txt或.epub等格式。本地化存储的好处是离线可读、不受网络限制、便于统一管理。重要声明与合规性尊重版权本工具及教程仅用于技术学习与交流所涉及的网络爬虫技术应严格用于抓取公开、免费的网络资源。请务必尊重作者版权和网站的服务条款不得用于抓取、传播明确声明需要付费或禁止转载的版权内容。遵守 robots.txt在编写爬虫时应检查目标网站的robots.txt文件遵守其中关于爬虫访问频率和目录的限制避免对目标网站服务器造成不必要的压力。个人学习用途通过本项目你将主要学习 Python 网络请求、HTML 解析、文件操作和异常处理等核心编程技能。2. 环境准备与版本说明工欲善其事必先利其器。我们先来准备好开发环境。本项目主要依赖 Python 及其第三方库。2.1 Python 环境Python 是本项目的编程语言。请确保你的电脑上已安装 Python。推荐版本Python 3.7 及以上版本。Python 3.6 已停止官方支持建议使用更新的版本。如何检查打开命令行Windows 上是 CMD 或 PowerShellmacOS/Linux 上是 Terminal输入以下命令python --version或python3 --version如果显示类似Python 3.8.10的信息说明已安装。如果提示“不是内部或外部命令”则需要先安装 Python。安装 Python访问 Python 官方网站下载对应操作系统的安装包安装时请务必勾选 “Add Python to PATH” 选项。2.2 安装必要的第三方库我们将使用requests库来发送网络请求使用BeautifulSoup4来解析 HTML。使用 Python 的包管理工具pip进行安装。在命令行中依次执行以下命令pip install requests beautifulsoup4如果安装速度慢可以使用国内镜像源加速例如清华源pip install requests beautifulsoup4 -i https://pypi.tuna.tsinghua.edu.cn/simple2.3 代码编辑器或 IDE你可以使用任何文本编辑器来编写 Python 代码例如VS Code轻量级且功能强大需安装 Python 扩展。PyCharm专业的 Python IDE社区版免费。Sublime Text / Notepad简单的文本编辑器。选择你熟悉或喜欢的一款即可。2.4 项目结构规划在开始编码前我们先规划一个清晰的目录结构这有助于代码管理。novel_downloader/ ├── main.py # 主程序入口 ├── core/ │ ├── __init__.py │ ├── downloader.py # 核心下载与解析逻辑 │ └── utils.py # 工具函数如保存文件 ├── novels/ # 存放下载的小说文本文件 └── requirements.txt # 项目依赖列表可选你可以先在本地创建一个名为novel_downloader的文件夹然后按照上述结构创建子文件夹和文件。3. 核心原理与代码拆解我们的工具工作流程可以概括为以下几个步骤输入用户提供目标小说的目录页URL。抓取目录程序访问目录页解析出所有章节的链接和标题。遍历章节按顺序访问每一个章节链接。解析内容在章节页面中解析出章节正文内容。保存内容将章节标题和正文按顺序保存到本地文本文件中。异常处理与进度显示处理网络超时、解析失败等情况并给用户友好的进度提示。下面我们分模块拆解核心代码。3.1 网络请求与伪装requests直接使用requests.get(url)可能会被一些网站识别为爬虫并拒绝访问。因此我们需要设置请求头Headers来模拟真实浏览器的行为。# core/downloader.py 片段 import requests from bs4 import BeautifulSoup import time import os class NovelDownloader: def __init__(self): # 定义请求头模拟浏览器访问 self.headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, } self.session requests.Session() # 使用Session可以保持一些连接状态效率稍高 def get_html(self, url, retry3): 获取网页HTML内容包含重试机制 for i in range(retry): try: # 设置超时时间避免长时间等待 response self.session.get(url, headersself.headers, timeout10) response.raise_for_status() # 如果状态码不是200抛出HTTPError异常 # 通常需要指定编码中文网站常用 utf-8 或 gbk response.encoding response.apparent_encoding # 自动判断编码 return response.text except requests.exceptions.RequestException as e: print(f第{i1}次尝试请求 {url} 失败: {e}) if i retry - 1: time.sleep(2) # 等待2秒后重试 else: print(f请求 {url} 最终失败跳过。) return None关键点解释User-Agent告诉服务器我们是什么浏览器。这是最基本的反爬措施。timeout10设置10秒超时防止因网络问题导致程序长时间卡住。response.raise_for_status()这是一个好习惯确保我们只处理成功的响应。retry机制网络请求不稳定加入重试逻辑可以提高鲁棒性。response.encoding正确设置编码至关重要否则会出现乱码。apparent_encoding是requests库推测的编码通常比较准确。3.2 HTML 解析BeautifulSoup获取到 HTML 后我们需要从中提取有用的信息。这需要分析目标网页的结构。假设我们有一个小说目录页其HTML结构大致如下div idlist dl dt正文卷/dt dda href/book/123/1.html第一章 开局/a/dd dda href/book/123/2.html第二章 奇遇/a/dd !-- 更多章节... -- /dl /div我们的解析代码需要定位到idlist的div然后找到里面所有的dd a标签。# core/downloader.py 片段 def parse_directory(self, html, base_url): 解析目录页获取所有章节的链接和标题 if not html: return [] soup BeautifulSoup(html, html.parser) chapters [] # 这里的选择器需要根据实际网站结构调整 # 示例找到id为‘list’的div下的所有a标签 chapter_links soup.select(div#list dd a) for link in chapter_links: title link.get_text().strip() href link.get(href) if not href: continue # 处理相对链接拼接成完整URL full_url requests.compat.urljoin(base_url, href) chapters.append({title: title, url: full_url}) return chapters关键点解释BeautifulSoup(html, html.parser)使用 Python 内置的html.parser解析器创建 BeautifulSoup 对象。你也可以安装lxml库并使用lxml解析器速度更快。soup.select(‘div#list dd a’)使用 CSS 选择器语法来定位元素。这是BeautifulSoup非常强大的功能。你需要根据目标网站的实际 HTML 结构来调整这个选择器。requests.compat.urljoin(base_url, href)这是一个非常实用的函数用于将可能为相对路径的href拼接成完整的绝对 URL。3.3 内容提取与清洗进入章节页面后我们需要找到正文所在的 HTML 元素。同样需要分析页面结构。假设章节正文在一个idcontent的div中div idcontent p这里是第一章的正文内容.../p p第二段内容.../p div classad广告内容需要过滤/div p第三段内容.../p /div我们的目标是提取所有属于正文的p标签文本并过滤掉广告等无关内容。# core/downloader.py 片段 def parse_chapter_content(self, html): 解析章节页面获取正文内容 if not html: return soup BeautifulSoup(html, html.parser) # 找到正文容器选择器需根据实际情况调整 content_div soup.find(div, idcontent) if not content_div: # 如果找不到尝试其他常见选择器 content_div soup.find(div, class_content) if not content_div: return 【正文解析失败】 # 清理内容移除脚本、样式、广告等标签 for tag in content_div([script, style, div.ad, div.ads]): tag.decompose() # 彻底移除这些标签及其内容 # 获取文本并处理空白字符 text content_div.get_text(separator\n, stripTrue) # 进一步清洗合并多余空行 lines [line.strip() for line in text.splitlines() if line.strip()] cleaned_text \n\n.join(lines) return cleaned_text关键点解释soup.find(‘div’, id‘content’)使用find方法查找第一个匹配的标签。find_all用于查找所有匹配的。tag.decompose()将标签从 DOM 树中完全移除常用于清理无关元素。get_text(separator‘\n’, stripTrue)获取标签内所有文本用换行符连接并去除首尾空格。文本清洗网页文本常包含大量换行和空格通过splitlines和join进行规整使最终保存的文本更整洁。3.4 文件保存与进度管理我们需要将抓取到的章节按顺序保存到一个文件中并实时向用户反馈进度。# core/utils.py import os def save_novel(novel_title, chapters_content, save_dirnovels): 将小说内容保存到文件 # 确保保存目录存在 if not os.path.exists(save_dir): os.makedirs(save_dir) # 文件名处理移除非法字符 safe_title .join([c for c in novel_title if c.isalnum() or c in ( , -, _)]).rstrip() file_path os.path.join(save_dir, f{safe_title}.txt) with open(file_path, w, encodingutf-8) as f: for chapter in chapters_content: f.write(chapter[title] \n) # 写入章节标题 f.write(chapter[content] \n\n) # 写入章节正文空两行分隔 print(f小说已保存至{file_path}) return file_path# core/downloader.py 片段 (在 NovelDownloader 类中) def download_novel(self, directory_url, novel_title): 下载小说的主流程 print(f开始处理小说《{novel_title}》) print(f目录页URL{directory_url}) # 1. 获取并解析目录 print(正在获取目录...) dir_html self.get_html(directory_url) if not dir_html: print(获取目录失败程序退出。) return chapters_info self.parse_directory(dir_html, directory_url) if not chapters_info: print(未解析到任何章节请检查目录页URL或解析规则。) return total_chapters len(chapters_info) print(f共发现 {total_chapters} 个章节。) # 2. 遍历下载每个章节 chapters_content [] for idx, chap_info in enumerate(chapters_info, 1): print(f正在下载 [{idx}/{total_chapters}]{chap_info[title]}) chap_html self.get_html(chap_info[url]) content self.parse_chapter_content(chap_html) chapters_content.append({ title: chap_info[title], content: content }) # 礼貌性延迟避免请求过快 time.sleep(0.5) # 3. 保存到文件 from .utils import save_novel # 导入工具函数 save_novel(novel_title, chapters_content) print(下载完成)关键点解释os.makedirs(save_dir, exist_okTrue)创建目录如果目录已存在也不会报错。time.sleep(0.5)在请求之间加入短暂延迟这是“礼貌性爬虫”的体现可以减轻目标网站服务器的压力降低被封IP的风险。这个时间间隔可以根据需要调整。进度提示使用[{idx}/{total_chapters}]的格式让用户清晰了解下载进度。4. 完整实战案例构建并运行下载器现在我们将上述模块组合起来创建一个完整的、可运行的程序。4.1 创建项目文件结构按照之前规划的目录创建以下文件novel_downloader/ ├── main.py ├── core/ │ ├── __init__.py (空文件) │ ├── downloader.py │ └── utils.py └── (运行后会自动生成 novels 文件夹)4.2 编写核心模块代码文件core/__init__.py这是一个空文件它的存在使得core目录成为一个 Python 包允许我们使用from core import xxx的语法。文件core/utils.py# core/utils.py import os def save_novel(novel_title, chapters_content, save_dirnovels): 将小说内容保存到文件 if not os.path.exists(save_dir): os.makedirs(save_dir) # 文件名处理移除可能造成问题的字符 safe_title .join([c for c in novel_title if c.isalnum() or c in ( , -, _)]).rstrip() if not safe_title: safe_title 未命名小说 file_path os.path.join(save_dir, f{safe_title}.txt) try: with open(file_path, w, encodingutf-8) as f: for chapter in chapters_content: f.write(chapter[title] \n) f.write(chapter[content] \n\n) # 章节间空两行 print(f√ 小说已成功保存至{file_path}) return file_path except IOError as e: print(f× 保存文件时出错{e}) return None文件core/downloader.py将前面第3节拆解的所有NovelDownloader类的方法整合到这个文件中。以下是完整类定义的示例# core/downloader.py import requests from bs4 import BeautifulSoup import time import os class NovelDownloader: def __init__(self): self.headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, } self.session requests.Session() def get_html(self, url, retry3): for i in range(retry): try: resp self.session.get(url, headersself.headers, timeout10) resp.raise_for_status() resp.encoding resp.apparent_encoding return resp.text except requests.exceptions.RequestException as e: print(f请求失败 ({i1}/{retry}): {url} - {e}) if i retry - 1: time.sleep(2) else: return None def parse_directory(self, html, base_url): if not html: return [] soup BeautifulSoup(html, html.parser) chapters [] # !!! 重要此选择器需要根据目标网站实际结构修改 !!! # 这里是一个通用性较强的尝试可能需要对不同网站进行调整 # 尝试多种常见的选择器 selectors [ div#list dd a, # 常见结构1 .listmain dd a, # 常见结构2 #chapterlist li a, # 常见结构3 ul.chapter-list li a, # 常见结构4 ] chapter_links [] for selector in selectors: chapter_links soup.select(selector) if chapter_links: print(f使用选择器 {selector} 成功找到 {len(chapter_links)} 个章节链接。) break if not chapter_links: print(警告未找到章节链接请手动检查网页结构并更新 parse_directory 方法中的选择器。) # 作为备选获取页面所有链接不推荐噪音大 # chapter_links soup.find_all(a) for link in chapter_links: title link.get_text().strip() href link.get(href) if href and title: full_url requests.compat.urljoin(base_url, href) chapters.append({title: title, url: full_url}) return chapters def parse_chapter_content(self, html): if not html: return soup BeautifulSoup(html, html.parser) # !!! 重要此选择器需要根据目标网站实际结构修改 !!! content_selectors [ (div, {id: content}), (div, {class: content}), (div, {id: chaptercontent}), (div, {class: chapter-content}), (article, {id: content}), ] content_div None for tag, attrs in content_selectors: content_div soup.find(tag, attrs) if content_div: break if not content_div: return 【正文解析失败请检查页面结构】 # 清理无关元素 for tag in content_div([script, style, div.ad, .ads, div.advertisement]): tag.decompose() # 获取并清洗文本 text content_div.get_text(separator\n, stripTrue) lines [line.strip() for line in text.splitlines() if line.strip()] cleaned_text \n\n.join(lines) return cleaned_text def download_novel(self, directory_url, novel_title): print(f开始下载《{novel_title}》) print(f目录页{directory_url}) dir_html self.get_html(directory_url) if not dir_html: print(获取目录页失败。) return chapters_info self.parse_directory(dir_html, directory_url) if not chapters_info: print(解析章节列表失败。请确认URL是否正确或需要调整 parse_directory 方法。) return total len(chapters_info) print(f找到 {total} 个章节。) all_content [] for i, chap in enumerate(chapters_info, 1): print(f[{i:03d}/{total:03d}] 正在下载{chap[title][:30]}...) # 只显示前30字符 chap_html self.get_html(chap[url]) content self.parse_chapter_content(chap_html) all_content.append({title: chap[title], content: content}) time.sleep(0.3) # 延迟 # 保存 from .utils import save_novel save_novel(novel_title, all_content) print(全部章节处理完毕)4.3 编写主程序入口文件main.py这是用户直接运行的脚本。# main.py import sys import os sys.path.append(os.path.dirname(os.path.abspath(__file__))) from core.downloader import NovelDownloader def main(): print( * 50) print(小说下载工具 v0.1) print( * 50) print(提示请确保目标小说网站可公开访问并遵守其 robots.txt 规定。) print(- * 50) # 用户输入 url input(请输入小说目录页的URL: ).strip() if not url: print(URL不能为空。) return title input(请输入小说名称用于保存文件名: ).strip() if not title: title 下载的小说 # 默认名称 print(- * 50) print(开始执行...) # 创建下载器并执行 downloader NovelDownloader() downloader.download_novel(url, title) print( * 50) print(程序执行结束。) input(按回车键退出...) # 防止窗口一闪而过 if __name__ __main__: main()4.4 运行与验证打开命令行导航到novel_downloader项目根目录。cd /path/to/your/novel_downloader运行程序python main.py根据提示输入当程序提示请输入小说目录页的URL:时粘贴你找到的某个免费小说网站的书籍目录页URL。当程序提示请输入小说名称用于保存文件名:时输入你想保存的文件名例如“斗破苍穹”。观察输出程序会开始打印下载进度。如果一切顺利最终会显示保存路径。查看结果在项目根目录下会生成一个novels文件夹里面有一个以你输入的小说名称命名的.txt文件用记事本或其他文本编辑器打开即可阅读。4.5 结果说明如果程序成功运行你将得到一个本地文本文件里面包含了从指定目录页抓取的所有章节内容并按顺序排列。这个工具的核心框架就完成了。请注意由于不同小说网站的 HTML 结构千差万别上述代码中的parse_directory和parse_chapter_content方法内的选择器如‘div#list dd a’很可能需要针对你具体想抓取的网站进行调整。这是编写定向爬虫的常态你需要使用浏览器的“开发者工具”F12来查看目标网页的元素结构并修改代码中的选择器以匹配。5. 常见问题与排查思路在实际运行中你可能会遇到各种问题。下面列出一些常见情况及其解决方法。问题现象可能原因排查与解决思路运行后立即报错ModuleNotFoundError: No module named ‘requests’未安装必要的第三方库。在命令行中执行pip install requests beautifulsoup4安装依赖。输入URL后程序提示“获取目录页失败”或长时间无响应1. 网络连接问题。2. 目标网站无法访问。3. 请求被网站屏蔽反爬。1. 检查网络。2. 手动在浏览器中打开该URL确认可访问。3. 尝试在headers中添加更多浏览器信息如Referer,Accept-Encoding。4. 增加get_html方法中的timeout和retry次数。程序显示“找到 0 个章节”HTML解析失败选择器不匹配当前网站结构。这是最常见的问题1. 用浏览器打开目录页按F12打开开发者工具。2. 使用“元素选择”工具点击一个章节链接。3. 在Elements面板中观察该链接的HTML结构找到其父级容器的特征如id、class。4. 修改core/downloader.py中parse_directory方法的selectors列表添加或替换为正确的CSS选择器。章节内容下载下来是“【正文解析失败】”或乱码1. 正文区域的选择器不匹配。2. 网页编码识别错误。1. 同目录页问题使用开发者工具分析章节正文所在容器的特征修改parse_chapter_content中的content_selectors列表。2. 尝试在get_html方法中强制指定编码例如resp.encoding ‘utf-8’或resp.encoding ‘gbk’。下载了几章后程序卡住或报错1. 某个章节URL异常请求失败。2. 网站有访问频率限制。1. 检查get_html方法的错误处理确保单章失败不影响整体流程当前代码已跳过失败章节。2. 适当增加time.sleep的延迟时间如从0.3秒增加到1秒或更长。保存的文件名为空或包含非法字符输入的小说名称包含系统不允许作为文件名的字符如 \ / : * ? “ 。程序在Windows命令行中运行输出中文乱码Windows命令行默认编码可能是GBK。1. 临时解决运行程序前在命令行执行chcp 65001切换到UTF-8编码。2. 修改代码在main.py开头添加import io; sys.stdout io.TextIOWrapper(sys.stdout.buffer, encoding‘utf-8’)强制标准输出UTF-8可能不适用于所有环境。6. 最佳实践与工程建议掌握了基础功能后我们可以从工程化角度思考如何让这个工具更健壮、更易用、更安全。6.1 配置化与可扩展性分离选择器配置将不同网站的选择器规则目录选择器、正文选择器提取到外部配置文件如config.yaml或sites.json中。程序根据输入的URL域名自动匹配对应的规则。这样支持新网站时只需添加配置无需修改核心代码。插件化架构为每个支持的网站编写一个单独的解析器类Parser它们继承自一个基础解析器接口。主程序通过工厂模式根据URL创建对应的解析器实例。这是大型爬虫框架如 Scrapy的设计思路。6.2 健壮性与错误处理更精细的异常捕获区分网络错误、解析错误、存储错误并分别处理。例如解析失败时可以记录下失败的章节URL和原因最后生成一个错误报告。断点续传在下载过程中定期将已下载的章节信息标题、URL、本地保存状态保存到一个状态文件如progress.json。如果程序中途中断重启时可以读取状态文件跳过已下载的章节从断点处继续。日志记录使用 Python 的logging模块替代print将运行信息、警告、错误记录到文件中便于后期排查问题。6.3 性能与礼貌并发下载对于章节很多的小说顺序下载速度慢。可以使用concurrent.futures或asyncio实现多线程/异步并发下载显著提升速度。但务必注意控制并发数如3-5个线程并在每个请求间保留适当延迟避免对目标服务器造成攻击性压力。遵守 robots.txt在程序开始时可以尝试读取http://目标网站域名/robots.txt解析其中关于爬虫的规则如Crawl-delay并据此调整请求频率。使用代理IP池如果下载量非常大单一IP容易被封。可以考虑集成代理IP服务在请求失败时自动切换IP。6.4 功能增强多格式输出除了.txt可以集成python-docx库输出.docx或使用ebooklib生成.epub电子书格式。内容去重与清洗有些网站会在正文中插入重复的广告文字。可以编写更复杂的清洗函数例如基于文本模式匹配去除固定的广告头尾。图形界面GUI使用tkinter或PyQt为工具制作一个简单的图形界面方便不熟悉命令行的用户使用。批量任务支持从一个文本文件中读取多个小说URL和名称进行批量下载。6.5 法律与道德边界再强调仅供学习本项目所有代码和技术讲解仅供学习 Python 网络编程和 HTML 解析之用。尊重版权切勿使用此工具下载、传播受版权保护的付费内容。技术的正当使用是每一位开发者的责任。控制频率在自行测试时请将请求延迟设置得高一些如time.sleep(2)做一个“礼貌”的爬虫。查看条款在使用任何网站的数据前请阅读其Terms of Service服务条款。通过这个项目你不仅学会了一个工具的制作更重要的是掌握了分析问题、分解任务、编写代码、调试排错和迭代优化的完整开发流程。这些能力远比工具本身更有价值。你可以以此为基础探索更广阔的爬虫世界例如学习Scrapy框架或者尝试抓取其他类型的数据如天气、新闻、公开数据集等。