很多朋友在学习Python时对爬虫技术充满好奇但面对零散的教程和复杂的反爬机制常常感到无从下手。本文旨在提供一个系统、完整的Python爬虫实战入门指南汇集了18个由浅入深的实战案例每个案例都配有可直接运行的源码。无论你是编程小白还是有一定基础想巩固技能的开发者都能通过本文掌握从环境搭建、基础请求到数据解析、存储乃至应对常见反爬策略的全流程。学完后你将能够独立完成多种类型网站的爬取任务。1. Python爬虫核心概念与环境准备1.1 什么是网络爬虫网络爬虫Web Crawler是一种按照预设规则自动抓取互联网信息的程序或脚本。它模拟浏览器行为向目标网站服务器发送请求获取返回的HTML、JSON等数据并从中提取出有价值的信息。爬虫技术广泛应用于搜索引擎、数据分析、价格监控、舆情分析等领域。对于初学者需要理解几个关键概念请求Request 你的程序向服务器索要数据的过程。响应Response 服务器返回给你的数据包含状态码如200成功404未找到和内容。解析Parsing 从服务器返回的复杂内容如HTML中提取出你需要的结构化数据如标题、价格、链接。1.2 环境搭建与必备库安装工欲善其事必先利其器。开始爬虫实战前需要配置好Python环境并安装核心库。1. 安装Python访问Python官网下载并安装最新稳定版如Python 3.8。安装时务必勾选“Add Python to PATH”。2. 安装爬虫核心库打开命令行CMD或终端使用pip命令安装以下库它们是后续所有案例的基石。# 用于发送HTTP请求 pip install requests # 用于解析HTML和XML文档提取数据 pip install beautifulsoup4 # 一个强大的解析库支持XPath和CSS选择器 pip install lxml # 用于处理表格数据常用于数据清洗和保存 pip install pandas # 一个异步网络框架用于高性能爬取 pip install aiohttp3. 选择开发工具推荐使用PyCharm、VS Code或Jupyter Notebook它们能提供良好的代码提示和调试环境。2. 爬虫基础请求与解析2.1 第一个爬虫获取网页源代码我们从一个最简单的例子开始使用requests库获取一个网页的全部内容。import requests # 目标URL url ‘https://httpbin.org/get‘ # 发送GET请求 response requests.get(url) # 打印HTTP状态码 print(‘状态码‘, response.status_code) # 打印网页的文本内容HTML/JSON等 print(‘响应内容‘, response.text)代码解析requests.get(url) 向指定的url发送一个HTTP GET请求。response.status_code 服务器返回的状态码200表示成功。response.text 服务器返回的响应体内容通常是字符串格式的HTML或JSON。运行结果你会看到返回了一个JSON格式的数据其中包含了你的请求头等信息。这是一个用于测试HTTP请求的网站。2.2 解析HTMLBeautifulSoup入门获取到HTML后我们需要从中提取特定信息。BeautifulSoup是最常用的解析库之一。假设我们有一个简单的HTML字符串html headtitle测试页面/title/head body h1 class“title”欢迎来到爬虫世界/h1 p id“content”这是一个段落。/p ul li列表项1/li li列表项2/li /ul /body /html使用BeautifulSoup进行解析from bs4 import BeautifulSoup html_doc “”“ html...上面的HTML内容... /html ”“” # 创建BeautifulSoup对象指定解析器为‘lxml‘ soup BeautifulSoup(html_doc, ‘lxml‘) # 1. 通过标签名查找返回第一个匹配的标签 title_tag soup.title print(‘标题标签‘, title_tag) # title测试页面/title print(‘标题文本‘, title_tag.string) # 测试页面 # 2. 通过属性查找如class, id h1_tag soup.find(‘h1‘, class_‘title‘) # class是Python关键字所以用class_ print(‘H1文本‘, h1_tag.text) # 欢迎来到爬虫世界 p_tag soup.find(‘p‘, id‘content‘) print(‘P文本‘, p_tag.text) # 这是一个段落。 # 3. 查找多个元素 li_tags soup.find_all(‘li‘) for li in li_tags: print(‘列表项‘, li.text) # 输出 # 列表项 列表项1 # 列表项 列表项23. 实战案例一静态网页爬取豆瓣电影Top250这是一个经典的静态网页爬虫案例目标网站结构清晰适合新手练习。3.1 需求分析爬取豆瓣电影Top250https://movie.douban.com/top250每一页的电影名称、评分、简介引言。3.2 代码实现import requests from bs4 import BeautifulSoup import time import pandas as pd def crawl_douban_top250(): headers { ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36‘ } base_url ‘https://movie.douban.com/top250‘ movie_list [] for start in range(0, 250, 25): # 总共10页每页25条 url f‘{base_url}?start{start}‘ print(f‘正在爬取{url}‘) try: response requests.get(url, headersheaders) response.raise_for_status() # 如果状态码不是200抛出异常 response.encoding ‘utf-8‘ soup BeautifulSoup(response.text, ‘lxml‘) # 找到所有电影信息所在的div items soup.find_all(‘div‘, class_‘item‘) for item in items: # 电影标题包含中文名和原名 title_div item.find(‘div‘, class_‘hd‘) title title_div.find(‘span‘, class_‘title‘).text.strip() if title_div else ‘N/A‘ # 评分 rating_span item.find(‘span‘, class_‘rating_num‘) rating rating_span.text.strip() if rating_span else ‘N/A‘ # 简介/引言 quote_span item.find(‘span‘, class_‘inq‘) quote quote_span.text.strip() if quote_span else ‘N/A‘ movie_list.append({ ‘标题‘: title, ‘评分‘: rating, ‘引言‘: quote }) except requests.RequestException as e: print(f‘请求出错{e}‘) break # 礼貌爬取避免请求过快 time.sleep(2) return movie_list if __name__ ‘__main__‘: movies crawl_douban_top250() print(f‘共爬取到 {len(movies)} 部电影信息。‘) # 使用pandas保存为CSV文件 df pd.DataFrame(movies) df.to_csv(‘douban_top250.csv‘, indexFalse, encoding‘utf_8_sig‘) # 编码确保中文正常 print(‘数据已保存至 douban_top250.csv‘) # 打印前5条看看 print(df.head())3.3 关键点解析请求头Headers 添加User-Agent模拟浏览器访问是绕过基础反爬的第一步。分页处理 观察URL规律?start参数控制起始条目实现循环翻页。异常处理 使用try-except捕获网络请求异常增强程序健壮性。数据存储 使用pandas将列表数据轻松保存为CSV文件便于后续分析。延迟time.sleep 在循环中增加延时是对目标网站友好的做法避免IP被封。4. 实战案例二动态数据爬取Ajax请求分析许多现代网站如电商、社交媒体使用Ajax技术动态加载数据直接爬取HTML得不到内容。这时需要分析网络请求。4.1 案例爬取某新闻网站的热榜标题假设一个新闻网站的热榜数据是通过Ajax接口/api/news/hotlist以JSON格式返回的。步骤打开浏览器开发者工具F12切换到Network网络选项卡。刷新页面或点击加载更多观察出现的网络请求。找到一个返回JSON数据的请求Type可能是xhr或fetch其Response正是我们需要的数据。复制这个请求的URL和必要的Headers如可能需要的Authorization、Referer。4.2 代码实现import requests import json def crawl_ajax_news(): # 通过分析找到的Ajax接口URL ajax_url ‘https://example.com/api/news/hotlist‘ # 此处为示例URL需替换 headers { ‘User-Agent‘: ‘Mozilla/5.0...‘, ‘Referer‘: ‘https://example.com/‘, # 有时需要添加来源页 ‘X-Requested-With‘: ‘XMLHttpRequest‘ # 声明是Ajax请求 } # 如果有分页或查询参数 params { ‘page‘: 1, ‘size‘: 20 } try: response requests.get(ajax_url, headersheaders, paramsparams) data response.json() # 直接将响应内容解析为JSON字典/列表 # 假设返回的JSON结构为 {“code“:0, “data“: {“list“: [...]}} news_list data.get(‘data‘, {}).get(‘list‘, []) for news in news_list: title news.get(‘title‘) source news.get(‘source‘) print(f‘标题{title} | 来源{source}‘) except requests.RequestException as e: print(f‘请求失败{e}‘) except json.JSONDecodeError as e: print(f‘JSON解析失败{e}‘) print(‘原始响应‘, response.text[:200]) # 打印前200字符辅助调试 if __name__ ‘__main__‘: crawl_ajax_news()4.3 核心技巧使用.json()方法 当接口返回JSON时直接使用response.json()解析成Python数据结构。分析请求参数 仔细查看Headers和Query Parameters缺失关键参数可能导致请求失败。处理复杂认证 有些接口需要Cookie、Token或Sign签名这些需要从首次页面请求中获取或模拟生成。5. 实战案例三处理登录与会话Session爬取需要登录才能访问的页面如个人中心时必须维持登录状态。requests.Session()可以帮我们自动管理Cookies。5.1 模拟登录流程import requests from bs4 import BeautifulSoup def login_with_session(): login_url ‘https://example.com/login‘ target_url ‘https://example.com/dashboard‘ # 创建一个会话对象 session requests.Session() # 1. 首先可能需要获取登录页面的token或验证码如果需要 # 这里以获取一个简单的CSRF token为例 login_page_resp session.get(login_url) soup BeautifulSoup(login_page_resp.text, ‘lxml‘) # 假设token在name‘csrf_token‘的input标签的value里 csrf_token soup.find(‘input‘, {‘name‘: ‘csrf_token‘}).get(‘value‘, ‘‘) # 2. 构造登录数据 login_data { ‘username‘: ‘your_username‘, # 替换为你的用户名 ‘password‘: ‘your_password‘, # 替换为你的密码 ‘csrf_token‘: csrf_token, ‘remember‘: ‘on‘ } # 3. 发送登录请求 login_response session.post(login_url, datalogin_data) # 检查登录是否成功根据实际情况判断如跳转、返回特定文本 if ‘登录成功‘ in login_response.text or login_response.url target_url: print(‘登录成功‘) else: print(‘登录可能失败。‘) return # 4. 使用同一个session访问需要登录的页面会自动携带登录后的cookies dashboard_response session.get(target_url) # 解析dashboard页面内容... # soup BeautifulSoup(dashboard_response.text, ‘lxml‘) # ... 你的解析代码 print(‘已成功访问受保护页面。‘) if __name__ ‘__main__‘: login_with_session()6. 实战案例四存储到数据库SQLite将爬取的数据存入数据库便于管理和复杂查询。SQLite是一个轻量级数据库无需安装服务器。6.1 创建数据库与表import sqlite3 import pandas as pd from datetime import datetime def init_database(): # 连接到数据库如果不存在则创建 conn sqlite3.connect(‘spider_data.db‘) cursor conn.cursor() # 创建电影信息表 create_table_sql “”“ CREATE TABLE IF NOT EXISTS movies ( id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT NOT NULL, rating REAL, quote TEXT, crawl_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP ) ”“” cursor.execute(create_table_sql) conn.commit() print(‘数据库表创建成功‘) conn.close() def save_to_database(movie_list): conn sqlite3.connect(‘spider_data.db‘) cursor conn.cursor() for movie in movie_list: insert_sql “”“ INSERT INTO movies (title, rating, quote) VALUES (?, ?, ?) ”“” # 安全地插入数据防止SQL注入 cursor.execute(insert_sql, (movie[‘标题‘], movie[‘评分‘], movie[‘引言‘])) conn.commit() print(f‘成功插入 {len(movie_list)} 条数据。‘) conn.close() # 假设我们有一个从豆瓣爬取的movie_list # init_database() # save_to_database(movie_list) # 从数据库读取数据到pandas DataFrame def read_from_database(): conn sqlite3.connect(‘spider_data.db‘) # 直接使用pandas的read_sql查询非常方便 df pd.read_sql_query(‘SELECT * FROM movies‘, conn) conn.close() return df7. 常见反爬策略与应对措施7.1 User-Agent检测现象 请求被拒绝返回403或简单提示。解决 在请求头中设置常见的浏览器User-Agent。headers { ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36‘ } response requests.get(url, headersheaders)7.2 IP频率限制现象 短时间内请求过多IP被暂时或永久封禁。解决降低请求频率 在循环中使用time.sleep(random.uniform(1, 3))增加随机延时。使用代理IP池 通过轮换不同IP来发送请求。proxies { ‘http‘: ‘http://your_proxy_ip:port‘, ‘https‘: ‘https://your_proxy_ip:port‘, } # 使用免费代理需谨慎稳定性和安全性无保障 response requests.get(url, proxiesproxies, timeout5)7.3 验证码现象 登录或频繁访问后需要输入验证码。解决识别简单图形验证码 使用pytesseractOCR库或django-simple-captcha等但成功率有限。使用打码平台 付费调用第三方API进行识别。最佳实践 优化爬虫策略避免触发验证码。7.4 数据动态加载JavaScript渲染现象 在浏览器中能看到数据但爬取的HTML中没有。解决分析Ajax接口 如案例二所述找到数据接口。使用Selenium或Playwright 自动化浏览器直接获取渲染后的页面。from selenium import webdriver from selenium.webdriver.common.by import By driver webdriver.Chrome() # 需要下载对应浏览器的WebDriver driver.get(url) # 等待页面加载完成 driver.implicitly_wait(10) # 获取渲染后的页面源码 html driver.page_source # 然后用BeautifulSoup解析html driver.quit()注意Selenium速度慢资源消耗大仅作为最后手段。8. 18个实战案例概览与源码指引以下是本文涵盖的18个实战案例方向每个都提供了核心解决思路。完整源码因篇幅限制无法全部贴出但已按主题整理成可运行的脚本。基础入门系列获取网页标题与链接 练习requests和BeautifulSoup基础。爬取静态表格数据 如爬取全国城市天气信息。下载图片到本地 爬取壁纸网站图片并保存。爬取分页列表信息 如爬取博客文章列表标题、发布时间、阅读量。解析JSON格式API 爬取公开的天气API或汇率API数据。中级应用系列 6.模拟登录并爬取个人信息 使用Session维持登录态。 7.爬取Ajax动态加载的数据 如某电商网站滚动加载的商品列表。 8.使用Selenium爬取JavaScript渲染页面 爬取需要JS交互才能显示的内容。 9.爬取数据并存入CSV/Excel 使用pandas进行数据清洗和保存。 10.爬取数据并存入SQLite/MySQL数据库 建立持久化存储。 11.定时爬虫任务 使用schedule或APScheduler库定时执行爬虫。 12.爬取带有验证码的网站简单处理 介绍绕过思路和打码平台集成。综合实战与进阶系列 13.爬虫框架Scrapy入门项目 创建第一个Scrapy爬虫体验框架的高效。 14.爬取图片并生成PDF 综合应用爬虫、图片处理和PDF生成。 15.爬取股票数据并简单可视化 使用mplfinance绘制K线图。 16.爬取二手房信息并进行数据分析 数据清洗、聚合与可视化。 17.构建简单的代理IP池 从免费网站抓取并验证代理IP。 18.分布式爬虫概念与Celery初步应用 了解如何利用消息队列分发爬虫任务。9. 工程最佳实践与注意事项9.1 代码组织与可维护性模块化 将请求函数、解析函数、存储函数分离到不同模块或类中。配置文件 将数据库连接信息、请求头、URL等配置项写入config.py或settings.ini。日志记录 使用logging模块记录程序运行状态、错误信息便于排查。import logging logging.basicConfig(levellogging.INFO, format‘%(asctime)s - %(levelname)s: %(message)s‘)9.2 健壮性与错误处理网络异常 对所有网络请求使用try-except包裹捕获requests.exceptions下的各种异常如超时、连接错误。数据缺失 在解析时使用.get()方法或判断标签是否存在避免因个别数据缺失导致程序崩溃。设置超时requests.get(url, timeout10)防止程序长时间卡住。9.3 遵守Robots协议与法律法规尊重Robots.txt 在爬取前访问网站域名/robots.txt查看该网站是否允许爬虫爬取目标路径。控制爬取速度 避免对目标网站服务器造成过大压力。注意数据版权与隐私 爬取的数据仅用于个人学习与研究不得用于商业用途或侵犯他人隐私。切勿爬取敏感个人信息。明确禁止则不为 对于明确声明禁止爬取的网站或需要付费获取的数据接口应主动规避。9.4 性能优化方向并发请求 对于大量独立URL可以使用concurrent.futures线程池或aiohttp异步库提高效率。缓存机制 对不变或更新慢的页面可以将响应内容缓存到本地或数据库避免重复请求。增量爬取 只爬取新增或更新的内容而不是每次都全量爬取。学习爬虫是一个从模仿到理解再到创新的过程。建议从本文的简单案例入手运行每一段代码观察结果并尝试修改代码去爬取你感兴趣的网站。遇到问题时善用搜索引擎和开发者工具进行调试。记住耐心和细心是爬虫工程师最重要的品质。
很多朋友在学习Python时对爬虫技术充满好奇但面对零散的教程和复杂的反爬机制常常感到无从下手。本文旨在提供一个系统、完整的Python爬虫实战入门指南汇集了18个由浅入深的实战案例每个案例都配有可直接运行的源码。无论你是编程小白还是有一定基础想巩固技能的开发者都能通过本文掌握从环境搭建、基础请求到数据解析、存储乃至应对常见反爬策略的全流程。学完后你将能够独立完成多种类型网站的爬取任务。1. Python爬虫核心概念与环境准备1.1 什么是网络爬虫网络爬虫Web Crawler是一种按照预设规则自动抓取互联网信息的程序或脚本。它模拟浏览器行为向目标网站服务器发送请求获取返回的HTML、JSON等数据并从中提取出有价值的信息。爬虫技术广泛应用于搜索引擎、数据分析、价格监控、舆情分析等领域。对于初学者需要理解几个关键概念请求Request 你的程序向服务器索要数据的过程。响应Response 服务器返回给你的数据包含状态码如200成功404未找到和内容。解析Parsing 从服务器返回的复杂内容如HTML中提取出你需要的结构化数据如标题、价格、链接。1.2 环境搭建与必备库安装工欲善其事必先利其器。开始爬虫实战前需要配置好Python环境并安装核心库。1. 安装Python访问Python官网下载并安装最新稳定版如Python 3.8。安装时务必勾选“Add Python to PATH”。2. 安装爬虫核心库打开命令行CMD或终端使用pip命令安装以下库它们是后续所有案例的基石。# 用于发送HTTP请求 pip install requests # 用于解析HTML和XML文档提取数据 pip install beautifulsoup4 # 一个强大的解析库支持XPath和CSS选择器 pip install lxml # 用于处理表格数据常用于数据清洗和保存 pip install pandas # 一个异步网络框架用于高性能爬取 pip install aiohttp3. 选择开发工具推荐使用PyCharm、VS Code或Jupyter Notebook它们能提供良好的代码提示和调试环境。2. 爬虫基础请求与解析2.1 第一个爬虫获取网页源代码我们从一个最简单的例子开始使用requests库获取一个网页的全部内容。import requests # 目标URL url ‘https://httpbin.org/get‘ # 发送GET请求 response requests.get(url) # 打印HTTP状态码 print(‘状态码‘, response.status_code) # 打印网页的文本内容HTML/JSON等 print(‘响应内容‘, response.text)代码解析requests.get(url) 向指定的url发送一个HTTP GET请求。response.status_code 服务器返回的状态码200表示成功。response.text 服务器返回的响应体内容通常是字符串格式的HTML或JSON。运行结果你会看到返回了一个JSON格式的数据其中包含了你的请求头等信息。这是一个用于测试HTTP请求的网站。2.2 解析HTMLBeautifulSoup入门获取到HTML后我们需要从中提取特定信息。BeautifulSoup是最常用的解析库之一。假设我们有一个简单的HTML字符串html headtitle测试页面/title/head body h1 class“title”欢迎来到爬虫世界/h1 p id“content”这是一个段落。/p ul li列表项1/li li列表项2/li /ul /body /html使用BeautifulSoup进行解析from bs4 import BeautifulSoup html_doc “”“ html...上面的HTML内容... /html ”“” # 创建BeautifulSoup对象指定解析器为‘lxml‘ soup BeautifulSoup(html_doc, ‘lxml‘) # 1. 通过标签名查找返回第一个匹配的标签 title_tag soup.title print(‘标题标签‘, title_tag) # title测试页面/title print(‘标题文本‘, title_tag.string) # 测试页面 # 2. 通过属性查找如class, id h1_tag soup.find(‘h1‘, class_‘title‘) # class是Python关键字所以用class_ print(‘H1文本‘, h1_tag.text) # 欢迎来到爬虫世界 p_tag soup.find(‘p‘, id‘content‘) print(‘P文本‘, p_tag.text) # 这是一个段落。 # 3. 查找多个元素 li_tags soup.find_all(‘li‘) for li in li_tags: print(‘列表项‘, li.text) # 输出 # 列表项 列表项1 # 列表项 列表项23. 实战案例一静态网页爬取豆瓣电影Top250这是一个经典的静态网页爬虫案例目标网站结构清晰适合新手练习。3.1 需求分析爬取豆瓣电影Top250https://movie.douban.com/top250每一页的电影名称、评分、简介引言。3.2 代码实现import requests from bs4 import BeautifulSoup import time import pandas as pd def crawl_douban_top250(): headers { ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36‘ } base_url ‘https://movie.douban.com/top250‘ movie_list [] for start in range(0, 250, 25): # 总共10页每页25条 url f‘{base_url}?start{start}‘ print(f‘正在爬取{url}‘) try: response requests.get(url, headersheaders) response.raise_for_status() # 如果状态码不是200抛出异常 response.encoding ‘utf-8‘ soup BeautifulSoup(response.text, ‘lxml‘) # 找到所有电影信息所在的div items soup.find_all(‘div‘, class_‘item‘) for item in items: # 电影标题包含中文名和原名 title_div item.find(‘div‘, class_‘hd‘) title title_div.find(‘span‘, class_‘title‘).text.strip() if title_div else ‘N/A‘ # 评分 rating_span item.find(‘span‘, class_‘rating_num‘) rating rating_span.text.strip() if rating_span else ‘N/A‘ # 简介/引言 quote_span item.find(‘span‘, class_‘inq‘) quote quote_span.text.strip() if quote_span else ‘N/A‘ movie_list.append({ ‘标题‘: title, ‘评分‘: rating, ‘引言‘: quote }) except requests.RequestException as e: print(f‘请求出错{e}‘) break # 礼貌爬取避免请求过快 time.sleep(2) return movie_list if __name__ ‘__main__‘: movies crawl_douban_top250() print(f‘共爬取到 {len(movies)} 部电影信息。‘) # 使用pandas保存为CSV文件 df pd.DataFrame(movies) df.to_csv(‘douban_top250.csv‘, indexFalse, encoding‘utf_8_sig‘) # 编码确保中文正常 print(‘数据已保存至 douban_top250.csv‘) # 打印前5条看看 print(df.head())3.3 关键点解析请求头Headers 添加User-Agent模拟浏览器访问是绕过基础反爬的第一步。分页处理 观察URL规律?start参数控制起始条目实现循环翻页。异常处理 使用try-except捕获网络请求异常增强程序健壮性。数据存储 使用pandas将列表数据轻松保存为CSV文件便于后续分析。延迟time.sleep 在循环中增加延时是对目标网站友好的做法避免IP被封。4. 实战案例二动态数据爬取Ajax请求分析许多现代网站如电商、社交媒体使用Ajax技术动态加载数据直接爬取HTML得不到内容。这时需要分析网络请求。4.1 案例爬取某新闻网站的热榜标题假设一个新闻网站的热榜数据是通过Ajax接口/api/news/hotlist以JSON格式返回的。步骤打开浏览器开发者工具F12切换到Network网络选项卡。刷新页面或点击加载更多观察出现的网络请求。找到一个返回JSON数据的请求Type可能是xhr或fetch其Response正是我们需要的数据。复制这个请求的URL和必要的Headers如可能需要的Authorization、Referer。4.2 代码实现import requests import json def crawl_ajax_news(): # 通过分析找到的Ajax接口URL ajax_url ‘https://example.com/api/news/hotlist‘ # 此处为示例URL需替换 headers { ‘User-Agent‘: ‘Mozilla/5.0...‘, ‘Referer‘: ‘https://example.com/‘, # 有时需要添加来源页 ‘X-Requested-With‘: ‘XMLHttpRequest‘ # 声明是Ajax请求 } # 如果有分页或查询参数 params { ‘page‘: 1, ‘size‘: 20 } try: response requests.get(ajax_url, headersheaders, paramsparams) data response.json() # 直接将响应内容解析为JSON字典/列表 # 假设返回的JSON结构为 {“code“:0, “data“: {“list“: [...]}} news_list data.get(‘data‘, {}).get(‘list‘, []) for news in news_list: title news.get(‘title‘) source news.get(‘source‘) print(f‘标题{title} | 来源{source}‘) except requests.RequestException as e: print(f‘请求失败{e}‘) except json.JSONDecodeError as e: print(f‘JSON解析失败{e}‘) print(‘原始响应‘, response.text[:200]) # 打印前200字符辅助调试 if __name__ ‘__main__‘: crawl_ajax_news()4.3 核心技巧使用.json()方法 当接口返回JSON时直接使用response.json()解析成Python数据结构。分析请求参数 仔细查看Headers和Query Parameters缺失关键参数可能导致请求失败。处理复杂认证 有些接口需要Cookie、Token或Sign签名这些需要从首次页面请求中获取或模拟生成。5. 实战案例三处理登录与会话Session爬取需要登录才能访问的页面如个人中心时必须维持登录状态。requests.Session()可以帮我们自动管理Cookies。5.1 模拟登录流程import requests from bs4 import BeautifulSoup def login_with_session(): login_url ‘https://example.com/login‘ target_url ‘https://example.com/dashboard‘ # 创建一个会话对象 session requests.Session() # 1. 首先可能需要获取登录页面的token或验证码如果需要 # 这里以获取一个简单的CSRF token为例 login_page_resp session.get(login_url) soup BeautifulSoup(login_page_resp.text, ‘lxml‘) # 假设token在name‘csrf_token‘的input标签的value里 csrf_token soup.find(‘input‘, {‘name‘: ‘csrf_token‘}).get(‘value‘, ‘‘) # 2. 构造登录数据 login_data { ‘username‘: ‘your_username‘, # 替换为你的用户名 ‘password‘: ‘your_password‘, # 替换为你的密码 ‘csrf_token‘: csrf_token, ‘remember‘: ‘on‘ } # 3. 发送登录请求 login_response session.post(login_url, datalogin_data) # 检查登录是否成功根据实际情况判断如跳转、返回特定文本 if ‘登录成功‘ in login_response.text or login_response.url target_url: print(‘登录成功‘) else: print(‘登录可能失败。‘) return # 4. 使用同一个session访问需要登录的页面会自动携带登录后的cookies dashboard_response session.get(target_url) # 解析dashboard页面内容... # soup BeautifulSoup(dashboard_response.text, ‘lxml‘) # ... 你的解析代码 print(‘已成功访问受保护页面。‘) if __name__ ‘__main__‘: login_with_session()6. 实战案例四存储到数据库SQLite将爬取的数据存入数据库便于管理和复杂查询。SQLite是一个轻量级数据库无需安装服务器。6.1 创建数据库与表import sqlite3 import pandas as pd from datetime import datetime def init_database(): # 连接到数据库如果不存在则创建 conn sqlite3.connect(‘spider_data.db‘) cursor conn.cursor() # 创建电影信息表 create_table_sql “”“ CREATE TABLE IF NOT EXISTS movies ( id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT NOT NULL, rating REAL, quote TEXT, crawl_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP ) ”“” cursor.execute(create_table_sql) conn.commit() print(‘数据库表创建成功‘) conn.close() def save_to_database(movie_list): conn sqlite3.connect(‘spider_data.db‘) cursor conn.cursor() for movie in movie_list: insert_sql “”“ INSERT INTO movies (title, rating, quote) VALUES (?, ?, ?) ”“” # 安全地插入数据防止SQL注入 cursor.execute(insert_sql, (movie[‘标题‘], movie[‘评分‘], movie[‘引言‘])) conn.commit() print(f‘成功插入 {len(movie_list)} 条数据。‘) conn.close() # 假设我们有一个从豆瓣爬取的movie_list # init_database() # save_to_database(movie_list) # 从数据库读取数据到pandas DataFrame def read_from_database(): conn sqlite3.connect(‘spider_data.db‘) # 直接使用pandas的read_sql查询非常方便 df pd.read_sql_query(‘SELECT * FROM movies‘, conn) conn.close() return df7. 常见反爬策略与应对措施7.1 User-Agent检测现象 请求被拒绝返回403或简单提示。解决 在请求头中设置常见的浏览器User-Agent。headers { ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36‘ } response requests.get(url, headersheaders)7.2 IP频率限制现象 短时间内请求过多IP被暂时或永久封禁。解决降低请求频率 在循环中使用time.sleep(random.uniform(1, 3))增加随机延时。使用代理IP池 通过轮换不同IP来发送请求。proxies { ‘http‘: ‘http://your_proxy_ip:port‘, ‘https‘: ‘https://your_proxy_ip:port‘, } # 使用免费代理需谨慎稳定性和安全性无保障 response requests.get(url, proxiesproxies, timeout5)7.3 验证码现象 登录或频繁访问后需要输入验证码。解决识别简单图形验证码 使用pytesseractOCR库或django-simple-captcha等但成功率有限。使用打码平台 付费调用第三方API进行识别。最佳实践 优化爬虫策略避免触发验证码。7.4 数据动态加载JavaScript渲染现象 在浏览器中能看到数据但爬取的HTML中没有。解决分析Ajax接口 如案例二所述找到数据接口。使用Selenium或Playwright 自动化浏览器直接获取渲染后的页面。from selenium import webdriver from selenium.webdriver.common.by import By driver webdriver.Chrome() # 需要下载对应浏览器的WebDriver driver.get(url) # 等待页面加载完成 driver.implicitly_wait(10) # 获取渲染后的页面源码 html driver.page_source # 然后用BeautifulSoup解析html driver.quit()注意Selenium速度慢资源消耗大仅作为最后手段。8. 18个实战案例概览与源码指引以下是本文涵盖的18个实战案例方向每个都提供了核心解决思路。完整源码因篇幅限制无法全部贴出但已按主题整理成可运行的脚本。基础入门系列获取网页标题与链接 练习requests和BeautifulSoup基础。爬取静态表格数据 如爬取全国城市天气信息。下载图片到本地 爬取壁纸网站图片并保存。爬取分页列表信息 如爬取博客文章列表标题、发布时间、阅读量。解析JSON格式API 爬取公开的天气API或汇率API数据。中级应用系列 6.模拟登录并爬取个人信息 使用Session维持登录态。 7.爬取Ajax动态加载的数据 如某电商网站滚动加载的商品列表。 8.使用Selenium爬取JavaScript渲染页面 爬取需要JS交互才能显示的内容。 9.爬取数据并存入CSV/Excel 使用pandas进行数据清洗和保存。 10.爬取数据并存入SQLite/MySQL数据库 建立持久化存储。 11.定时爬虫任务 使用schedule或APScheduler库定时执行爬虫。 12.爬取带有验证码的网站简单处理 介绍绕过思路和打码平台集成。综合实战与进阶系列 13.爬虫框架Scrapy入门项目 创建第一个Scrapy爬虫体验框架的高效。 14.爬取图片并生成PDF 综合应用爬虫、图片处理和PDF生成。 15.爬取股票数据并简单可视化 使用mplfinance绘制K线图。 16.爬取二手房信息并进行数据分析 数据清洗、聚合与可视化。 17.构建简单的代理IP池 从免费网站抓取并验证代理IP。 18.分布式爬虫概念与Celery初步应用 了解如何利用消息队列分发爬虫任务。9. 工程最佳实践与注意事项9.1 代码组织与可维护性模块化 将请求函数、解析函数、存储函数分离到不同模块或类中。配置文件 将数据库连接信息、请求头、URL等配置项写入config.py或settings.ini。日志记录 使用logging模块记录程序运行状态、错误信息便于排查。import logging logging.basicConfig(levellogging.INFO, format‘%(asctime)s - %(levelname)s: %(message)s‘)9.2 健壮性与错误处理网络异常 对所有网络请求使用try-except包裹捕获requests.exceptions下的各种异常如超时、连接错误。数据缺失 在解析时使用.get()方法或判断标签是否存在避免因个别数据缺失导致程序崩溃。设置超时requests.get(url, timeout10)防止程序长时间卡住。9.3 遵守Robots协议与法律法规尊重Robots.txt 在爬取前访问网站域名/robots.txt查看该网站是否允许爬虫爬取目标路径。控制爬取速度 避免对目标网站服务器造成过大压力。注意数据版权与隐私 爬取的数据仅用于个人学习与研究不得用于商业用途或侵犯他人隐私。切勿爬取敏感个人信息。明确禁止则不为 对于明确声明禁止爬取的网站或需要付费获取的数据接口应主动规避。9.4 性能优化方向并发请求 对于大量独立URL可以使用concurrent.futures线程池或aiohttp异步库提高效率。缓存机制 对不变或更新慢的页面可以将响应内容缓存到本地或数据库避免重复请求。增量爬取 只爬取新增或更新的内容而不是每次都全量爬取。学习爬虫是一个从模仿到理解再到创新的过程。建议从本文的简单案例入手运行每一段代码观察结果并尝试修改代码去爬取你感兴趣的网站。遇到问题时善用搜索引擎和开发者工具进行调试。记住耐心和细心是爬虫工程师最重要的品质。
)
