尧图网站建设 
简介本资源是一套面向数据分析初学者与政务信息化研究者的Python政府数据爬取实践方案聚焦赣州、吐鲁番、大理、太原、大庆五地政府官网解决多源地方政府公开信息自动化采集难题适用于政策研究、区域比较分析及基层治理数据支撑等场景。压缩包共35个文件含22个核心Python脚本如crawGanzhouGov.py、crawTaiyuanWjw.py等覆盖卫健、发改、环保等十余类部门站点、4份城市专项需求文档.docx格式含结构化字段说明与页面定位依据、4张界面/流程示意图.jpeg/.png以及日志记录与基础配置文件整体体积7.08MB模块划分清晰便于按地域或部门快速复用。已有295人学习下载提供完整可运行的爬虫骨架、反爬适配逻辑如请求头模拟、间隔控制、结构化数据存储模板及执行日志追踪机制助用户快速掌握地方政府网站数据抓取的关键技术路径与工程化组织方式。1. 项目概述与核心价值最近在做一个挺有意思的私人项目核心目标是想把几个典型城市——赣州、吐鲁番、大理、太原、大庆的政府公开数据给系统地爬取下来做个本地化的数据仓库。这活儿听起来好像就是写个爬虫但真干起来你会发现里面门道不少。政府网站的数据公开形式五花八门有的规规矩矩提供API有的藏在静态页面里还有的用上了动态加载甚至反爬机制也各有各的“脾气”。选择Python来做这件事主要是看中了它生态丰富Requests、BeautifulSoup、Selenium、Scrapy这些库能覆盖绝大多数场景从简单的静态抓取到复杂的动态渲染和分布式爬取都能找到趁手的工具。这个项目的价值远不止于“把数据下载下来”这么简单。对于数据分析师、城市规划研究者、市场调研人员甚至是做学术的学生来说能够获取到结构化的、持续更新的地方政府数据意味着可以深入分析区域经济、民生服务、环境变化等趋势。比如对比赣州的产业政策数据和太原的工业数据或者分析大理的旅游客流与吐鲁番的农业气象数据之间的潜在关联。这些一手数据是很多宏观报告里看不到的细节。当然整个过程必须严格遵守法律法规和网站的Robots协议只获取明确公开的数据绝不触碰个人隐私和敏感信息这是红线。2. 项目整体设计与技术选型考量2.1 目标网站分析与策略制定动手写代码之前花时间“侦察”目标网站是省时省力的关键。我针对这五个城市的政府门户网站或数据开放平台如果有的话进行了一轮摸底。赣州通常这类地级市的政府网站信息发布板块结构比较清晰政务公开、统计数据、通知公告等栏目是重点。数据多以HTML表格形式呈现翻页逻辑也较为传统。策略上用RequestsBeautifulSoup的组合就能高效搞定重点在于解析表格结构和处理可能的中文编码问题。吐鲁番与大理作为特色鲜明的旅游城市其官网会包含大量的文旅资讯、节庆活动、气象服务信息。这些页面可能图片和动态内容更多。除了基础抓取可能需要用到Selenium或Playwright来模拟浏览器获取JavaScript渲染后的完整页面内容特别是那些通过Ajax加载的实时数据。太原与大庆太原作为工业重镇其经济统计、能耗环保类数据可能是重点大庆则与资源、工业紧密相关。这类数据有时会以PDF报告或Excel附件的形式提供。这就需要我们的爬虫不仅能爬取HTML还要具备文件下载和解析如用pdfplumber或pandas读Excel的能力。统一策略无论针对哪个城市核心策略都是“先礼后兵”。首先仔细阅读网站的robots.txt文件明确允许爬取的目录。其次在请求头User-Agent中模拟真实浏览器并合理设置请求间隔如使用time.sleep避免对服务器造成瞬时压力这是基本的网络礼仪。对于需要登录或带有复杂验证的接口虽然政府公开数据通常不需要则需要更复杂的会话Session管理和验证码识别方案本项目暂不涉及。2.2 核心工具链选型与理由工欲善其事必先利其器。以下是本项目构建爬虫核心框架的选型及背后的思考网络请求库Requests vs. httpx选择Requests。理由Requests库简单、直观、文档丰富是Python社区最主流的HTTP库。对于政府网站这类通常不需要HTTP/2、异步等高级特性的场景Requests完全够用且学习成本低。虽然httpx支持异步和HTTP/2但本项目初期以稳定和可维护性优先同步的Requests更合适。HTML解析库BeautifulSoup vs. lxml选择BeautifulSoup。理由BeautifulSoup提供了非常人性化的API像find(),find_all(),select()等方法对于快速定位和提取页面中的表格、列表、特定ID或Class的元素极其方便。它的容错性也更好能处理一些不太规范的HTML。虽然lxml的解析速度更快但在开发效率和维护便捷性上BeautifulSoup胜出。通常我会用lxml作为BeautifulSoup的解析后端兼顾速度与易用性BeautifulSoup(html, lxml)。动态页面渲染Selenium vs. Playwright vs. Pyppeteer选择Selenium。理由当目标数据需要通过JavaScript执行后才能生成时就需要无头浏览器。Selenium生态成熟社区庞大遇到问题几乎都能找到解决方案。虽然Playwright在性能和现代化上更优但考虑到政府网站技术栈更新可能不那么频繁Selenium的稳定性和广泛的资料支持是更稳妥的选择。我会配合ChromeDriver使用。爬虫框架Scrapy vs. 自建选择初期自建复杂任务用Scrapy。理由对于目标明确、结构相对简单的几个独立网站自建基于Requests/BeautifulSoup的脚本更加轻量、灵活调试直观。但如果未来需要扩展为监控多个栏目、实现增量爬取、处理更复杂的管道Item Pipeline如数据清洗、去重、存储到数据库等那么Scrapy框架的强大功能如内置的调度器、去重、中间件、管道将带来巨大优势。本项目设计会采用模块化思想方便后续向Scrapy迁移。数据存储CSV/JSON vs. 数据库选择CSV/JSON初期SQLite后期。理由初期快速验证和存储pandas的to_csv/to_json或Python内置的csv/json模块最简单。当数据量增大或需要复杂查询时轻量级的SQLite数据库是自然过渡的选择。它无需安装服务器一个文件就是一个数据库非常适合桌面级数据管理。结构化的数据表也更利于后续分析。3. 核心模块设计与实现细节3.1 通用爬取器基类设计为了提高代码复用率我设计了一个基础的爬虫类封装了公共操作。这样针对每个城市的爬虫只需要继承这个基类并实现特定的解析逻辑即可。import requests from bs4 import BeautifulSoup import time import logging from urllib.parse import urljoin import pandas as pd import os class GovDataSpiderBase: 政府数据爬虫基类 def __init__(self, name, base_url, headersNone, delay2): 初始化爬虫 :param name: 爬虫名称如ganzhou :param base_url: 目标网站基础URL :param headers: 请求头默认为模拟Chrome浏览器 :param delay: 请求延迟时间秒避免过快请求 self.name name self.base_url base_url self.headers headers or { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 } self.delay delay self.session requests.Session() self.session.headers.update(self.headers) # 配置日志方便跟踪运行状态和错误 logging.basicConfig(levellogging.INFO, format%(asctime)s - %(name)s - %(levelname)s - %(message)s) self.logger logging.getLogger(self.name) # 数据存储目录 self.data_dir f./data/{self.name} os.makedirs(self.data_dir, exist_okTrue) def fetch_page(self, url, paramsNone, methodGET, **kwargs): 获取页面内容包含错误处理和延迟 :return: 响应文本或None time.sleep(self.delay) # 遵守爬虫礼仪添加延迟 try: if method.upper() GET: resp self.session.get(url, paramsparams, timeout10, **kwargs) else: resp self.session.post(url, dataparams, timeout10, **kwargs) resp.raise_for_status() # 如果状态码不是200抛出HTTPError异常 # 处理可能的编码问题优先使用响应头或apparent_encoding resp.encoding resp.apparent_encoding return resp.text except requests.exceptions.RequestException as e: self.logger.error(f请求失败: {url}, 错误: {e}) return None def parse(self, html): 解析页面的抽象方法由子类实现 raise NotImplementedError(子类必须实现 parse 方法) def save_to_csv(self, data_list, filename): 将数据列表保存为CSV文件 :param data_list: 字典组成的列表 :param filename: 保存的文件名不含路径 if not data_list: self.logger.warning(数据列表为空不保存文件。) return df pd.DataFrame(data_list) filepath os.path.join(self.data_dir, filename) df.to_csv(filepath, indexFalse, encodingutf-8-sig) # utf-8-sig解决Excel打开中文乱码 self.logger.info(f数据已保存至: {filepath}) def run(self, start_urls): 运行爬虫的主流程 :param start_urls: 起始URL列表 all_data [] for url in start_urls: self.logger.info(f开始处理: {url}) html self.fetch_page(url) if html: data self.parse(html) if data: all_data.extend(data) # 可以在这里添加翻页逻辑 if all_data: self.save_to_csv(all_data, f{self.name}_data.csv)注意这个基类提供了骨架。fetch_page方法内置了延迟、超时和基础错误处理这是生产级爬虫的必备。save_to_csv使用pandas和utf-8-sig编码确保了数据的规整和兼容性。3.2 赣州政务公开数据爬取实现以赣州市政府网站的“政务公开”栏目下的“统计信息”子栏目为例假设其列表页URL为http://www.ganzhou.gov.cn/zwgk/tjxx/数据以表格形式展示在详情页。class GanzhouSpider(GovDataSpiderBase): 赣州市数据爬虫 def __init__(self): super().__init__(nameganzhou, base_urlhttp://www.ganzhou.gov.cn) # 可以在这里覆盖或添加特定的headers def parse_list_page(self, html): 解析列表页获取详情页链接 soup BeautifulSoup(html, lxml) # 假设详情链接在 classnews-list 的ul中的li的a标签里 link_elements soup.select(.news-list li a) detail_urls [] for link in link_elements: href link.get(href) if href: # 拼接完整URL处理相对路径 full_url urljoin(self.base_url, href) # 可以根据链接文本过滤只抓取包含“统计”、“数据”等关键词的链接 if any(keyword in link.text for keyword in [统计, 数据, 公报]): detail_urls.append(full_url) return detail_urls def parse_detail_page(self, html): 解析详情页提取表格数据 soup BeautifulSoup(html, lxml) # 假设目标数据在页面上第一个表格中 table soup.find(table) if not table: self.logger.warning(未在页面中找到表格) return None data [] # 提取表头 headers [] header_row table.find(tr) if header_row: for th in header_row.find_all([th, td]): headers.append(th.get_text(stripTrue)) # 提取数据行 for row in table.find_all(tr)[1:]: # 跳过表头行 cells row.find_all(td) if len(cells) len(headers): # 确保行列匹配 row_data {} for header, cell in zip(headers, cells): row_data[header] cell.get_text(stripTrue) data.append(row_data) return data def parse(self, html): # 基类要求的方法这里可以适配但本例中我们使用更细化的方法 # 实际运行时run方法会调用parse_list_page和parse_detail_page pass def run(self): 赣州爬虫特定的运行逻辑 list_url urljoin(self.base_url, /zwgk/tjxx/) list_html self.fetch_page(list_url) if not list_html: return detail_urls self.parse_list_page(list_html) all_data [] for detail_url in detail_urls[:5]: # 示例只爬前5条实际可去掉限制 self.logger.info(f爬取详情页: {detail_url}) detail_html self.fetch_page(detail_url) if detail_html: detail_data self.parse_detail_page(detail_html) if detail_data: all_data.extend(detail_data) if all_data: self.save_to_csv(all_data, ganzhou_statistics.csv) # 使用示例 if __name__ __main__: spider GanzhouSpider() spider.run()实操心得定位元素是门手艺活政府网站的HTML结构可能并不标准class和id命名可能没有规律。不要只依赖一种选择器。多尝试find、find_all配合标签名、属性以及CSS选择器select。浏览器的“开发者工具”F12中的“检查元素”和“复制Selector”功能是神器。健壮性处理代码中加入了if table:和if len(cells) len(headers):这样的判断非常重要。实际页面可能缺失表格或者表格结构不规则这些判断能防止程序因意外结构而崩溃。限制爬取速度time.sleep(self.delay)是必须的。对于政府网站建议延迟设置在2秒或以上体现对公共资源的尊重。3.3 应对动态加载以大理文旅动态为例假设大理文旅局的新闻列表是滚动加载或通过Ajax请求获取的用Requests只能拿到初始HTML看不到后续内容。这时就需要Selenium出场。from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.common.exceptions import TimeoutException, NoSuchElementException class DaliDynamicSpider: 大理动态页面爬虫示例 def __init__(self): self.options webdriver.ChromeOptions() self.options.add_argument(--headless) # 无头模式不显示浏览器窗口 self.options.add_argument(--disable-gpu) self.options.add_argument(--no-sandbox) # 可添加User-Agent self.options.add_argument(user-agentMozilla/5.0...) self.driver webdriver.Chrome(optionsself.options) self.wait WebDriverWait(self.driver, 10) def crawl_news(self, url): self.driver.get(url) data [] try: # 示例模拟点击“加载更多”按钮直到没有更多内容 while True: # 首先解析当前页面上已经加载出来的新闻条目 news_items self.driver.find_elements(By.CSS_SELECTOR, .news-item) # 假设类名 for item in news_items: # 提取每条新闻的标题、链接、时间 title_elem item.find_element(By.CSS_SELECTOR, .title a) title title_elem.text link title_elem.get_attribute(href) date_elem item.find_element(By.CSS_SELECTOR, .date) date date_elem.text if date_elem else N/A data.append({title: title, link: link, date: date}) # 尝试找到并点击“加载更多”按钮 try: load_more_btn self.wait.until( EC.element_to_be_clickable((By.CSS_SELECTOR, #load-more-btn)) ) load_more_btn.click() time.sleep(2) # 等待新内容加载 except (TimeoutException, NoSuchElementException): self.logger.info(已加载所有内容或未找到加载更多按钮。) break finally: self.driver.quit() return data重要提示使用Selenium务必注意资源释放。driver.quit()一定要在finally块中调用确保即使程序出错浏览器进程也会被关闭避免内存泄漏。3.4 文件下载与解析处理PDF/Excel附件太原市的空气质量月报可能以PDF形式发布。我们需要定位到附件链接并下载。import requests from urllib.parse import urljoin def download_pdf_file(pdf_url, save_path): 下载PDF文件 headers {User-Agent: Mozilla/5.0...} try: resp requests.get(pdf_url, headersheaders, streamTrue, timeout30) resp.raise_for_status() with open(save_path, wb) as f: for chunk in resp.iter_content(chunk_size8192): f.write(chunk) print(fPDF文件已下载: {save_path}) return True except Exception as e: print(f下载PDF失败 {pdf_url}: {e}) return False # 假设从页面中解析出了PDF链接列表 pdf_links [http://www.taiyuan.gov.cn/upload/file/air_report_202304.pdf, ...] for link in pdf_links: filename link.split(/)[-1] save_path os.path.join(./data/taiyuan/, filename) download_pdf_file(link, save_path) # 后续可以使用 pdfplumber 或 PyPDF2 库来解析PDF文本内容对于Excel文件pandas的read_excel函数是首选它能直接读取网络文件或本地文件。import pandas as pd # 直接读取网络Excel文件如果链接直接指向.xlsx文件 excel_url http://www.example.gov.cn/data/economic_data.xlsx df pd.read_excel(excel_url) print(df.head()) # 或者读取已下载的本地文件 df pd.read_excel(./data/taiyuan/economic_data.xlsx)4. 数据存储、清洗与项目管理4.1 从文件存储到数据库当数据量增多或者需要复杂查询和关联时CSV文件就显得力不从心了。SQLite是一个完美的过渡选择。import sqlite3 import pandas as pd def save_to_sqlite(data_list, db_path, table_name): 将数据列表保存到SQLite数据库 if not data_list: return df pd.DataFrame(data_list) # 使用pandas的to_sql方法非常方便 with sqlite3.connect(db_path) as conn: df.to_sql(table_name, conn, if_existsappend, indexFalse) # if_existsappend 表示追加数据 print(f数据已存入数据库 {db_path} 的表 {table_name} 中。) # 进阶创建更规范的表结构 def init_database(db_path): conn sqlite3.connect(db_path) cursor conn.cursor() # 为不同城市创建不同的表或设计统一的事实表维度表 cursor.execute( CREATE TABLE IF NOT EXISTS government_data ( id INTEGER PRIMARY KEY AUTOINCREMENT, city TEXT NOT NULL, data_type TEXT, title TEXT, publish_date TEXT, content TEXT, source_url TEXT UNIQUE, -- 唯一约束避免重复爬取 crawl_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP ) ) conn.commit() conn.close()4.2 数据清洗与规整爬取下来的原始数据往往很“脏”需要清洗。import re from datetime import datetime def clean_government_data(raw_data_list): 数据清洗函数示例 cleaned_data [] for item in raw_data_list: cleaned_item {} # 1. 去除字符串首尾空白 for key, value in item.items(): if isinstance(value, str): cleaned_item[key] value.strip() else: cleaned_item[key] value # 2. 统一日期格式 (例如将“2023年4月1日”转为“2023-04-01”) date_str cleaned_item.get(publish_date, ) if date_str: # 使用正则表达式匹配常见中文日期格式 match re.search(r(\d{4})[年/-](\d{1,2})[月/-](\d{1,2})日?, date_str) if match: year, month, day match.groups() try: cleaned_item[publish_date] f{year}-{int(month):02d}-{int(day):02d} except ValueError: cleaned_item[publish_date] date_str # 转换失败则保留原样 else: # 尝试其他格式解析 pass # 3. 处理缺失值统一为None或空字符串 for key in cleaned_item: if cleaned_item[key] in [-, —, NULL, null, ]: cleaned_item[key] None # 4. 数值字段转换 (例如“12.5%”转为0.125) numeric_fields [growth_rate, percentage] for field in numeric_fields: val cleaned_item.get(field) if isinstance(val, str) and % in val: try: cleaned_item[field] float(val.replace(%, )) / 100 except ValueError: pass cleaned_data.append(cleaned_item) return cleaned_data4.3 项目结构与调度一个清晰的项目结构能让协作和维护变得轻松。gov_data_crawler/ ├── spiders/ # 爬虫模块目录 │ ├── __init__.py │ ├── base_spider.py # 基类 GovDataSpiderBase │ ├── ganzhou_spider.py # 赣州爬虫 │ ├── dali_spider.py # 大理爬虫 (含动态加载) │ ├── taiyuan_spider.py # 太原爬虫 (含文件下载) │ └── ... # 其他城市爬虫 ├── utils/ # 工具函数 │ ├── __init__.py │ ├── file_downloader.py # 文件下载工具 │ ├── data_cleaner.py # 数据清洗工具 │ └── database.py # 数据库操作 ├── configs/ # 配置文件 │ └── settings.py # 全局配置如请求头、延迟、数据库路径 ├── data/ # 爬取的数据CSV、PDF等 │ ├── ganzhou/ │ ├── dali/ │ └── ... ├── logs/ # 日志目录 ├── requirements.txt # 项目依赖 ├── main.py # 主调度程序 └── README.md在main.py中可以灵活调度不同的爬虫from spiders.ganzhou_spider import GanzhouSpider from spiders.dali_spider import DaliDynamicSpider from configs.settings import REQUEST_DELAY, DB_PATH import schedule import time def job_ganzhou(): spider GanzhouSpider(delayREQUEST_DELAY) spider.run() def job_dali(): spider DaliDynamicSpider() data spider.crawl_news(http://www.dali.gov.cn/whly/) # ... 处理并保存data def run_all_once(): 一次性运行所有爬虫 job_ganzhou() job_dali() # ... 调用其他爬虫 def run_scheduled(): 定时运行例如每天凌晨2点 schedule.every().day.at(02:00).do(run_all_once) while True: schedule.run_pending() time.sleep(60) if __name__ __main__: # 选择执行模式 run_all_once() # 单次执行 # 或者 run_scheduled() # 定时执行需后台运行5. 常见问题、反爬策略与优化技巧5.1 高频问题与解决方案速查表问题现象可能原因排查步骤与解决方案返回状态码403请求被服务器拒绝1. 检查User-Agent模拟真实浏览器。2. 检查是否有Referer策略在请求头中添加Referer。3. 检查IP是否被临时封禁增加请求延迟(time.sleep)或使用代理IP池。获取的HTML是空或乱码编码问题或动态加载1. 检查resp.encoding尝试设置为resp.apparent_encoding或utf-8/gbk。2. 查看网页源代码CtrlU确认数据是否在静态HTML中。若不在需用Selenium。BeautifulSoup找不到元素选择器错误或页面结构变化1. 使用浏览器开发者工具重新检查元素确认选择器路径。2. 尝试更通用的选择器或使用find配合多个属性。3. 打印soup.prettify()的一部分确认解析是否正确。爬取速度慢单线程、网络延迟1. 确保已设置合理的time.sleep并非越短越好。2. 对于大量独立页面考虑使用concurrent.futures.ThreadPoolExecutor实现多线程。3. 对于Scrapy项目调整并发数(CONCURRENT_REQUESTS)和下载延迟(DOWNLOAD_DELAY)。数据重复未做去重处理1. 在存储前根据唯一标识如URL、标题日期进行去重。2. 使用数据库的UNIQUE约束。3. Scrapy框架内置了基于请求指纹的去重中间件。需要登录才能访问目标数据在登录后区域评估合法性确认该数据是否属于应公开范围。若必须需模拟登录1. 使用Session对象保持会话。2. 分析登录表单的POST请求提交用户名、密码和可能的隐藏字段如CSRF token。5.2 应对基础反爬机制政府网站的反爬一般不会太复杂但一些基础措施需要留意User-Agent检测这是最基本的。务必在请求头中设置一个常见的浏览器UA字符串。请求频率限制这是最需要遵守的。务必在请求间添加随机延迟例如time.sleep(random.uniform(1, 3))模拟人工操作。Cookie/Session有些网站会通过Session跟踪访客。使用requests.Session()对象可以自动处理Cookie保持会话状态。简单JavaScript验证有些网站会通过JS设置Cookie或生成参数。可以先用浏览器正常访问一次通过开发者工具的“网络”选项卡查看首次请求和后续请求的差异然后在爬虫代码中模拟。核心原则对于政府公开数据我们的爬虫行为应尽可能“友好”目标是获取数据而非测试网站负载能力。过快的请求频率是导致IP被屏蔽最常见的原因。5.3 性能与可维护性优化连接复用始终使用requests.Session()它可以在同一会话内复用TCP连接提升效率。超时设置为所有网络请求设置连接超时和读取超时如timeout(5, 10)避免因某个请求卡住导致程序假死。异常处理网络请求必须放在try...except块中捕获requests.exceptions.RequestException及其子类如Timeout,ConnectionError并记录日志使爬虫具备容错能力。配置化将请求头、延迟时间、数据库连接字符串、目标URL列表等写入配置文件如settings.py或config.yaml避免硬编码方便不同环境部署。日志记录使用Python的logging模块记录信息、警告和错误。这不仅是调试的利器也能让你在爬虫长时间运行时了解其状态。增量爬取设计数据表时包含source_url唯一和crawl_time字段。每次爬取前可以先查询数据库中已存在的URL只爬取新的内容大幅节省资源和时间。5.4 法律与伦理边界再强调这是所有数据爬取项目的基石必须时刻牢记遵守robots.txt这是网站与爬虫之间的基本协议。访问目标网站/robots.txt查看是否允许爬取你感兴趣的目录。只爬公开数据绝不尝试爬取需要登录才能访问的非公开信息、个人隐私数据、商业秘密或任何明确声明禁止爬取的内容。尊重版权对爬取的数据的使用需遵守网站相关的版权声明或使用条款。控制访问压力设置合理的请求间隔避免对目标网站服务器造成明显的性能影响。数据用途将数据用于个人学习、研究或合法的公益分析目的。这个基于Python的多城市政府数据爬取项目从技术上看是请求、解析、存储的循环但从实践上看更像是一场与不同网站架构进行“友好对话”的过程。每个城市、每个部门的网站都可能是一个独特的案例没有一成不变的解决方案。最重要的不是代码本身而是分析问题、设计策略和不断调试的能力。我个人的体会是成功的爬虫项目三分靠代码七分靠对目标网站的耐心观察和理解。本文还有配套的精品资源点击获取 Python爬虫实战：构建多城市政府公开数据采集系统
简介本资源是一套面向数据分析初学者与政务信息化研究者的Python政府数据爬取实践方案聚焦赣州、吐鲁番、大理、太原、大庆五地政府官网解决多源地方政府公开信息自动化采集难题适用于政策研究、区域比较分析及基层治理数据支撑等场景。压缩包共35个文件含22个核心Python脚本如crawGanzhouGov.py、crawTaiyuanWjw.py等覆盖卫健、发改、环保等十余类部门站点、4份城市专项需求文档.docx格式含结构化字段说明与页面定位依据、4张界面/流程示意图.jpeg/.png以及日志记录与基础配置文件整体体积7.08MB模块划分清晰便于按地域或部门快速复用。已有295人学习下载提供完整可运行的爬虫骨架、反爬适配逻辑如请求头模拟、间隔控制、结构化数据存储模板及执行日志追踪机制助用户快速掌握地方政府网站数据抓取的关键技术路径与工程化组织方式。1. 项目概述与核心价值最近在做一个挺有意思的私人项目核心目标是想把几个典型城市——赣州、吐鲁番、大理、太原、大庆的政府公开数据给系统地爬取下来做个本地化的数据仓库。这活儿听起来好像就是写个爬虫但真干起来你会发现里面门道不少。政府网站的数据公开形式五花八门有的规规矩矩提供API有的藏在静态页面里还有的用上了动态加载甚至反爬机制也各有各的“脾气”。选择Python来做这件事主要是看中了它生态丰富Requests、BeautifulSoup、Selenium、Scrapy这些库能覆盖绝大多数场景从简单的静态抓取到复杂的动态渲染和分布式爬取都能找到趁手的工具。这个项目的价值远不止于“把数据下载下来”这么简单。对于数据分析师、城市规划研究者、市场调研人员甚至是做学术的学生来说能够获取到结构化的、持续更新的地方政府数据意味着可以深入分析区域经济、民生服务、环境变化等趋势。比如对比赣州的产业政策数据和太原的工业数据或者分析大理的旅游客流与吐鲁番的农业气象数据之间的潜在关联。这些一手数据是很多宏观报告里看不到的细节。当然整个过程必须严格遵守法律法规和网站的Robots协议只获取明确公开的数据绝不触碰个人隐私和敏感信息这是红线。2. 项目整体设计与技术选型考量2.1 目标网站分析与策略制定动手写代码之前花时间“侦察”目标网站是省时省力的关键。我针对这五个城市的政府门户网站或数据开放平台如果有的话进行了一轮摸底。赣州通常这类地级市的政府网站信息发布板块结构比较清晰政务公开、统计数据、通知公告等栏目是重点。数据多以HTML表格形式呈现翻页逻辑也较为传统。策略上用RequestsBeautifulSoup的组合就能高效搞定重点在于解析表格结构和处理可能的中文编码问题。吐鲁番与大理作为特色鲜明的旅游城市其官网会包含大量的文旅资讯、节庆活动、气象服务信息。这些页面可能图片和动态内容更多。除了基础抓取可能需要用到Selenium或Playwright来模拟浏览器获取JavaScript渲染后的完整页面内容特别是那些通过Ajax加载的实时数据。太原与大庆太原作为工业重镇其经济统计、能耗环保类数据可能是重点大庆则与资源、工业紧密相关。这类数据有时会以PDF报告或Excel附件的形式提供。这就需要我们的爬虫不仅能爬取HTML还要具备文件下载和解析如用pdfplumber或pandas读Excel的能力。统一策略无论针对哪个城市核心策略都是“先礼后兵”。首先仔细阅读网站的robots.txt文件明确允许爬取的目录。其次在请求头User-Agent中模拟真实浏览器并合理设置请求间隔如使用time.sleep避免对服务器造成瞬时压力这是基本的网络礼仪。对于需要登录或带有复杂验证的接口虽然政府公开数据通常不需要则需要更复杂的会话Session管理和验证码识别方案本项目暂不涉及。2.2 核心工具链选型与理由工欲善其事必先利其器。以下是本项目构建爬虫核心框架的选型及背后的思考网络请求库Requests vs. httpx选择Requests。理由Requests库简单、直观、文档丰富是Python社区最主流的HTTP库。对于政府网站这类通常不需要HTTP/2、异步等高级特性的场景Requests完全够用且学习成本低。虽然httpx支持异步和HTTP/2但本项目初期以稳定和可维护性优先同步的Requests更合适。HTML解析库BeautifulSoup vs. lxml选择BeautifulSoup。理由BeautifulSoup提供了非常人性化的API像find(),find_all(),select()等方法对于快速定位和提取页面中的表格、列表、特定ID或Class的元素极其方便。它的容错性也更好能处理一些不太规范的HTML。虽然lxml的解析速度更快但在开发效率和维护便捷性上BeautifulSoup胜出。通常我会用lxml作为BeautifulSoup的解析后端兼顾速度与易用性BeautifulSoup(html, lxml)。动态页面渲染Selenium vs. Playwright vs. Pyppeteer选择Selenium。理由当目标数据需要通过JavaScript执行后才能生成时就需要无头浏览器。Selenium生态成熟社区庞大遇到问题几乎都能找到解决方案。虽然Playwright在性能和现代化上更优但考虑到政府网站技术栈更新可能不那么频繁Selenium的稳定性和广泛的资料支持是更稳妥的选择。我会配合ChromeDriver使用。爬虫框架Scrapy vs. 自建选择初期自建复杂任务用Scrapy。理由对于目标明确、结构相对简单的几个独立网站自建基于Requests/BeautifulSoup的脚本更加轻量、灵活调试直观。但如果未来需要扩展为监控多个栏目、实现增量爬取、处理更复杂的管道Item Pipeline如数据清洗、去重、存储到数据库等那么Scrapy框架的强大功能如内置的调度器、去重、中间件、管道将带来巨大优势。本项目设计会采用模块化思想方便后续向Scrapy迁移。数据存储CSV/JSON vs. 数据库选择CSV/JSON初期SQLite后期。理由初期快速验证和存储pandas的to_csv/to_json或Python内置的csv/json模块最简单。当数据量增大或需要复杂查询时轻量级的SQLite数据库是自然过渡的选择。它无需安装服务器一个文件就是一个数据库非常适合桌面级数据管理。结构化的数据表也更利于后续分析。3. 核心模块设计与实现细节3.1 通用爬取器基类设计为了提高代码复用率我设计了一个基础的爬虫类封装了公共操作。这样针对每个城市的爬虫只需要继承这个基类并实现特定的解析逻辑即可。import requests from bs4 import BeautifulSoup import time import logging from urllib.parse import urljoin import pandas as pd import os class GovDataSpiderBase: 政府数据爬虫基类 def __init__(self, name, base_url, headersNone, delay2): 初始化爬虫 :param name: 爬虫名称如ganzhou :param base_url: 目标网站基础URL :param headers: 请求头默认为模拟Chrome浏览器 :param delay: 请求延迟时间秒避免过快请求 self.name name self.base_url base_url self.headers headers or { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 } self.delay delay self.session requests.Session() self.session.headers.update(self.headers) # 配置日志方便跟踪运行状态和错误 logging.basicConfig(levellogging.INFO, format%(asctime)s - %(name)s - %(levelname)s - %(message)s) self.logger logging.getLogger(self.name) # 数据存储目录 self.data_dir f./data/{self.name} os.makedirs(self.data_dir, exist_okTrue) def fetch_page(self, url, paramsNone, methodGET, **kwargs): 获取页面内容包含错误处理和延迟 :return: 响应文本或None time.sleep(self.delay) # 遵守爬虫礼仪添加延迟 try: if method.upper() GET: resp self.session.get(url, paramsparams, timeout10, **kwargs) else: resp self.session.post(url, dataparams, timeout10, **kwargs) resp.raise_for_status() # 如果状态码不是200抛出HTTPError异常 # 处理可能的编码问题优先使用响应头或apparent_encoding resp.encoding resp.apparent_encoding return resp.text except requests.exceptions.RequestException as e: self.logger.error(f请求失败: {url}, 错误: {e}) return None def parse(self, html): 解析页面的抽象方法由子类实现 raise NotImplementedError(子类必须实现 parse 方法) def save_to_csv(self, data_list, filename): 将数据列表保存为CSV文件 :param data_list: 字典组成的列表 :param filename: 保存的文件名不含路径 if not data_list: self.logger.warning(数据列表为空不保存文件。) return df pd.DataFrame(data_list) filepath os.path.join(self.data_dir, filename) df.to_csv(filepath, indexFalse, encodingutf-8-sig) # utf-8-sig解决Excel打开中文乱码 self.logger.info(f数据已保存至: {filepath}) def run(self, start_urls): 运行爬虫的主流程 :param start_urls: 起始URL列表 all_data [] for url in start_urls: self.logger.info(f开始处理: {url}) html self.fetch_page(url) if html: data self.parse(html) if data: all_data.extend(data) # 可以在这里添加翻页逻辑 if all_data: self.save_to_csv(all_data, f{self.name}_data.csv)注意这个基类提供了骨架。fetch_page方法内置了延迟、超时和基础错误处理这是生产级爬虫的必备。save_to_csv使用pandas和utf-8-sig编码确保了数据的规整和兼容性。3.2 赣州政务公开数据爬取实现以赣州市政府网站的“政务公开”栏目下的“统计信息”子栏目为例假设其列表页URL为http://www.ganzhou.gov.cn/zwgk/tjxx/数据以表格形式展示在详情页。class GanzhouSpider(GovDataSpiderBase): 赣州市数据爬虫 def __init__(self): super().__init__(nameganzhou, base_urlhttp://www.ganzhou.gov.cn) # 可以在这里覆盖或添加特定的headers def parse_list_page(self, html): 解析列表页获取详情页链接 soup BeautifulSoup(html, lxml) # 假设详情链接在 classnews-list 的ul中的li的a标签里 link_elements soup.select(.news-list li a) detail_urls [] for link in link_elements: href link.get(href) if href: # 拼接完整URL处理相对路径 full_url urljoin(self.base_url, href) # 可以根据链接文本过滤只抓取包含“统计”、“数据”等关键词的链接 if any(keyword in link.text for keyword in [统计, 数据, 公报]): detail_urls.append(full_url) return detail_urls def parse_detail_page(self, html): 解析详情页提取表格数据 soup BeautifulSoup(html, lxml) # 假设目标数据在页面上第一个表格中 table soup.find(table) if not table: self.logger.warning(未在页面中找到表格) return None data [] # 提取表头 headers [] header_row table.find(tr) if header_row: for th in header_row.find_all([th, td]): headers.append(th.get_text(stripTrue)) # 提取数据行 for row in table.find_all(tr)[1:]: # 跳过表头行 cells row.find_all(td) if len(cells) len(headers): # 确保行列匹配 row_data {} for header, cell in zip(headers, cells): row_data[header] cell.get_text(stripTrue) data.append(row_data) return data def parse(self, html): # 基类要求的方法这里可以适配但本例中我们使用更细化的方法 # 实际运行时run方法会调用parse_list_page和parse_detail_page pass def run(self): 赣州爬虫特定的运行逻辑 list_url urljoin(self.base_url, /zwgk/tjxx/) list_html self.fetch_page(list_url) if not list_html: return detail_urls self.parse_list_page(list_html) all_data [] for detail_url in detail_urls[:5]: # 示例只爬前5条实际可去掉限制 self.logger.info(f爬取详情页: {detail_url}) detail_html self.fetch_page(detail_url) if detail_html: detail_data self.parse_detail_page(detail_html) if detail_data: all_data.extend(detail_data) if all_data: self.save_to_csv(all_data, ganzhou_statistics.csv) # 使用示例 if __name__ __main__: spider GanzhouSpider() spider.run()实操心得定位元素是门手艺活政府网站的HTML结构可能并不标准class和id命名可能没有规律。不要只依赖一种选择器。多尝试find、find_all配合标签名、属性以及CSS选择器select。浏览器的“开发者工具”F12中的“检查元素”和“复制Selector”功能是神器。健壮性处理代码中加入了if table:和if len(cells) len(headers):这样的判断非常重要。实际页面可能缺失表格或者表格结构不规则这些判断能防止程序因意外结构而崩溃。限制爬取速度time.sleep(self.delay)是必须的。对于政府网站建议延迟设置在2秒或以上体现对公共资源的尊重。3.3 应对动态加载以大理文旅动态为例假设大理文旅局的新闻列表是滚动加载或通过Ajax请求获取的用Requests只能拿到初始HTML看不到后续内容。这时就需要Selenium出场。from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.common.exceptions import TimeoutException, NoSuchElementException class DaliDynamicSpider: 大理动态页面爬虫示例 def __init__(self): self.options webdriver.ChromeOptions() self.options.add_argument(--headless) # 无头模式不显示浏览器窗口 self.options.add_argument(--disable-gpu) self.options.add_argument(--no-sandbox) # 可添加User-Agent self.options.add_argument(user-agentMozilla/5.0...) self.driver webdriver.Chrome(optionsself.options) self.wait WebDriverWait(self.driver, 10) def crawl_news(self, url): self.driver.get(url) data [] try: # 示例模拟点击“加载更多”按钮直到没有更多内容 while True: # 首先解析当前页面上已经加载出来的新闻条目 news_items self.driver.find_elements(By.CSS_SELECTOR, .news-item) # 假设类名 for item in news_items: # 提取每条新闻的标题、链接、时间 title_elem item.find_element(By.CSS_SELECTOR, .title a) title title_elem.text link title_elem.get_attribute(href) date_elem item.find_element(By.CSS_SELECTOR, .date) date date_elem.text if date_elem else N/A data.append({title: title, link: link, date: date}) # 尝试找到并点击“加载更多”按钮 try: load_more_btn self.wait.until( EC.element_to_be_clickable((By.CSS_SELECTOR, #load-more-btn)) ) load_more_btn.click() time.sleep(2) # 等待新内容加载 except (TimeoutException, NoSuchElementException): self.logger.info(已加载所有内容或未找到加载更多按钮。) break finally: self.driver.quit() return data重要提示使用Selenium务必注意资源释放。driver.quit()一定要在finally块中调用确保即使程序出错浏览器进程也会被关闭避免内存泄漏。3.4 文件下载与解析处理PDF/Excel附件太原市的空气质量月报可能以PDF形式发布。我们需要定位到附件链接并下载。import requests from urllib.parse import urljoin def download_pdf_file(pdf_url, save_path): 下载PDF文件 headers {User-Agent: Mozilla/5.0...} try: resp requests.get(pdf_url, headersheaders, streamTrue, timeout30) resp.raise_for_status() with open(save_path, wb) as f: for chunk in resp.iter_content(chunk_size8192): f.write(chunk) print(fPDF文件已下载: {save_path}) return True except Exception as e: print(f下载PDF失败 {pdf_url}: {e}) return False # 假设从页面中解析出了PDF链接列表 pdf_links [http://www.taiyuan.gov.cn/upload/file/air_report_202304.pdf, ...] for link in pdf_links: filename link.split(/)[-1] save_path os.path.join(./data/taiyuan/, filename) download_pdf_file(link, save_path) # 后续可以使用 pdfplumber 或 PyPDF2 库来解析PDF文本内容对于Excel文件pandas的read_excel函数是首选它能直接读取网络文件或本地文件。import pandas as pd # 直接读取网络Excel文件如果链接直接指向.xlsx文件 excel_url http://www.example.gov.cn/data/economic_data.xlsx df pd.read_excel(excel_url) print(df.head()) # 或者读取已下载的本地文件 df pd.read_excel(./data/taiyuan/economic_data.xlsx)4. 数据存储、清洗与项目管理4.1 从文件存储到数据库当数据量增多或者需要复杂查询和关联时CSV文件就显得力不从心了。SQLite是一个完美的过渡选择。import sqlite3 import pandas as pd def save_to_sqlite(data_list, db_path, table_name): 将数据列表保存到SQLite数据库 if not data_list: return df pd.DataFrame(data_list) # 使用pandas的to_sql方法非常方便 with sqlite3.connect(db_path) as conn: df.to_sql(table_name, conn, if_existsappend, indexFalse) # if_existsappend 表示追加数据 print(f数据已存入数据库 {db_path} 的表 {table_name} 中。) # 进阶创建更规范的表结构 def init_database(db_path): conn sqlite3.connect(db_path) cursor conn.cursor() # 为不同城市创建不同的表或设计统一的事实表维度表 cursor.execute( CREATE TABLE IF NOT EXISTS government_data ( id INTEGER PRIMARY KEY AUTOINCREMENT, city TEXT NOT NULL, data_type TEXT, title TEXT, publish_date TEXT, content TEXT, source_url TEXT UNIQUE, -- 唯一约束避免重复爬取 crawl_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP ) ) conn.commit() conn.close()4.2 数据清洗与规整爬取下来的原始数据往往很“脏”需要清洗。import re from datetime import datetime def clean_government_data(raw_data_list): 数据清洗函数示例 cleaned_data [] for item in raw_data_list: cleaned_item {} # 1. 去除字符串首尾空白 for key, value in item.items(): if isinstance(value, str): cleaned_item[key] value.strip() else: cleaned_item[key] value # 2. 统一日期格式 (例如将“2023年4月1日”转为“2023-04-01”) date_str cleaned_item.get(publish_date, ) if date_str: # 使用正则表达式匹配常见中文日期格式 match re.search(r(\d{4})[年/-](\d{1,2})[月/-](\d{1,2})日?, date_str) if match: year, month, day match.groups() try: cleaned_item[publish_date] f{year}-{int(month):02d}-{int(day):02d} except ValueError: cleaned_item[publish_date] date_str # 转换失败则保留原样 else: # 尝试其他格式解析 pass # 3. 处理缺失值统一为None或空字符串 for key in cleaned_item: if cleaned_item[key] in [-, —, NULL, null, ]: cleaned_item[key] None # 4. 数值字段转换 (例如“12.5%”转为0.125) numeric_fields [growth_rate, percentage] for field in numeric_fields: val cleaned_item.get(field) if isinstance(val, str) and % in val: try: cleaned_item[field] float(val.replace(%, )) / 100 except ValueError: pass cleaned_data.append(cleaned_item) return cleaned_data4.3 项目结构与调度一个清晰的项目结构能让协作和维护变得轻松。gov_data_crawler/ ├── spiders/ # 爬虫模块目录 │ ├── __init__.py │ ├── base_spider.py # 基类 GovDataSpiderBase │ ├── ganzhou_spider.py # 赣州爬虫 │ ├── dali_spider.py # 大理爬虫 (含动态加载) │ ├── taiyuan_spider.py # 太原爬虫 (含文件下载) │ └── ... # 其他城市爬虫 ├── utils/ # 工具函数 │ ├── __init__.py │ ├── file_downloader.py # 文件下载工具 │ ├── data_cleaner.py # 数据清洗工具 │ └── database.py # 数据库操作 ├── configs/ # 配置文件 │ └── settings.py # 全局配置如请求头、延迟、数据库路径 ├── data/ # 爬取的数据CSV、PDF等 │ ├── ganzhou/ │ ├── dali/ │ └── ... ├── logs/ # 日志目录 ├── requirements.txt # 项目依赖 ├── main.py # 主调度程序 └── README.md在main.py中可以灵活调度不同的爬虫from spiders.ganzhou_spider import GanzhouSpider from spiders.dali_spider import DaliDynamicSpider from configs.settings import REQUEST_DELAY, DB_PATH import schedule import time def job_ganzhou(): spider GanzhouSpider(delayREQUEST_DELAY) spider.run() def job_dali(): spider DaliDynamicSpider() data spider.crawl_news(http://www.dali.gov.cn/whly/) # ... 处理并保存data def run_all_once(): 一次性运行所有爬虫 job_ganzhou() job_dali() # ... 调用其他爬虫 def run_scheduled(): 定时运行例如每天凌晨2点 schedule.every().day.at(02:00).do(run_all_once) while True: schedule.run_pending() time.sleep(60) if __name__ __main__: # 选择执行模式 run_all_once() # 单次执行 # 或者 run_scheduled() # 定时执行需后台运行5. 常见问题、反爬策略与优化技巧5.1 高频问题与解决方案速查表问题现象可能原因排查步骤与解决方案返回状态码403请求被服务器拒绝1. 检查User-Agent模拟真实浏览器。2. 检查是否有Referer策略在请求头中添加Referer。3. 检查IP是否被临时封禁增加请求延迟(time.sleep)或使用代理IP池。获取的HTML是空或乱码编码问题或动态加载1. 检查resp.encoding尝试设置为resp.apparent_encoding或utf-8/gbk。2. 查看网页源代码CtrlU确认数据是否在静态HTML中。若不在需用Selenium。BeautifulSoup找不到元素选择器错误或页面结构变化1. 使用浏览器开发者工具重新检查元素确认选择器路径。2. 尝试更通用的选择器或使用find配合多个属性。3. 打印soup.prettify()的一部分确认解析是否正确。爬取速度慢单线程、网络延迟1. 确保已设置合理的time.sleep并非越短越好。2. 对于大量独立页面考虑使用concurrent.futures.ThreadPoolExecutor实现多线程。3. 对于Scrapy项目调整并发数(CONCURRENT_REQUESTS)和下载延迟(DOWNLOAD_DELAY)。数据重复未做去重处理1. 在存储前根据唯一标识如URL、标题日期进行去重。2. 使用数据库的UNIQUE约束。3. Scrapy框架内置了基于请求指纹的去重中间件。需要登录才能访问目标数据在登录后区域评估合法性确认该数据是否属于应公开范围。若必须需模拟登录1. 使用Session对象保持会话。2. 分析登录表单的POST请求提交用户名、密码和可能的隐藏字段如CSRF token。5.2 应对基础反爬机制政府网站的反爬一般不会太复杂但一些基础措施需要留意User-Agent检测这是最基本的。务必在请求头中设置一个常见的浏览器UA字符串。请求频率限制这是最需要遵守的。务必在请求间添加随机延迟例如time.sleep(random.uniform(1, 3))模拟人工操作。Cookie/Session有些网站会通过Session跟踪访客。使用requests.Session()对象可以自动处理Cookie保持会话状态。简单JavaScript验证有些网站会通过JS设置Cookie或生成参数。可以先用浏览器正常访问一次通过开发者工具的“网络”选项卡查看首次请求和后续请求的差异然后在爬虫代码中模拟。核心原则对于政府公开数据我们的爬虫行为应尽可能“友好”目标是获取数据而非测试网站负载能力。过快的请求频率是导致IP被屏蔽最常见的原因。5.3 性能与可维护性优化连接复用始终使用requests.Session()它可以在同一会话内复用TCP连接提升效率。超时设置为所有网络请求设置连接超时和读取超时如timeout(5, 10)避免因某个请求卡住导致程序假死。异常处理网络请求必须放在try...except块中捕获requests.exceptions.RequestException及其子类如Timeout,ConnectionError并记录日志使爬虫具备容错能力。配置化将请求头、延迟时间、数据库连接字符串、目标URL列表等写入配置文件如settings.py或config.yaml避免硬编码方便不同环境部署。日志记录使用Python的logging模块记录信息、警告和错误。这不仅是调试的利器也能让你在爬虫长时间运行时了解其状态。增量爬取设计数据表时包含source_url唯一和crawl_time字段。每次爬取前可以先查询数据库中已存在的URL只爬取新的内容大幅节省资源和时间。5.4 法律与伦理边界再强调这是所有数据爬取项目的基石必须时刻牢记遵守robots.txt这是网站与爬虫之间的基本协议。访问目标网站/robots.txt查看是否允许爬取你感兴趣的目录。只爬公开数据绝不尝试爬取需要登录才能访问的非公开信息、个人隐私数据、商业秘密或任何明确声明禁止爬取的内容。尊重版权对爬取的数据的使用需遵守网站相关的版权声明或使用条款。控制访问压力设置合理的请求间隔避免对目标网站服务器造成明显的性能影响。数据用途将数据用于个人学习、研究或合法的公益分析目的。这个基于Python的多城市政府数据爬取项目从技术上看是请求、解析、存储的循环但从实践上看更像是一场与不同网站架构进行“友好对话”的过程。每个城市、每个部门的网站都可能是一个独特的案例没有一成不变的解决方案。最重要的不是代码本身而是分析问题、设计策略和不断调试的能力。我个人的体会是成功的爬虫项目三分靠代码七分靠对目标网站的耐心观察和理解。本文还有配套的精品资源点击获取