1. 为什么选择网易云评论作为爬虫学习目标网易云音乐的评论区一直以有故事著称这里汇聚了大量用户真实情感表达。从数据角度看每条评论包含用户ID、昵称、评论内容、点赞数、时间戳等结构化数据同时评论内容本身又具有丰富的非结构化特征这种混合数据类型非常适合作为爬虫练手项目。我最初选择这个项目是因为它完美覆盖了爬虫技术的几个关键学习点需要处理动态加载内容网易云采用Ajax分页涉及加密参数破解常见的params和encSecKey加密需要模拟登录获取完整数据部分敏感评论需登录数据清洗复杂度适中包含HTML标签、特殊符号、emoji等2. 环境准备与工具选型2.1 基础环境配置推荐使用Python 3.8环境主要依赖库包括requests2.28.1 # 网络请求 pycryptodome3.15.0 # AES加密 pandas1.5.3 # 数据存储 tqdm4.64.1 # 进度条显示注意不要使用最新版requests库某些版本与网易云API存在兼容性问题。实测2.28.1版本最稳定。2.2 开发工具选择建议使用Chrome开发者工具分析网络请求重点关注XHR类型的请求通常包含评论数据Headers中的csrf和Cookie字段Form Data中的加密参数3. 逆向分析关键加密逻辑3.1 加密参数定位通过抓包可以发现获取评论的API请求包含三个关键加密参数params 加密字符串A encSecKey 加密字符串B csrf_token 从Cookie中获取3.2 AES加密逆向网易云使用AES-128-CBC模式加密关键参数如下密钥0CoJUm6Qyw8W8jud初始向量0102030405060708二次加密密钥随机16位字符串加密过程Python实现from Crypto.Cipher import AES import base64 def aes_encrypt(text, key, iv): pad 16 - len(text) % 16 text text pad * chr(pad) cipher AES.new(key.encode(), AES.MODE_CBC, iv.encode()) encrypted cipher.encrypt(text.encode()) return base64.b64encode(encrypted).decode()3.3 RSA加密处理encSecKey采用RSA加密公钥固定为-----BEGIN PUBLIC KEY----- MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQDgtQn2JZ34ZC28NWYpAUd98iZ37BUrX/aKzmFbt7clFSs6sXqHauqKWqdtLkF2KexO40H1YTX8z2lSgBBOAxLsvaklV8k4cBFK9snQXE9/DDaFt6Rr7uVEBrdxR6aR5mDZU03kJ9b4IeA5sGTMp8YqomZ5HAYGHJDVd0s0qD0wIDAQAB -----END PUBLIC KEY-----4. 完整爬虫实现流程4.1 获取歌曲ID首先需要获取目标歌曲的ID有两种方式从网页URL直接提取如https://music.163.com/#/song?id123456通过搜索API获取需处理搜索结果的分页和排序推荐使用官方搜索接口search_url https://music.163.com/api/search/get/web params { s: 歌曲名, type: 1, # 1表示歌曲 limit: 5 }4.2 构造加密请求实现加密参数生成函数def generate_params(text): first_pass aes_encrypt(text, primary_key, iv) second_pass aes_encrypt(first_pass, random_key, iv) return second_pass def generate_encSecKey(random_key): # RSA加密实现 ...4.3 处理分页逻辑网易云评论采用瀑布流加载方式每页获取20条评论。关键参数offset: 起始位置total: 总评论数首次请求返回limit: 每页数量固定20分页请求示例comment_url https://music.163.com/weapi/v1/resource/comments/R_SO_4_{song_id} data { params: generate_params(json.dumps({ rid: fR_SO_4_{song_id}, offset: offset, total: true if offset 0 else false, limit: 20 })), encSecKey: generate_encSecKey(random_key) }5. 数据存储与分析5.1 原始数据存储建议使用CSV格式存储字段包括[ comment_id, user_id, nickname, content, liked_count, time, ip_location, reply_count, beReplied ]5.2 数据清洗要点常见清洗需求处理HTML标签如em表情标签过滤特殊字符换行符、制表符等提取emoji Unicode编码IP地址归属地解析5.3 简单分析示例使用pandas进行基础分析import pandas as pd df pd.read_csv(comments.csv) # 点赞TOP10评论 top10 df.sort_values(liked_count, ascendingFalse).head(10) # 按小时统计评论量 df[hour] pd.to_datetime(df[time]).dt.hour hour_dist df.groupby(hour).size()6. 反爬策略与应对方案6.1 常见反爬机制网易云采用的多层防御请求频率限制单IP约150次/分钟加密参数时效性约30分钟失效用户行为检测鼠标轨迹、点击模式6.2 应对建议请求间隔优化import random time.sleep(random.uniform(0.5, 1.5)) # 随机延迟IP代理池搭建使用免费代理快代理、西刺代理付费代理服务按需购买请求头随机化headers { User-Agent: random.choice(user_agent_list), Referer: https://music.163.com/ }7. 项目扩展方向7.1 情感分析应用使用SnowNLP进行评论情感值计算from snownlp import SnowNLP def get_sentiment(text): return SnowNLP(text).sentiments df[sentiment] df[content].apply(get_sentiment)7.2 用户画像构建基于评论数据可以分析活跃时间段分布常用表情/词汇社交关系网络通过回复关系7.3 可视化展示使用Pyecharts生成热词云图情感趋势折线图地域分布地图我在实际爬取中发现凌晨时段的评论情感值普遍高于白天这可能与用户夜间情绪状态有关。一个实用的技巧是对于热门歌曲可以先爬取前500条热评进行快速分析再决定是否采集全量数据。
1. 为什么选择网易云评论作为爬虫学习目标网易云音乐的评论区一直以有故事著称这里汇聚了大量用户真实情感表达。从数据角度看每条评论包含用户ID、昵称、评论内容、点赞数、时间戳等结构化数据同时评论内容本身又具有丰富的非结构化特征这种混合数据类型非常适合作为爬虫练手项目。我最初选择这个项目是因为它完美覆盖了爬虫技术的几个关键学习点需要处理动态加载内容网易云采用Ajax分页涉及加密参数破解常见的params和encSecKey加密需要模拟登录获取完整数据部分敏感评论需登录数据清洗复杂度适中包含HTML标签、特殊符号、emoji等2. 环境准备与工具选型2.1 基础环境配置推荐使用Python 3.8环境主要依赖库包括requests2.28.1 # 网络请求 pycryptodome3.15.0 # AES加密 pandas1.5.3 # 数据存储 tqdm4.64.1 # 进度条显示注意不要使用最新版requests库某些版本与网易云API存在兼容性问题。实测2.28.1版本最稳定。2.2 开发工具选择建议使用Chrome开发者工具分析网络请求重点关注XHR类型的请求通常包含评论数据Headers中的csrf和Cookie字段Form Data中的加密参数3. 逆向分析关键加密逻辑3.1 加密参数定位通过抓包可以发现获取评论的API请求包含三个关键加密参数params 加密字符串A encSecKey 加密字符串B csrf_token 从Cookie中获取3.2 AES加密逆向网易云使用AES-128-CBC模式加密关键参数如下密钥0CoJUm6Qyw8W8jud初始向量0102030405060708二次加密密钥随机16位字符串加密过程Python实现from Crypto.Cipher import AES import base64 def aes_encrypt(text, key, iv): pad 16 - len(text) % 16 text text pad * chr(pad) cipher AES.new(key.encode(), AES.MODE_CBC, iv.encode()) encrypted cipher.encrypt(text.encode()) return base64.b64encode(encrypted).decode()3.3 RSA加密处理encSecKey采用RSA加密公钥固定为-----BEGIN PUBLIC KEY----- MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQDgtQn2JZ34ZC28NWYpAUd98iZ37BUrX/aKzmFbt7clFSs6sXqHauqKWqdtLkF2KexO40H1YTX8z2lSgBBOAxLsvaklV8k4cBFK9snQXE9/DDaFt6Rr7uVEBrdxR6aR5mDZU03kJ9b4IeA5sGTMp8YqomZ5HAYGHJDVd0s0qD0wIDAQAB -----END PUBLIC KEY-----4. 完整爬虫实现流程4.1 获取歌曲ID首先需要获取目标歌曲的ID有两种方式从网页URL直接提取如https://music.163.com/#/song?id123456通过搜索API获取需处理搜索结果的分页和排序推荐使用官方搜索接口search_url https://music.163.com/api/search/get/web params { s: 歌曲名, type: 1, # 1表示歌曲 limit: 5 }4.2 构造加密请求实现加密参数生成函数def generate_params(text): first_pass aes_encrypt(text, primary_key, iv) second_pass aes_encrypt(first_pass, random_key, iv) return second_pass def generate_encSecKey(random_key): # RSA加密实现 ...4.3 处理分页逻辑网易云评论采用瀑布流加载方式每页获取20条评论。关键参数offset: 起始位置total: 总评论数首次请求返回limit: 每页数量固定20分页请求示例comment_url https://music.163.com/weapi/v1/resource/comments/R_SO_4_{song_id} data { params: generate_params(json.dumps({ rid: fR_SO_4_{song_id}, offset: offset, total: true if offset 0 else false, limit: 20 })), encSecKey: generate_encSecKey(random_key) }5. 数据存储与分析5.1 原始数据存储建议使用CSV格式存储字段包括[ comment_id, user_id, nickname, content, liked_count, time, ip_location, reply_count, beReplied ]5.2 数据清洗要点常见清洗需求处理HTML标签如em表情标签过滤特殊字符换行符、制表符等提取emoji Unicode编码IP地址归属地解析5.3 简单分析示例使用pandas进行基础分析import pandas as pd df pd.read_csv(comments.csv) # 点赞TOP10评论 top10 df.sort_values(liked_count, ascendingFalse).head(10) # 按小时统计评论量 df[hour] pd.to_datetime(df[time]).dt.hour hour_dist df.groupby(hour).size()6. 反爬策略与应对方案6.1 常见反爬机制网易云采用的多层防御请求频率限制单IP约150次/分钟加密参数时效性约30分钟失效用户行为检测鼠标轨迹、点击模式6.2 应对建议请求间隔优化import random time.sleep(random.uniform(0.5, 1.5)) # 随机延迟IP代理池搭建使用免费代理快代理、西刺代理付费代理服务按需购买请求头随机化headers { User-Agent: random.choice(user_agent_list), Referer: https://music.163.com/ }7. 项目扩展方向7.1 情感分析应用使用SnowNLP进行评论情感值计算from snownlp import SnowNLP def get_sentiment(text): return SnowNLP(text).sentiments df[sentiment] df[content].apply(get_sentiment)7.2 用户画像构建基于评论数据可以分析活跃时间段分布常用表情/词汇社交关系网络通过回复关系7.3 可视化展示使用Pyecharts生成热词云图情感趋势折线图地域分布地图我在实际爬取中发现凌晨时段的评论情感值普遍高于白天这可能与用户夜间情绪状态有关。一个实用的技巧是对于热门歌曲可以先爬取前500条热评进行快速分析再决定是否采集全量数据。
)
