1. 项目背景与核心价值《红楼梦》作为中国古典文学巅峰之作其文本结构复杂、人物关系庞杂、隐喻系统丰富。传统文学研究方法往往依赖人工标注和主观解读而现代文本分析技术为我们提供了全新的研究视角。这个项目将展示如何用Python构建完整的分析流水线从原始文本处理到关键信息提取最终实现数据驱动的文学解读。我曾在数字人文领域做过多个类似项目发现文本分析技术特别适合处理这类经典作品。通过程序化手段我们能够发现人眼难以察觉的用词规律、章节关联和主题演变。比如去年用类似方法分析《水浒传》时就意外发现了不同回目间的地名分布规律。2. 数据准备与预处理2.1 文本获取与清洗首先需要获取高质量的《红楼梦》电子文本。推荐使用国学网的校注版或脂砚斋评本这些版本经过专业校勘错字漏字较少。我通常将全书保存为UTF-8编码的txt文件每章单独段落。清洗时要注意处理去除版本特有的标记如【批语】等统一异体字如裏与里处理特殊格式的诗词可以先单独提取分卷标记保留第X回作为分节标识import re def clean_text(text): # 去除批注和特殊标记 text re.sub(r【.*?】, , text) # 统一换行符 text text.replace(\r\n, \n) # 保留章节标记 chapters re.split(r(第[一二三四五六七八九十百]回), text)[1:] return chapters2.2 分词处理实战中文分词是分析的基础环节。经过多个项目对比我推荐使用jieba和THULAC的组合jieba速度快支持自定义词典THULAC北大开发准确率更高特别要注意《红楼梦》中的特殊词汇处理import jieba import thulac # 加载自定义词典 jieba.load_userdict(honglou_dict.txt) # 包含贾宝玉林黛玉等专名 # 初始化分词器 thu thulac.thulac(seg_onlyTrue) def hybrid_cut(text): # 先用jieba粗分 words jieba.lcut(text) # 对疑难部分用THULAC复核 return [thu.cut(word)[0][0] if len(word)2 else word for word in words]3. 文本特征工程构建3.1 词频统计与可视化基础但重要的分析维度是词频统计。我习惯用Counter结合pandasfrom collections import Counter import pandas as pd def get_word_freq(chapter_text): words hybrid_cut(chapter_text) # 过滤停用词 with open(cn_stopwords.txt) as f: stopwords set(f.read().splitlines()) filtered [w for w in words if w not in stopwords and len(w)1] return Counter(filtered) # 生成词频DataFrame freq_df pd.DataFrame.from_dict( {chap: get_word_freq(text) for chap, text in chapters.items()}, orientindex ).fillna(0)可视化推荐使用pyecharts的词云from pyecharts import options as opts from pyecharts.charts import WordCloud wordcloud ( WordCloud() .add(, freq_df.sum().sort_values(ascendingFalse)[:50].items()) .set_global_opts(title_optsopts.TitleOpts(title《红楼梦》高频词TOP50)) ) wordcloud.render(wordcloud.html)3.2 章节相似度分析通过TF-IDF向量化计算章节相似度能发现潜在的内容关联from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity # 构建TF-IDF矩阵 tfidf TfidfVectorizer(tokenizerhybrid_cut, max_features500) X tfidf.fit_transform(chapters.values()) # 计算相似度矩阵 sim_matrix cosine_similarity(X) # 找出最相似章节对 import numpy as np np.fill_diagonal(sim_matrix, 0) # 排除自比较 most_similar np.unravel_index(sim_matrix.argmax(), sim_matrix.shape) print(f最相似章节{chapters.keys()[most_similar[0]]} 和 {chapters.keys()[most_similar[1]]})4. 深度特征分析与解读4.1 人物关系网络构建通过共现分析构建人物关系图import networkx as nx # 人物列表需预先整理 characters [贾宝玉, 林黛玉, 薛宝钗, 王熙凤, 贾母, 袭人] # 构建共现矩阵 co_matrix pd.DataFrame(0, indexcharacters, columnscharacters) for chap in chapters: words hybrid_cut(chapters[chap]) present_chars [c for c in characters if c in words] for i in range(len(present_chars)): for j in range(i1, len(present_chars)): c1, c2 present_chars[i], present_chars[j] co_matrix.loc[c1, c2] 1 co_matrix.loc[c2, c1] 1 # 创建图对象 G nx.Graph() for c1 in characters: for c2 in characters: if co_matrix.loc[c1, c2] 5: # 设置阈值 G.add_edge(c1, c2, weightco_matrix.loc[c1, c2]) # 可视化 pos nx.spring_layout(G) nx.draw(G, pos, with_labelsTrue, node_size[co_matrix.loc[c].sum()*10 for c in characters], width[d[weight]*0.1 for u,v,d in G.edges(dataTrue)])4.2 情感分析应用使用SnowNLP进行章节情感趋势分析from snownlp import SnowNLP sentiments [] for chap in chapters: s SnowNLP(chapters[chap]) sentiments.append(s.sentiments) # 绘制情感曲线 import matplotlib.pyplot as plt plt.plot(range(len(sentiments)), sentiments) plt.xticks(range(len(chapters)), chapters.keys(), rotation90) plt.title(各章节情感倾向变化) plt.show()5. 高级分析技巧5.1 主题模型分析使用LDA挖掘潜在主题from sklearn.decomposition import LatentDirichletAllocation # 先构建词袋模型 from sklearn.feature_extraction.text import CountVectorizer cv CountVectorizer(tokenizerhybrid_cut, max_features1000) bow cv.fit_transform(chapters.values()) # 训练LDA模型 lda LatentDirichletAllocation(n_components5, random_state42) lda.fit(bow) # 展示每个主题的关键词 def print_top_words(model, feature_names, n_top_words): for topic_idx, topic in enumerate(model.components_): print(fTopic #{topic_idx}:) print( .join([feature_names[i] for i in topic.argsort()[:-n_top_words - 1:-1]])) print_top_words(lda, cv.get_feature_names_out(), 10)5.2 时间序列分析将前80回和后40回分开分析比较用词差异from scipy.stats import ttest_ind # 分割数据 qian80 freq_df.iloc[:80] hou40 freq_df.iloc[80:] # 找出差异显著的词 diff_words [] for word in freq_df.columns: _, p ttest_ind(qian80[word], hou40[word], nan_policyomit) if p 0.01 and (qian80[word].mean() 0.1 or hou40[word].mean() 0.1): diff_words.append((word, p, qian80[word].mean(), hou40[word].mean())) # 按p值排序 diff_words.sort(keylambda x: x[1]) print(前后部差异最大的词) for word, p, m1, m2 in diff_words[:20]: print(f{word}: 前80回{m1:.3f} vs 后40回{m2:.3f} (p{p:.5f}))6. 实战经验与优化建议经过多次实验我总结了几个关键优化点分词优化对于古汉语虚词之、乎、者、也要单独处理人物称谓变化如宝玉和贾宝玉需要归一化诗词部分最好单独分析参数调优TF-IDF的max_features建议设置在500-1000LDA的主题数n_components通过困惑度评估确定相似度分析时考虑章节长度归一化可视化技巧人物关系图用Gephi做后期美化时间序列分析配合历史事件标注主题模型结果用pyLDAvis交互展示常见问题内存不足时可以使用HashingVectorizer替代TfidfVectorizer处理速度慢时可以尝试用Dask并行化结果不稳定时注意设置随机种子一个实用的调试技巧是建立小型测试集——选取3-5个典型章节先跑通流程确认效果后再处理全书。我在分析宝玉挨打相关章节时就通过这种方法发现了人物情感变化的微妙模式。
1. 项目背景与核心价值《红楼梦》作为中国古典文学巅峰之作其文本结构复杂、人物关系庞杂、隐喻系统丰富。传统文学研究方法往往依赖人工标注和主观解读而现代文本分析技术为我们提供了全新的研究视角。这个项目将展示如何用Python构建完整的分析流水线从原始文本处理到关键信息提取最终实现数据驱动的文学解读。我曾在数字人文领域做过多个类似项目发现文本分析技术特别适合处理这类经典作品。通过程序化手段我们能够发现人眼难以察觉的用词规律、章节关联和主题演变。比如去年用类似方法分析《水浒传》时就意外发现了不同回目间的地名分布规律。2. 数据准备与预处理2.1 文本获取与清洗首先需要获取高质量的《红楼梦》电子文本。推荐使用国学网的校注版或脂砚斋评本这些版本经过专业校勘错字漏字较少。我通常将全书保存为UTF-8编码的txt文件每章单独段落。清洗时要注意处理去除版本特有的标记如【批语】等统一异体字如裏与里处理特殊格式的诗词可以先单独提取分卷标记保留第X回作为分节标识import re def clean_text(text): # 去除批注和特殊标记 text re.sub(r【.*?】, , text) # 统一换行符 text text.replace(\r\n, \n) # 保留章节标记 chapters re.split(r(第[一二三四五六七八九十百]回), text)[1:] return chapters2.2 分词处理实战中文分词是分析的基础环节。经过多个项目对比我推荐使用jieba和THULAC的组合jieba速度快支持自定义词典THULAC北大开发准确率更高特别要注意《红楼梦》中的特殊词汇处理import jieba import thulac # 加载自定义词典 jieba.load_userdict(honglou_dict.txt) # 包含贾宝玉林黛玉等专名 # 初始化分词器 thu thulac.thulac(seg_onlyTrue) def hybrid_cut(text): # 先用jieba粗分 words jieba.lcut(text) # 对疑难部分用THULAC复核 return [thu.cut(word)[0][0] if len(word)2 else word for word in words]3. 文本特征工程构建3.1 词频统计与可视化基础但重要的分析维度是词频统计。我习惯用Counter结合pandasfrom collections import Counter import pandas as pd def get_word_freq(chapter_text): words hybrid_cut(chapter_text) # 过滤停用词 with open(cn_stopwords.txt) as f: stopwords set(f.read().splitlines()) filtered [w for w in words if w not in stopwords and len(w)1] return Counter(filtered) # 生成词频DataFrame freq_df pd.DataFrame.from_dict( {chap: get_word_freq(text) for chap, text in chapters.items()}, orientindex ).fillna(0)可视化推荐使用pyecharts的词云from pyecharts import options as opts from pyecharts.charts import WordCloud wordcloud ( WordCloud() .add(, freq_df.sum().sort_values(ascendingFalse)[:50].items()) .set_global_opts(title_optsopts.TitleOpts(title《红楼梦》高频词TOP50)) ) wordcloud.render(wordcloud.html)3.2 章节相似度分析通过TF-IDF向量化计算章节相似度能发现潜在的内容关联from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity # 构建TF-IDF矩阵 tfidf TfidfVectorizer(tokenizerhybrid_cut, max_features500) X tfidf.fit_transform(chapters.values()) # 计算相似度矩阵 sim_matrix cosine_similarity(X) # 找出最相似章节对 import numpy as np np.fill_diagonal(sim_matrix, 0) # 排除自比较 most_similar np.unravel_index(sim_matrix.argmax(), sim_matrix.shape) print(f最相似章节{chapters.keys()[most_similar[0]]} 和 {chapters.keys()[most_similar[1]]})4. 深度特征分析与解读4.1 人物关系网络构建通过共现分析构建人物关系图import networkx as nx # 人物列表需预先整理 characters [贾宝玉, 林黛玉, 薛宝钗, 王熙凤, 贾母, 袭人] # 构建共现矩阵 co_matrix pd.DataFrame(0, indexcharacters, columnscharacters) for chap in chapters: words hybrid_cut(chapters[chap]) present_chars [c for c in characters if c in words] for i in range(len(present_chars)): for j in range(i1, len(present_chars)): c1, c2 present_chars[i], present_chars[j] co_matrix.loc[c1, c2] 1 co_matrix.loc[c2, c1] 1 # 创建图对象 G nx.Graph() for c1 in characters: for c2 in characters: if co_matrix.loc[c1, c2] 5: # 设置阈值 G.add_edge(c1, c2, weightco_matrix.loc[c1, c2]) # 可视化 pos nx.spring_layout(G) nx.draw(G, pos, with_labelsTrue, node_size[co_matrix.loc[c].sum()*10 for c in characters], width[d[weight]*0.1 for u,v,d in G.edges(dataTrue)])4.2 情感分析应用使用SnowNLP进行章节情感趋势分析from snownlp import SnowNLP sentiments [] for chap in chapters: s SnowNLP(chapters[chap]) sentiments.append(s.sentiments) # 绘制情感曲线 import matplotlib.pyplot as plt plt.plot(range(len(sentiments)), sentiments) plt.xticks(range(len(chapters)), chapters.keys(), rotation90) plt.title(各章节情感倾向变化) plt.show()5. 高级分析技巧5.1 主题模型分析使用LDA挖掘潜在主题from sklearn.decomposition import LatentDirichletAllocation # 先构建词袋模型 from sklearn.feature_extraction.text import CountVectorizer cv CountVectorizer(tokenizerhybrid_cut, max_features1000) bow cv.fit_transform(chapters.values()) # 训练LDA模型 lda LatentDirichletAllocation(n_components5, random_state42) lda.fit(bow) # 展示每个主题的关键词 def print_top_words(model, feature_names, n_top_words): for topic_idx, topic in enumerate(model.components_): print(fTopic #{topic_idx}:) print( .join([feature_names[i] for i in topic.argsort()[:-n_top_words - 1:-1]])) print_top_words(lda, cv.get_feature_names_out(), 10)5.2 时间序列分析将前80回和后40回分开分析比较用词差异from scipy.stats import ttest_ind # 分割数据 qian80 freq_df.iloc[:80] hou40 freq_df.iloc[80:] # 找出差异显著的词 diff_words [] for word in freq_df.columns: _, p ttest_ind(qian80[word], hou40[word], nan_policyomit) if p 0.01 and (qian80[word].mean() 0.1 or hou40[word].mean() 0.1): diff_words.append((word, p, qian80[word].mean(), hou40[word].mean())) # 按p值排序 diff_words.sort(keylambda x: x[1]) print(前后部差异最大的词) for word, p, m1, m2 in diff_words[:20]: print(f{word}: 前80回{m1:.3f} vs 后40回{m2:.3f} (p{p:.5f}))6. 实战经验与优化建议经过多次实验我总结了几个关键优化点分词优化对于古汉语虚词之、乎、者、也要单独处理人物称谓变化如宝玉和贾宝玉需要归一化诗词部分最好单独分析参数调优TF-IDF的max_features建议设置在500-1000LDA的主题数n_components通过困惑度评估确定相似度分析时考虑章节长度归一化可视化技巧人物关系图用Gephi做后期美化时间序列分析配合历史事件标注主题模型结果用pyLDAvis交互展示常见问题内存不足时可以使用HashingVectorizer替代TfidfVectorizer处理速度慢时可以尝试用Dask并行化结果不稳定时注意设置随机种子一个实用的调试技巧是建立小型测试集——选取3-5个典型章节先跑通流程确认效果后再处理全书。我在分析宝玉挨打相关章节时就通过这种方法发现了人物情感变化的微妙模式。
)
