简介基于Python的知识图谱与图神经网络电影推荐系统是一个经过严格调试、评审得分98分的高分毕业设计项目主要面向计算机相关专业正在完成大作业或毕业设计的学生也适合希望实战图神经网络与推荐系统项目的开发者。压缩包共31个文件包含21个Python脚本、5个电影数据集文件、2个说明文本及README等整体14.84MB。源码覆盖数据预处理、知识图谱构建、KGCN模型训练、评估与Web展示等模块目录结构清晰可按流程学习或直接复现。项目已吸引86人次学习浏览可配合完整数据快速跑通实验。资源不仅提供可运行的训练与测试代码还附带了数据加载、图谱建立、工具函数等细节实现方便理解从原始评分数据到最终推荐结果的完整链路对掌握知识图谱与图神经网络的落地应用很有帮助。1. 电影推荐系统不是“猜你喜欢”知识图谱GNN要解决的是冷启动和可解释性在经典协同过滤里“猜你喜欢”是找相似用户、找相似电影然后做矩阵补全。但一旦用户是刚注册的或者电影是刚上线的矩阵里没有任何观测数据模型只能推荐热门的、大家都看过的内容推荐结果也说不出理由。基于Python的知识图谱和图神经网络的电影推荐系统是把电影、导演、演员、类型、用户行为先建成一张异构图再用图神经网络把节点训练成向量最后在图上做Top-N推荐。这条技术路线天然带着推荐理由也把冷启动从“没有行为数据”变成“关系图还不够密”。这篇博文按常见毕设源码工程的结构来讲数据怎么清洗、三元组和邻接矩阵怎么建、GCN与GAT怎么做、有哪些坑、最后怎么评估和展示新手能跟着写下去熟手也能对照检查自己的实现。2. 为什么选知识图谱图神经网络推荐系统的高分架构由哪几块组成2.1 从协同过滤到KG推荐系统缺的不只是算法协同过滤和矩阵分解有一个共同假设用户接下来的偏好可以由历史交互向量内积推断出来。这个假设在电影场景里漏洞很明显——用户去看《星际穿越》不一定是和某个评分集群相似而是因为导演、硬科幻、太空题材这些内容属性击中了他。知识图谱把这些“语义相似性”显式建模出来电影是实体导演、演员、类型、制片公司也是实体彼此之间用关系连接。推荐问题于是从“user-item矩阵补全”变成了“预测图中用户和电影之间是否可能存在喜欢关系”。知识图谱在电影推荐里承担三件事第一丰富物品侧信息冷启动电影可以通过类型、演员、导演连接到已有热门电影第二提供可解释路径推荐《盗梦空间》时能回答“因为你看过《星际穿越》两部都是诺兰作品”第三给GNN提供训练所需的邻居结构。一句话协同过滤看行为表象知识图谱看内容本质。做毕设时别把知识图谱当炫技模块它是后面GNN的“燃料”实体关系定义直接决定模型能学到什么。选型之前先想清楚图谱规模。常见毕设用MovieLens-1M或豆瓣电影数据做原始评分再配一份电影属性表包含标题、导演、演员、类型、年份。属性数据来源各不一样有的源码工程自带CSV或JSON有的则单独放一个爬虫目录用来补全缺失字段。拿到数据包后第一件事永远是统计行数和字段确认评分表、属性表、用户表之间通过哪个键关联再开始设计图谱跳过这一步后面大概率翻车。2.2 GNN在KG上的三种聚合方式GCN、GAT与采样式模型知识图谱是异构图要让神经网络处理最顺手的工具是图神经网络的消息传递框架。GNN的核心思路是每一层让节点“看一眼”一阶邻居把邻居特征聚合成自己的新特征层数越多能感知到的跳数越远。推荐里最常碰到的有三种实现。GCN最基础它用归一化后的边做均值聚合参数少、速度快、训练稳定适合第一次把实体ID放进模型的毕设项目。GAT在GCN之上引入注意力每条边学出一个权重重要邻居说话更算数模型表达力更强注意力权重也能用于后面做解释性分析。GraphSAGE则是对邻居做采样把全图计算改成局部小批量适合图谱规模大或者显存吃紧的环境但工程复杂度会高一些。毕设里GCN和GAT是主要竞争对手。选GCN优点是简单直接不容易出错loss和指标都能稳定复现选GAT答辩时有“注意力机制”可讲还能把权重可视化生成推荐理由。更稳妥的做法是两个版本都实现代码中用配置参数切换这种“横向对比不同图模型”的写法本身就是加分项。要特别注意电影推荐里的GNN不等同于普通节点分类。最终目标是预测用户和物品的关系所以模型必须由三段组成Embedding层、图卷积层、打分器。打分器常用内积或MLP把用户向量和物品向量映射成得分。如果只搭一个图卷积层然后直接输出拿不到推荐结果。2.3 工程模块划分数据处理、图谱构建、模型训练、评估服务一个完整的知识图谱GNN电影推荐源码工程目录结构通常是这样的。data放原始数据包括评分表、属性表、ID映射文件build_graph放构建三元组和邻接矩阵的脚本model放GCN或GAT实现train放训练主循环和负采样逻辑eval放离线指标serve目录用FastAPI或Flask把模型包装成接口输入用户ID返回推荐列表。拿到源码不要直接运行train.py这是最典型的翻车路径。因为构建好的图谱文件如果不存在代码会在加载邻接矩阵时报错即使跑通你不理解数据处理细节后面模型指标异常也找不到根因。我建议的顺序是第一步看README确认运行环境与依赖第二步单独跑build_graph脚本生成中间缓存文件第三步写一个数据统计脚本打印实体数、关系数、每个用户平均交互数第四步再启动训练。这个顺序能把大多数问题暴露在训练之前。环境方面Python版本建议用3.8或3.10深度学习框架使用PyTorch加PyTorch Geometric也就是常说的PyG。很多新手直接 pip install torch-geometric结果经常遇到与已有torch版本不兼容。我一般先查看torch版本再去官网找对应匹配的 wheel 安装 torch-scatter 和 torch-sparse最后安装 torch-geometric。这也是 Python 生态里最常遇到的安装玄学多花几分钟能省很多事。3. 从原始数据到知识图谱用Python构建邻接矩阵与三元组的完整流程3.1 数据集字段与预处理先把ID映射成连续整数拿到数据后我先写一个data_stats.py 脚本统计每张表的字段、行数、唯一ID数、缺失值比例。只看表头就建图后面在构建邻接矩阵时大概率踩到ID不连续的坑。GNN模型要求节点ID是连续整数从0开始编号。假设有6040个用户、3706部电影、3000个属性实体node_count就是三者加总。如果直接用原始MovieID如1、3、7、12这种有间隔的编号Embedding层要建出一张很大的稀疏表甚至直接维度错误。所以首先要做的是把所有用户ID、电影ID、实体ID合并成统一的“ID到索引”映射词典。# data_stats.py —— 统计原始表并重构连续ID import pandas as pd def build_index(ids): 把任意一组ID转为0..N-1的连续索引返回dict和逆dict。 unique sorted(set(ids)) id2index {old: new for new, old in enumerate(unique)} index2id {new: old for old, new in id2index.items()} return id2index, index2id # 假设评分表字段user_id, movie_id, rating, timestamp ratings pd.read_csv(data/ratings.csv) user_id2index, user_index2id build_index(ratings[user_id]) movie_id2index, movie_index2id build_index(ratings[movie_id]) # 把新索引回填到评分表 ratings[uid] ratings[user_id].map(user_id2index) ratings[iid] ratings[movie_id].map(movie_id2index) print(用户数, len(user_id2index), 电影数, len(movie_id2index)) print(评分行数, len(ratings), 稀疏度, 1 - len(ratings) / (len(user_id2index) * len(movie_id2index)))这个脚本逻辑很简单set去重、排序、生成双向映射。排序保证映射是确定的同一份数据多次运行结果一致不会因为随机顺序导致图谱变化。回填后uid和iid才是模型里的节点编号原始ID保留在 index2id 里供评估阶段映射回电影名。如果项目把用户也当成实体通过“用户关注某导演”这类扩展关系接进图谱那么user_id2index和导演实体映射必须放进同一个全局实体表node_count统一计算。切不可用户编号一套、电影编号一套、属性实体又一套。调试时可以按区间区分比如0到USER_COUNT-1是用户USER_COUNT到USER_COUNTMOVIE_COUNT-1是电影这样打印节点时能立刻判断ID属于哪类。3.2 三元组构建把电影属性表变成关系图知识图谱的基本单位是三元组(head, relation, tail)。在电影推荐里三元组有三种来源。第一种是属性三元组电影节点连接到导演、演员、类型、年份第二种是行为三元组用户节点连接电影节点表示看过第三种是近邻三元组把续集或同系列电影连接起来补充图谱密度。最容易被忽视的是关系类型编号。关系不能直接用字符串GNN需要整数relation_id如果后续做多关系建模每个关系还要有独立的转换矩阵。所以建图之前先固定relation list顺序中途不要改变。我通常这么定0-用户观看1-导演2-演员3-类型4-上映年份5-续集关联后面所有脚本全部引用整数常量。下面是一段常见的三元组构建代码# build_triplets.py —— 生成(head, rel, tail)三元组 import pandas as pd REL_WATCH, REL_DIRECTOR, REL_GENRE 0, 1, 3 triplets [] # 行为三元组: (user, watch, movie) # 注意电影节点统一偏移 USER_COUNT避免和用户编号重叠 for row in ratings.itertuples(): triplets.append((row.uid, REL_WATCH, row.iid USER_COUNT)) # 属性三元组: (movie, director, director_node) # 假设电影属性表有 movie_id, director_name, genre for row in movie_attrs.itertuples(): mid movie_id2index[row.movie_id] USER_COUNT director_entity entity_meta[director].get(row.director_name) if director_entity is not None: triplets.append((mid, REL_DIRECTOR, director_entity)) for genre in str(row.genre).split(|): genre_entity entity_meta[genre].get(genre) if genre_entity is not None: triplets.append((mid, REL_GENRE, genre_entity))这段代码里最容易犯的错误是把电影节点按0开始排序然后直接拿用户编号和电影编号混在同一张图里。如果两边都从0开始图里就会有两个不同实体共享同一个节点ID模型训练出的向量完全是乱的。所以这里所有电影节点统一偏移USER_COUNT确保用户编号0到USER_COUNT-1电影节点从USER_COUNT开始。如果导演、演员还没有实体编号需要先扫描属性表把每个唯一的导演名、演员名、类型都放进entity_meta并分配全局ID。顺序无所谓关键是同一实体永远对应同一个编号。映射一旦开始训练就不能再改否则Embedding层会整体错位之前训练好的模型权重就作废了。3.3 用Python构建邻接矩阵从三元组到edge_index的转换三元组是逻辑上的语义图GNN实际接收的是edge_index。PyTorch Geometric要求edge_index是一个2×E的LongTensor第一行是起始节点第二行是终点节点。GCN的消息传递通常是双向的所以每条三元组要反向再加一条边。如果关系类型很多最省事的做法是把所有关系的边合并成一个edge_index让模型自己去区分要精细建模多关系可以每个关系单独构造一个edge_index或者直接用PyG里的RelationMessagePassing但工程复杂度会明显增加。模型只看邻接关系还不够每个节点还需要初始特征。最省事的是用nn.Embedding把节点ID映射成稠密向量随机初始化跟着训练更新。这就是前面要把ID改成连续整数的直接原因。下面的代码把三元组转成edge_index并加上自环# build_adj.py —— 从三元组构建edge_index import torch def triplets_to_edges(triplets, node_count): 把三元组转成无向edge_index并追加自环边。 rows, cols [], [] for h, r, t in triplets: rows.append(h); cols.append(t) rows.append(t); cols.append(h) # 无向图反向加一条 rows.extend(range(node_count)) cols.extend(range(node_count)) # 自环 edge_index torch.tensor([rows, cols], dtypetorch.long) return edge_index edge_index triplets_to_edges(triplets, node_count) print(边数, edge_index.size(1), 节点数, node_count)加自环是给每个节点一条指向自己的边防止GCN聚合时把节点自身特征稀释得太厉害。按无向图建模是因为用户信息要传到电影电影信息也要传回用户只有单向边时部分节点在预测阶段永远接收不到对向信息学出的用户表示和电影表示之间会少一次交互。边数规模很大时会占内存所以代码里不要临时构造密集矩阵而是用list累积或 scipy.sparse 的coo_matrix最后统一转torch tensor否则内存很容易被撑爆。构建完成后建议把node_count、edge_index、relation_list全部缓存成pt或json中间文件后续训练直接加载。每次训练都重新建图会浪费大量时间还容易因为数据源文件被误改而引入不一致。缓存下来之后训练代码只依赖中间文件数据预处理阶段与模型训练阶段可以独立调试。4. 模型源码逐段拆解GCN与GAT两种推荐实现4.1 用PyTorch Geometric搭建基础GCN推荐模型模型输入是什么edge_index 是一张全体节点共享的大图用户节点经过两层GCN后表示里不仅包含自己看过哪些电影还包含这些电影属于哪个导演、哪个类型。这正是知识图谱进入推荐系统的过程。下面是最简单的GCN推荐模型Embedding、两层GCN、内积打分。# model/gcn_rec.py —— 基于PyG的图卷积推荐模型 import torch import torch.nn as nn import torch.nn.functional as F from torch_geometric.nn import GCNConv class GCNRecommender(nn.Module): def __init__(self, node_count, hidden_dim64, dropout0.2): super().__init__() self.dropout dropout self.embedding nn.Embedding(node_count, hidden_dim) self.conv1 GCNConv(hidden_dim, hidden_dim) self.conv2 GCNConv(hidden_dim, hidden_dim) def forward(self, edge_index): x self.embedding.weight x F.relu(self.conv1(x, edge_index)) x F.dropout(x, pself.dropout, trainingTrue) x self.conv2(x, edge_index) return x def predict(self, user_ids, item_ids, x): user_vec x[user_ids] item_vec x[item_ids] return (user_vec * item_vec).sum(dim-1)训练阶段把trainingTrue强制加上很多新手测试模型时把dropout去掉结果打分不稳定推荐排名来回跳。预测阶段再把trainingFalse用同一套模型权重导出结果。引用PyG的GCNConv时如果PyTorch版本和PyG编译版本不一致forward会报segment fault环境问题优先排查。实际使用时将user_ids、item_ids搬到和模型相同的设备然后model.predict(user_ids, item_ids, x)得到每个用户对各电影的得分最后排序取Top-K。但注意全体节点一次过forward在节点数超过十万时会占用大量显存如果显卡只有8GB把hidden_dim降到32再配合batch打分不要一次性预测太多用户。4.2 加入注意力机制GAT 提高表达与可解释性GCN对邻居一视同仁但推荐场景中用户看过《星际穿越》这条行为和看过某部烂片对未来推荐的贡献不应该相同。GAT为每条边学一个权重模型自动决定哪些邻居值得听。把GCNConv替换成GATConv即可但需要注意多头注意力的维度变化。# model/gat_rec.py —— 基于图注意力网络的推荐模型 import torch import torch.nn as nn import torch.nn.functional as F from torch_geometric.nn import GATConv class GATRecommender(nn.Module): def __init__(self, node_count, hidden_dim32, heads4, dropout0.2): super().__init__() self.embedding nn.Embedding(node_count, hidden_dim) self.conv1 GATConv(hidden_dim, hidden_dim, headsheads) self.conv2 GATConv(hidden_dim * heads, hidden_dim, heads1) self.dropout nn.Dropout(dropout) def forward(self, edge_index): x self.embedding.weight x self.dropout(x) x F.elu(self.conv1(x, edge_index)) x self.dropout(x) x self.conv2(x, edge_index) return x两个参数细节要注意。第一层多头注意力输出hidden_dim * heads所以第二层输入维度必须保持一致。毕设里我一般用hidden_dim32、heads4两层网络最终输出仍是32维显存比GCN高一些但可控。第二个是激活函数GAT论文用的不是ReLU而是ELU因为ELU对负输入有平滑处理训练更稳定如果换成ReLU有时会出现节点特征全零的问题。注意力权重还有额外价值训练完成后从第一层GATConv里取edge_attention打印出来能找到哪些邻居对当前节点影响最大。答辩时把注意力权重画在知识图谱边上展示“用户→电影→导演”的关系路径比贴一堆公式更能说明“知识图谱GNN”结合的落地点。4.3 训练参数精选学习率、负采样与批次大小模型结构不是全部训练策略常常直接决定指标好看与否。训练时随机抽取用户历史交互作为正样本为每个正样本采样若干个未交互电影作为负样本。但“没看过”不等于“不喜欢”所以负样本不能完全随机取常见做法是按全局热门程度采样让热门的、用户偏偏没看过的电影更容易成为负样本。这种策略能让模型学“用户真正偏好什么内容”而不是“用户是不是喜欢热门片”。训练循环里我一般这样组织# train.py —— GNN推荐主训练循环 import torch import torch.nn.functional as F model GCNRecommender(node_countnode_count, hidden_dim64).to(device) optimizer torch.optim.Adam(model.parameters(), lr0.005, weight_decay1e-5) for epoch in range(50): model.train() total_loss 0.0 for batch in train_loader: user, pos_item, neg_item batch user user.to(device); pos_item pos_item.to(device); neg_item neg_item.to(device) x model(edge_index) # 全体节点表示每轮重新算 pos_score model.predict(user, pos_item, x) neg_score model.predict(user, neg_item, x) # BPR损失正样本分数要比负样本高 loss -torch.log(torch.sigmoid(pos_score - neg_score) 1e-8).mean() optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0) optimizer.step() total_loss loss.item() print(epoch, total_loss / len(train_loader))在这段代码里有两个关键参数值得调。max_norm5.0是梯度裁剪GNN在多层消息传递下梯度容易膨胀尤其节点度数不均匀时裁剪之后loss曲线会更平。推荐场景里用BPR损失比交叉熵更合适因为它优化的不是“是否点过”的二分类而是“正样本排序应高于负样本”的相对关系。学习率0.001到0.005是比较合理的区间太小要跑很多轮才能看到loss下降太大会冲高或出现nan。全批次过图时的edge_index要放到device上和模型参数保持一致。如果训练代码中use CPU与GPU切换每次都要检查edge_index edge_index.to(device)否则会报“All tensors must be on the same device.”这是PyG项目里最常见的报错之一。5. 高分毕设避坑指南知识图谱GNN推荐系统常见问题排查5.1 训练Loss不降或者变成NaN现象train.py启动后loss来回跳动多跑几轮直接变成nan。 原因最常见的是学习率太大或Embedding初始化方差过大。图卷积中度数特别小的节点经过多层传播后特征会退化环境层面还要考虑PyG与CUDA编译不匹配某些算子返回错误值。 解决先把学习率降到0.0005检查梯度裁剪是否有效如果还是nan把GCNConv换成SAGEConv做一次对照实验。每次打印loss数值看走势如果第一轮就从1附近跳到上万基本定位是学习率或梯度问题。最后检查是否存在 float16 精度加持GNN的稀疏计算在半精度下有不少隐藏坑。5.2 建图把内存吃满现象构建edge_index时Python进程直接内存溢出程序卡死无响应。 原因一些人喜欢把三元组先转成 node_count × node_count 的密集邻接矩阵以为方便或者用Python list存几百万条边每条边都是对象内存开销成倍放大。 解决不要用密集矩阵直接用list累积边或scipy.sparse的coo_matrix最后统一转tensor。如果三元组数量太高先过滤掉出现次数少于5次的“长尾实体”将每节点平均边数控制在20到30条。堆边数量不如增加关系质量GNN真正需要的是每个节点有足够的、多样化的邻居信息。5.3 切分数据太随意指标虚高现象随机把三元组按9比1切分测试指标高得离谱答辩时被质疑。 原因测试三元组和训练三元组共享同一个实体。例如用户A看《星际穿越》是测试样本而《星际穿越》的导演、类型三元组在训练集里GNN已经提前“看见”了这条路径产生信息泄露。 解决按用户维度划分让测试用户完全不出现在训练集中或者按时间切分留最后一个月交互做测试。答辩更稳妥的做法是采用leave-one-out评估每个用户留最后一次交互作为正样本随机抽99个未交互电影作为负样本计算Hit10与NDCG10并在README里讲清楚评估口径。5.4 孤立实体与“梯度断层”现象模型训练正常但某些电影分数始终接近随机值推荐列表里永远没有它。 原因这些电影或属性实体的邻居太少甚至只有一两条边GNN消息传递几次后特征趋于初始化噪声没有真正学到内容。 解决建图之后做连通性统计打印每个节点的一跳邻居数把邻居数为0的实体直接剔除对用户设置最小交互阈值例如至少看过5部电影才进入训练集。不要心疼数据量GNN不是数据越多越好而是每个节点邻居信息越充分越好。5.5 批次输入尺寸对不上现象预测阶段传user_ids和item_ids给模型报IndexError某个ID大过node_count。 原因新数据里冒出一个原始数据中没有的ID或者构建实体映射时忘记加USER_COUNT偏移更隐蔽的是训练时加载的实体表和建图时用的实体表不是同一份文件。 解决在数据进入模型前做一个统一校验打印max(user_ids)、max(item_ids)和node_count确认所有输入在0到node_count-1之间。还要小心负索引PyTorch的Embedding对负ID不报错而是返回0向量这个很难察觉会让loss突然异常。做在线推荐时也要对输入做clip但这只是临时后悔药长期办法是定期重训并固定实体映射版本。6. 验证与落地离线指标、知识图谱可视化与答辩加分技巧6.1 离线指标选哪个HR、Recall与NDCG一起看模型训练结束后不能只看loss。推荐系统的质量要用排序指标衡量下面是毕设常用的三个指标指标含义使用场景HRK真实交互电影是否出现在Top-K里看命中率最直观RecallK命中真实交互数占测试交互总数的比例看整体召回能力NDCGK越靠前的推荐越正确则得分越高看排序质量答辩最推荐评估方式建议使用leave-one-out对每个用户取最后一次交互作为正样本再随机抽99个该用户没有交互过的候选电影模型对这100个候选排序。只要模型在Top-10内稳定命中正样本并且多用户平均NDCG10在0.3以上就算一个合格的结果。计算负样本时要先把所有有交互记录的item排重避免同一电影在正负样本里同时出现。6.2 把图谱可视化与注意力权重作为答辩亮点模型跑通之后不要急着收尾。用networkx在notebook里画出知识图谱子图把GAT第一层的注意力权重映射成边的粗细展示“用户→电影→导演”这条推荐路径就能在答辩时把“知识图谱”从一个抽象名词变成一张直观图。代码本质上只是用networkx的draw_networkx_edges加edge_color参数但带来的演示效果远大于工作量。训练前多看一步“实体连通性统计”训练中多看一次loss曲线评估前多看一遍数据切分方式这三件事让绝大多数“黑匣子”提前暴露。我自己带项目时最大的教训是模型代码改得越少越值钱倒是数据预处理决定最终效果。所以我每次训练前都会强制自己把三元组在控制台打印一遍亲眼确认关系和ID没有错位。希望这一步对你有帮助。本文还有配套的精品资源点击获取