尧图网站建设 
简介这是一套基于Hadoop实现的电影推荐系统完整项目面向计算机相关专业的毕业设计、期末大作业与课程设计人群也适合想入门大数据推荐算法的开发者参考。项目含源代码与SQL脚本代码附有注释新手也能看懂部署后即可运行。压缩包共801个文件约16.27MB其中js与css文件占比较大用于前端页面与样式渲染60个py文件承载推荐算法与数据处理逻辑9个sql文件提供数据库建表与数据脚本另有html、png、svg等前端资源及少量jar、md、pdf说明文档整体结构清晰。目前已有253人学习下载。项目围绕用户行为数据与电影信息借助Hadoop完成数据存储与离线计算实现个性化电影推荐读者可从中获取完整的数据处理流程、推荐算法实现思路、前后端交互代码及数据库设计便于快速理解推荐系统从数据到展示的完整链路并在此基础上二次开发或撰写论文。1. 从一份 98 分课设说起Hadoop 电影推荐系统到底交付了什么如果你正在为毕业设计或课程设计找一个能跑通、能讲清、还能扛住导师追问的项目基于 Hadoop 的电影推荐系统是个高频选项。它解决的核心问题很具体用分布式计算框架处理用户对电影的评分数据算出「你可能还喜欢什么」并且把结果落到 Web 界面里展示。这套资源包含源代码和 SQL 文件代码带注释适合新手对照理解也适合熟手快速改造成自己的选题。它面向的是需要交出一个完整可演示系统的人而不是只想看算法公式的人。你拿到手后重点不是从头写而是搞懂数据怎么进、推荐怎么算、结果怎么出。2. 环境搭建与数据准备从 Hadoop 伪分布式到 MySQL 建库2.1 为什么选伪分布式而不是单机模式这套项目依赖 HDFS 存储评分数据并用 MapReduce 跑协同过滤。单机模式虽然能启动但涉及分布式文件系统的读写路径会走本地和代码里FileSystem.get(URI, conf)的预期不一致容易在java.io.IOException: No FileSystem for scheme hdfs上翻车。伪分布式让 NameNode、DataNode、ResourceManager 都在一台机器上跑既保留 HDFS 的完整调用链又不需要多台服务器。常见做法是装 Hadoop 3.x配好core-site.xml和hdfs-site.xml把fs.defaultFS指向hdfs://localhost:9000然后执行hdfs namenode -format初始化。注意格式化只能做一次重复格式化会导致集群 ID 不一致DataNode 起不来。2.2 启动顺序与验证命令启动顺序错了后面全是玄学问题。先起 HDFS再起 YARN最后确认进程。# 启动 HDFS 和 YARN start-dfs.sh start-yarn.sh # 验证进程应看到 NameNode、DataNode、ResourceManager、NodeManager jps # 验证 HDFS 可写 hdfs dfs -mkdir -p /movie/input hdfs dfs -ls /jps输出里如果少了 DataNode先看logs/hadoop-*-datanode-*.log多半是dfs.datanode.data.dir指向的目录权限不对或者被重复格式化搞坏了。hdfs dfs -mkdir能成功说明 HDFS 读写链路通了后面 MapReduce 才有基础。2.3 MySQL 建库与 SQL 导入推荐结果和电影元数据要落库项目里的 SQL 文件就是干这个的。常见做法是建一个movie_recommend库字符集用utf8mb4然后按顺序执行表结构和初始数据。-- 建库字符集必须支持中文电影名 CREATE DATABASE movie_recommend DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci; USE movie_recommend; -- 电影表存电影 ID、名称、类型 CREATE TABLE movies ( movie_id INT PRIMARY KEY, title VARCHAR(255) NOT NULL, genres VARCHAR(255) ); -- 评分表用户对电影的评分协同过滤的输入 CREATE TABLE ratings ( user_id INT, movie_id INT, rating FLOAT, timestamp BIGINT, PRIMARY KEY (user_id, movie_id) ); -- 推荐结果表离线算完后写入Web 端直接查 CREATE TABLE recommendations ( user_id INT, movie_id INT, score FLOAT, PRIMARY KEY (user_id, movie_id) );导入时注意ratings表的数据量如果是从 MovieLens 拿的公开数据集ratings.csv可能有百万行用LOAD DATA LOCAL INFILE比逐条 INSERT 快一个数量级。执行前确认local_infile已开启否则会报ERROR 3948 (42000): Loading local data is disabled。SQL 文件里的建表语句和代码里的实体类字段要一一对应字段名对不上MyBatis 映射就会返回 null界面显示空白。3. 协同过滤实现MapReduce 任务拆解与参数调优3.1 推荐算法选型为什么是 ItemCF 而不是 UserCF项目用的是基于物品的协同过滤ItemCF不是基于用户的UserCF。原因很实际电影数量远小于用户数量物品相似度矩阵更小计算和存储都更省。UserCF 在用户量大的时候两两算相似度会爆炸。ItemCF 的核心逻辑是「喜欢 A 的人也喜欢 B」先算物品共现矩阵再算相似度最后给用户推荐和他历史喜欢物品最相似的 TopN。代码里通常分两个 Job第一个 Job 算物品共现次数第二个 Job 算相似度并生成推荐列表。MapReduce 的 key 设计很关键第一个 Job 的 mapper 输出以movie_id为 keyreducer 里统计同一用户看过的物品对。3.2 核心 Mapper 与 Reducer 逻辑下面这段是第一个 Job 的典型写法把用户评分记录转成物品对。// Mapper输入一行评分记录输出 movie_id, user_id public class ItemCFMapper extends MapperLongWritable, Text, IntWritable, IntWritable { Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { // 假设输入格式user_id,movie_id,rating,timestamp String[] fields value.toString().split(,); int userId Integer.parseInt(fields[0]); int movieId Integer.parseInt(fields[1]); // 以电影为 key用户为 value后续 reducer 按电影聚合用户列表 context.write(new IntWritable(movieId), new IntWritable(userId)); } }逻辑说明mapper 把「用户-电影」关系翻转成「电影-用户」这样 reducer 拿到同一部电影的所有用户。参数上split(,)的分隔符必须和输入文件一致如果数据里有空格或制表符要改成split(\\s)。movieId和userId用IntWritable而不是Text是为了后续做集合运算时能直接比较减少类型转换开销。Reducer 里把同一电影的用户列表收集起来两两组合输出物品对。// Reducer对同一电影的用户列表做两两组合输出 movieA:movieB, 1 public class ItemCFReducer extends ReducerIntWritable, IntWritable, Text, IntWritable { Override protected void reduce(IntWritable key, IterableIntWritable values, Context context) throws IOException, InterruptedException { ListInteger users new ArrayList(); for (IntWritable val : values) { users.add(val.get()); } // 两两组合注意去重和顺序保证 A:B 和 B:A 只算一次 for (int i 0; i users.size(); i) { for (int j i 1; j users.size(); j) { int a Math.min(users.get(i), users.get(j)); int b Math.max(users.get(i), users.get(j)); context.write(new Text(a : b), new IntWritable(1)); } } } }这里有个容易忽略的点两两组合前要排序去重否则同一对物品会被重复计数相似度虚高。Math.min和Math.max保证输出 key 顺序一致避免1:2和2:1被当成两个不同的对。如果用户列表很大内存可能吃紧常见做法是加一个阈值只保留活跃用户或者用二次排序优化。3.3 相似度计算与 TopN 推荐生成第二个 Job 读入物品对共现次数结合每个物品的流行度算余弦相似度。公式是sim(i,j) cooc(i,j) / sqrt(count(i) * count(j))。MapReduce 里需要把物品的单独计数也传进来通常用 DistributedCache 分发或者在第一个 Job 里额外输出一份物品计数。相似度算完后对每个用户把他历史喜欢的物品作为触发项查相似度矩阵加权求和排序取 TopN 写入recommendations表。// 相似度计算核心cooc 是共现次数countI 和 countJ 是物品流行度 double similarity cooc / Math.sqrt(countI * countJ); // 推荐分数用户对已喜欢物品的评分 * 相似度累加 double score rating * similarity;参数调优上mapreduce.reduce.memory.mb建议给到 2048 以上因为 reducer 里要缓存用户列表。mapreduce.task.io.sort.mb可以调到 512减少溢写次数。如果跑完发现推荐结果全是热门电影说明相似度被流行度主导了可以加一个惩罚项比如除以Math.log(1 countI)降低热门物品的权重。这个改动在代码注释里通常有提示改一行就能看到效果。4. 避坑与排查从 HDFS 权限到 SQL 字段映射的五个血泪经验4.1 现象MapReduce 任务卡在 map 0% reduce 0%原因YARN 的 NodeManager 没起来或者yarn-site.xml里yarn.nodemanager.aux-services配错。ResourceManager 虽然显示在jps里但没有可用节点任务一直排队。解决先jps确认 NodeManager 存在再看yarn node -list是否有 RUNNING 节点。如果节点状态是 UNHEALTHY检查磁盘空间YARN 默认磁盘使用率超过 90% 就标记不健康。4.2 现象HDFS 写入报 Permission denied原因当前系统用户和 HDFS 超级用户不一致或者/movie目录属主不对。伪分布式下常见于用 root 启动 Hadoop但用普通用户跑代码。解决hdfs dfs -chmod -R 777 /movie临时放开权限或者用hdfs dfs -chown -R 你的用户名 /movie改属主。生产环境别用 777这里只是课设环境图省事。4.3 现象推荐结果表有数据但 Web 页面不显示原因MyBatis 的实体类字段和 SQL 表字段大小写或命名不一致。比如表里是movie_id实体类里写movieId没开驼峰映射就取不到值。解决在application.yml里加mybatis.configuration.map-underscore-to-camel-case: true或者手动在 XML 里写resultMap。这个坑很隐蔽因为 SQL 查出来有结果但 Java 对象里全是 null。4.4 现象相似度计算报 NaN 或 Infinity原因某个物品的流行度计数为 0分母出现 0。通常是因为第一个 Job 输出的物品计数不完整或者 DistributedCache 没加载到。解决在相似度计算前加判断if (countI 0 || countJ 0) continue;同时检查第一个 Job 的输出路径是否被第二个 Job 正确读取。路径写错时Hadoop 不会报错只会读到空目录然后所有计数都是 0。4.5 现象导入 SQL 时中文电影名变成问号原因建库时字符集用了latin1或者连接串没指定characterEncodingutf8。解决建库语句必须带DEFAULT CHARACTER SET utf8mb4JDBC 连接串加?useUnicodetruecharacterEncodingutf8。已经导入的数据改不回来只能删库重建。这个坑在验收演示时特别致命导师一眼就能看到乱码。5. 进阶技巧用 Docker 快速复现环境与推荐结果验证5.1 用 Docker 绕过环境安装的重复劳动每次换机器都要重装 Hadoop 和 MySQL时间全花在配环境上。常见做法是用 Docker 起一个 Hadoop 伪分布式镜像再起一个 MySQL 容器代码通过宿主机的 IDE 连过去。这样环境是隔离的删了重来只要几秒。下面是一个最小化的docker-compose.yml片段只起 MySQLHadoop 用现成镜像。version: 3 services: mysql: image: mysql:8.0 environment: MYSQL_ROOT_PASSWORD: root MYSQL_DATABASE: movie_recommend ports: - 3306:3306 volumes: - ./sql:/docker-entrypoint-initdb.d把项目里的 SQL 文件放到./sql目录容器第一次启动会自动执行。注意 MySQL 8.0 的默认认证插件是caching_sha2_password老版本 JDBC 驱动连不上要么升级驱动要么在启动参数里加--default-authentication-pluginmysql_native_password。Hadoop 镜像建议选带hadoop-hdfs和hadoop-mapreduce的启动后docker exec进去执行start-dfs.sh和start-yarn.sh和物理机操作一致。5.2 验证推荐结果是否合理跑完 MapReduce 后别只看任务成功就完事。从recommendations表里抽一个用户看他历史评分最高的几部电影再看他被推荐的电影人工判断类型是否接近。比如用户喜欢《星球大战》推荐里出现《星际迷航》就合理出现《泰坦尼克号》就说明相似度算歪了。还可以算一下推荐覆盖率即被推荐过的电影占总电影的比例太低说明推荐太集中太高可能相似度阈值设得太松。-- 查某个用户的推荐结果按分数降序 SELECT r.movie_id, m.title, r.score FROM recommendations r JOIN movies m ON r.movie_id m.movie_id WHERE r.user_id 100 ORDER BY r.score DESC LIMIT 10; -- 推荐覆盖率有推荐记录的电影数 / 总电影数 SELECT COUNT(DISTINCT movie_id) / (SELECT COUNT(*) FROM movies) AS coverage FROM recommendations;覆盖率低于 0.1 时检查相似度阈值是不是太高或者 TopN 的 N 太小。我一般会把 N 设成 20 再跑一遍对比。另外MapReduce 的输出目录如果已存在任务会直接报错退出重跑前记得hdfs dfs -rm -r /movie/output这个后悔药每次都要吃一遍。从那以后我每次跑任务前都强制先清输出目录再确认 HDFS 和 MySQL 都活着才点运行。希望帮到你。本文还有配套的精品资源点击获取 Hadoop电影推荐系统实战：从环境搭建到协同过滤避坑指南
简介这是一套基于Hadoop实现的电影推荐系统完整项目面向计算机相关专业的毕业设计、期末大作业与课程设计人群也适合想入门大数据推荐算法的开发者参考。项目含源代码与SQL脚本代码附有注释新手也能看懂部署后即可运行。压缩包共801个文件约16.27MB其中js与css文件占比较大用于前端页面与样式渲染60个py文件承载推荐算法与数据处理逻辑9个sql文件提供数据库建表与数据脚本另有html、png、svg等前端资源及少量jar、md、pdf说明文档整体结构清晰。目前已有253人学习下载。项目围绕用户行为数据与电影信息借助Hadoop完成数据存储与离线计算实现个性化电影推荐读者可从中获取完整的数据处理流程、推荐算法实现思路、前后端交互代码及数据库设计便于快速理解推荐系统从数据到展示的完整链路并在此基础上二次开发或撰写论文。1. 从一份 98 分课设说起Hadoop 电影推荐系统到底交付了什么如果你正在为毕业设计或课程设计找一个能跑通、能讲清、还能扛住导师追问的项目基于 Hadoop 的电影推荐系统是个高频选项。它解决的核心问题很具体用分布式计算框架处理用户对电影的评分数据算出「你可能还喜欢什么」并且把结果落到 Web 界面里展示。这套资源包含源代码和 SQL 文件代码带注释适合新手对照理解也适合熟手快速改造成自己的选题。它面向的是需要交出一个完整可演示系统的人而不是只想看算法公式的人。你拿到手后重点不是从头写而是搞懂数据怎么进、推荐怎么算、结果怎么出。2. 环境搭建与数据准备从 Hadoop 伪分布式到 MySQL 建库2.1 为什么选伪分布式而不是单机模式这套项目依赖 HDFS 存储评分数据并用 MapReduce 跑协同过滤。单机模式虽然能启动但涉及分布式文件系统的读写路径会走本地和代码里FileSystem.get(URI, conf)的预期不一致容易在java.io.IOException: No FileSystem for scheme hdfs上翻车。伪分布式让 NameNode、DataNode、ResourceManager 都在一台机器上跑既保留 HDFS 的完整调用链又不需要多台服务器。常见做法是装 Hadoop 3.x配好core-site.xml和hdfs-site.xml把fs.defaultFS指向hdfs://localhost:9000然后执行hdfs namenode -format初始化。注意格式化只能做一次重复格式化会导致集群 ID 不一致DataNode 起不来。2.2 启动顺序与验证命令启动顺序错了后面全是玄学问题。先起 HDFS再起 YARN最后确认进程。# 启动 HDFS 和 YARN start-dfs.sh start-yarn.sh # 验证进程应看到 NameNode、DataNode、ResourceManager、NodeManager jps # 验证 HDFS 可写 hdfs dfs -mkdir -p /movie/input hdfs dfs -ls /jps输出里如果少了 DataNode先看logs/hadoop-*-datanode-*.log多半是dfs.datanode.data.dir指向的目录权限不对或者被重复格式化搞坏了。hdfs dfs -mkdir能成功说明 HDFS 读写链路通了后面 MapReduce 才有基础。2.3 MySQL 建库与 SQL 导入推荐结果和电影元数据要落库项目里的 SQL 文件就是干这个的。常见做法是建一个movie_recommend库字符集用utf8mb4然后按顺序执行表结构和初始数据。-- 建库字符集必须支持中文电影名 CREATE DATABASE movie_recommend DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci; USE movie_recommend; -- 电影表存电影 ID、名称、类型 CREATE TABLE movies ( movie_id INT PRIMARY KEY, title VARCHAR(255) NOT NULL, genres VARCHAR(255) ); -- 评分表用户对电影的评分协同过滤的输入 CREATE TABLE ratings ( user_id INT, movie_id INT, rating FLOAT, timestamp BIGINT, PRIMARY KEY (user_id, movie_id) ); -- 推荐结果表离线算完后写入Web 端直接查 CREATE TABLE recommendations ( user_id INT, movie_id INT, score FLOAT, PRIMARY KEY (user_id, movie_id) );导入时注意ratings表的数据量如果是从 MovieLens 拿的公开数据集ratings.csv可能有百万行用LOAD DATA LOCAL INFILE比逐条 INSERT 快一个数量级。执行前确认local_infile已开启否则会报ERROR 3948 (42000): Loading local data is disabled。SQL 文件里的建表语句和代码里的实体类字段要一一对应字段名对不上MyBatis 映射就会返回 null界面显示空白。3. 协同过滤实现MapReduce 任务拆解与参数调优3.1 推荐算法选型为什么是 ItemCF 而不是 UserCF项目用的是基于物品的协同过滤ItemCF不是基于用户的UserCF。原因很实际电影数量远小于用户数量物品相似度矩阵更小计算和存储都更省。UserCF 在用户量大的时候两两算相似度会爆炸。ItemCF 的核心逻辑是「喜欢 A 的人也喜欢 B」先算物品共现矩阵再算相似度最后给用户推荐和他历史喜欢物品最相似的 TopN。代码里通常分两个 Job第一个 Job 算物品共现次数第二个 Job 算相似度并生成推荐列表。MapReduce 的 key 设计很关键第一个 Job 的 mapper 输出以movie_id为 keyreducer 里统计同一用户看过的物品对。3.2 核心 Mapper 与 Reducer 逻辑下面这段是第一个 Job 的典型写法把用户评分记录转成物品对。// Mapper输入一行评分记录输出 movie_id, user_id public class ItemCFMapper extends MapperLongWritable, Text, IntWritable, IntWritable { Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { // 假设输入格式user_id,movie_id,rating,timestamp String[] fields value.toString().split(,); int userId Integer.parseInt(fields[0]); int movieId Integer.parseInt(fields[1]); // 以电影为 key用户为 value后续 reducer 按电影聚合用户列表 context.write(new IntWritable(movieId), new IntWritable(userId)); } }逻辑说明mapper 把「用户-电影」关系翻转成「电影-用户」这样 reducer 拿到同一部电影的所有用户。参数上split(,)的分隔符必须和输入文件一致如果数据里有空格或制表符要改成split(\\s)。movieId和userId用IntWritable而不是Text是为了后续做集合运算时能直接比较减少类型转换开销。Reducer 里把同一电影的用户列表收集起来两两组合输出物品对。// Reducer对同一电影的用户列表做两两组合输出 movieA:movieB, 1 public class ItemCFReducer extends ReducerIntWritable, IntWritable, Text, IntWritable { Override protected void reduce(IntWritable key, IterableIntWritable values, Context context) throws IOException, InterruptedException { ListInteger users new ArrayList(); for (IntWritable val : values) { users.add(val.get()); } // 两两组合注意去重和顺序保证 A:B 和 B:A 只算一次 for (int i 0; i users.size(); i) { for (int j i 1; j users.size(); j) { int a Math.min(users.get(i), users.get(j)); int b Math.max(users.get(i), users.get(j)); context.write(new Text(a : b), new IntWritable(1)); } } } }这里有个容易忽略的点两两组合前要排序去重否则同一对物品会被重复计数相似度虚高。Math.min和Math.max保证输出 key 顺序一致避免1:2和2:1被当成两个不同的对。如果用户列表很大内存可能吃紧常见做法是加一个阈值只保留活跃用户或者用二次排序优化。3.3 相似度计算与 TopN 推荐生成第二个 Job 读入物品对共现次数结合每个物品的流行度算余弦相似度。公式是sim(i,j) cooc(i,j) / sqrt(count(i) * count(j))。MapReduce 里需要把物品的单独计数也传进来通常用 DistributedCache 分发或者在第一个 Job 里额外输出一份物品计数。相似度算完后对每个用户把他历史喜欢的物品作为触发项查相似度矩阵加权求和排序取 TopN 写入recommendations表。// 相似度计算核心cooc 是共现次数countI 和 countJ 是物品流行度 double similarity cooc / Math.sqrt(countI * countJ); // 推荐分数用户对已喜欢物品的评分 * 相似度累加 double score rating * similarity;参数调优上mapreduce.reduce.memory.mb建议给到 2048 以上因为 reducer 里要缓存用户列表。mapreduce.task.io.sort.mb可以调到 512减少溢写次数。如果跑完发现推荐结果全是热门电影说明相似度被流行度主导了可以加一个惩罚项比如除以Math.log(1 countI)降低热门物品的权重。这个改动在代码注释里通常有提示改一行就能看到效果。4. 避坑与排查从 HDFS 权限到 SQL 字段映射的五个血泪经验4.1 现象MapReduce 任务卡在 map 0% reduce 0%原因YARN 的 NodeManager 没起来或者yarn-site.xml里yarn.nodemanager.aux-services配错。ResourceManager 虽然显示在jps里但没有可用节点任务一直排队。解决先jps确认 NodeManager 存在再看yarn node -list是否有 RUNNING 节点。如果节点状态是 UNHEALTHY检查磁盘空间YARN 默认磁盘使用率超过 90% 就标记不健康。4.2 现象HDFS 写入报 Permission denied原因当前系统用户和 HDFS 超级用户不一致或者/movie目录属主不对。伪分布式下常见于用 root 启动 Hadoop但用普通用户跑代码。解决hdfs dfs -chmod -R 777 /movie临时放开权限或者用hdfs dfs -chown -R 你的用户名 /movie改属主。生产环境别用 777这里只是课设环境图省事。4.3 现象推荐结果表有数据但 Web 页面不显示原因MyBatis 的实体类字段和 SQL 表字段大小写或命名不一致。比如表里是movie_id实体类里写movieId没开驼峰映射就取不到值。解决在application.yml里加mybatis.configuration.map-underscore-to-camel-case: true或者手动在 XML 里写resultMap。这个坑很隐蔽因为 SQL 查出来有结果但 Java 对象里全是 null。4.4 现象相似度计算报 NaN 或 Infinity原因某个物品的流行度计数为 0分母出现 0。通常是因为第一个 Job 输出的物品计数不完整或者 DistributedCache 没加载到。解决在相似度计算前加判断if (countI 0 || countJ 0) continue;同时检查第一个 Job 的输出路径是否被第二个 Job 正确读取。路径写错时Hadoop 不会报错只会读到空目录然后所有计数都是 0。4.5 现象导入 SQL 时中文电影名变成问号原因建库时字符集用了latin1或者连接串没指定characterEncodingutf8。解决建库语句必须带DEFAULT CHARACTER SET utf8mb4JDBC 连接串加?useUnicodetruecharacterEncodingutf8。已经导入的数据改不回来只能删库重建。这个坑在验收演示时特别致命导师一眼就能看到乱码。5. 进阶技巧用 Docker 快速复现环境与推荐结果验证5.1 用 Docker 绕过环境安装的重复劳动每次换机器都要重装 Hadoop 和 MySQL时间全花在配环境上。常见做法是用 Docker 起一个 Hadoop 伪分布式镜像再起一个 MySQL 容器代码通过宿主机的 IDE 连过去。这样环境是隔离的删了重来只要几秒。下面是一个最小化的docker-compose.yml片段只起 MySQLHadoop 用现成镜像。version: 3 services: mysql: image: mysql:8.0 environment: MYSQL_ROOT_PASSWORD: root MYSQL_DATABASE: movie_recommend ports: - 3306:3306 volumes: - ./sql:/docker-entrypoint-initdb.d把项目里的 SQL 文件放到./sql目录容器第一次启动会自动执行。注意 MySQL 8.0 的默认认证插件是caching_sha2_password老版本 JDBC 驱动连不上要么升级驱动要么在启动参数里加--default-authentication-pluginmysql_native_password。Hadoop 镜像建议选带hadoop-hdfs和hadoop-mapreduce的启动后docker exec进去执行start-dfs.sh和start-yarn.sh和物理机操作一致。5.2 验证推荐结果是否合理跑完 MapReduce 后别只看任务成功就完事。从recommendations表里抽一个用户看他历史评分最高的几部电影再看他被推荐的电影人工判断类型是否接近。比如用户喜欢《星球大战》推荐里出现《星际迷航》就合理出现《泰坦尼克号》就说明相似度算歪了。还可以算一下推荐覆盖率即被推荐过的电影占总电影的比例太低说明推荐太集中太高可能相似度阈值设得太松。-- 查某个用户的推荐结果按分数降序 SELECT r.movie_id, m.title, r.score FROM recommendations r JOIN movies m ON r.movie_id m.movie_id WHERE r.user_id 100 ORDER BY r.score DESC LIMIT 10; -- 推荐覆盖率有推荐记录的电影数 / 总电影数 SELECT COUNT(DISTINCT movie_id) / (SELECT COUNT(*) FROM movies) AS coverage FROM recommendations;覆盖率低于 0.1 时检查相似度阈值是不是太高或者 TopN 的 N 太小。我一般会把 N 设成 20 再跑一遍对比。另外MapReduce 的输出目录如果已存在任务会直接报错退出重跑前记得hdfs dfs -rm -r /movie/output这个后悔药每次都要吃一遍。从那以后我每次跑任务前都强制先清输出目录再确认 HDFS 和 MySQL 都活着才点运行。希望帮到你。本文还有配套的精品资源点击获取