尧图网站建设 
简介这是一套面向高校计算机相关专业学生的Hadoop大数据开发实战项目——数据云盘系统适合作为课程设计、期末大作业或毕业设计的参考方案也便于新手通过完整代码理解大数据项目从后端到前端的落地流程。资源包共126个文件约58.11MB以32个Java源文件为核心业务逻辑配合10个JSP页面、19个JavaScript脚本、11个CSS样式及10个XML配置另有jar依赖、properties配置、字体图标与图片素材构成结构清晰、注释完整的可运行工程。项目功能完善、界面美观、操作便捷涵盖数据云盘的核心管理模块下载后简单部署即可使用具有较高的实际应用价值。目前已有124人学习关注适合需要快速搭建大数据课程项目、对照源码梳理开发思路并完成答辩展示的读者参考借鉴。1. 数据云盘项目为什么成了 Hadoop 课程设计的硬通货打开任何一个大数据毕业设计选题清单Hadoop 相关的题目永远占大头而数据云盘几乎是其中出现频率最高的场景之一。原因不复杂它同时踩中了文件存储、元数据管理、用户权限、断点续传这几个大数据入门必考的知识点又不像推荐系统那样依赖复杂的算法调参一个本科阶段的项目组花两三周就能跑出一个能演示的版本。但真正动手之后你会发现从 Hadoop 伪分布式搭建到 HDFS 文件流操作再到 Web 端的上传下载打通中间隔着一堆文档里不会写的坑。这份 Hadoop 大数据开发项目实战数据云盘项目的源代码和文档说明本质上解决的就是「知道 HDFS 能存文件但不知道怎么把它做成一个能用的云盘系统」这个问题。适合正在做大数据课程设计、毕业设计或者想用一个完整项目把 HDFS API、MapReduce 统计、Hive 元数据查询串起来的人。下面按实际落地顺序拆开讲。2. 数据云盘的技术选型与 HDFS 存储层设计2.1 为什么用 HDFS 而不是本地文件系统做云盘后端很多人第一反应是云盘不就是存文件吗本地磁盘加个数据库记录路径不就行了。单机场景下确实可以但一旦文件数量上到十万级、单文件超过几百 MB本地文件系统的目录遍历和磁盘 IO 就会成为瓶颈。HDFS 的设计初衷就是解决大规模文件的分布式存储问题它的 NameNode 负责元数据、DataNode 负责实际数据块默认 128MB 一个 block天然支持大文件切分和副本冗余。在数据云盘这个场景里HDFS 带来的实际好处有三个。第一文件上传后自动分块存储不用担心单块磁盘写满。第二副本机制默认三副本演示时哪怕手动停掉一个 DataNode文件依然能读出来这在答辩现场是个很好的加分项。第三HDFS 的 Java API 足够成熟FileSystem.create()和FileSystem.open()两个方法就能覆盖上传和下载的核心逻辑不需要自己造轮子。但要注意HDFS 不适合存大量小文件。如果你做的云盘允许用户上传头像、缩略图这类几 KB 的文件NameNode 的内存会被元数据撑爆。常见做法是小于 1MB 的文件走 HBase 或本地缓存大文件才进 HDFS。这个边界在项目文档里通常会提但很多人跑 demo 的时候不在意等到集群卡死才回头查。2.2 伪分布式环境搭建的最小步骤课程设计阶段不需要真正的多节点集群伪分布式足够跑通所有功能。下面是在一台 Linux 机器上从零搭建的步骤假设你已经装好了 JDK 8。# 下载 Hadoop 2.7.7课程设计最稳定的版本之一 wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/ mv /usr/local/hadoop-2.7.7 /usr/local/hadoop # 配置环境变量 echo export HADOOP_HOME/usr/local/hadoop ~/.bashrc echo export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ~/.bashrc source ~/.bashrc # 验证安装 hadoop version接下来改三个核心配置文件。core-site.xml指定 NameNode 地址hdfs-site.xml设置副本数为 1伪分布式只有一个 DataNodemapred-site.xml和yarn-site.xml如果项目里用到 MapReduce 统计才需要配。!-- core-site.xml -- configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property property namehadoop.tmp.dir/name value/usr/local/hadoop/tmp/value /property /configuration !-- hdfs-site.xml -- configuration property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name value/usr/local/hadoop/tmp/dfs/name/value /property property namedfs.datanode.data.dir/name value/usr/local/hadoop/tmp/dfs/data/value /property /configuration格式化 NameNode 并启动hdfs namenode -format start-dfs.sh jps # 应该看到 NameNode、DataNode、SecondaryNameNode 三个进程参数说明dfs.replication设为 1 是因为伪分布式只有一个 DataNode设成 3 会导致副本永远处于 under-replicated 状态虽然不影响读写但日志里一直刷警告。hadoop.tmp.dir建议显式指定默认在 /tmp 下机器重启后数据丢失格式化前一定要确认这个目录存在且可写。2.3 云盘元数据表结构设计HDFS 只管文件内容用户信息、文件归属、上传时间、文件大小这些元数据需要关系型数据库来存。MySQL 是课程设计里最常用的选择建两张表就够了。CREATE TABLE user ( id INT PRIMARY KEY AUTO_INCREMENT, username VARCHAR(50) NOT NULL UNIQUE, password VARCHAR(128) NOT NULL, create_time DATETIME DEFAULT CURRENT_TIMESTAMP ); CREATE TABLE file_meta ( id INT PRIMARY KEY AUTO_INCREMENT, user_id INT NOT NULL, file_name VARCHAR(255) NOT NULL, hdfs_path VARCHAR(512) NOT NULL, file_size BIGINT DEFAULT 0, upload_time DATETIME DEFAULT CURRENT_TIMESTAMP, is_dir TINYINT DEFAULT 0, FOREIGN KEY (user_id) REFERENCES user(id) );hdfs_path字段存的是文件在 HDFS 上的绝对路径比如/clouddisk/user_1/20250101_report.pdf。这样设计的好处是数据库只存路径不存内容查询快HDFS 路径按用户 ID 分目录避免所有文件堆在根目录下导致 NameNode 元数据操作变慢。is_dir字段用来支持文件夹层级如果项目只需要平铺文件列表这个字段可以去掉。3. 从 HDFS Java API 到 Web 上传下载的完整链路3.1 用 FileSystem API 实现文件上传HDFS 的 Java API 入口是FileSystem.get(Configuration)拿到实例后调create()写入、open()读取。下面是一个上传方法的核心代码跑在 Spring Boot 的 Service 层。public String uploadFile(MultipartFile file, int userId) throws IOException { Configuration conf new Configuration(); conf.set(fs.defaultFS, hdfs://localhost:9000); FileSystem fs FileSystem.get(conf); String originalName file.getOriginalFilename(); String hdfsPath /clouddisk/user_ userId / originalName; Path path new Path(hdfsPath); // 如果文件已存在则覆盖 if (fs.exists(path)) { fs.delete(path, false); } try (FSDataOutputStream out fs.create(path); InputStream in file.getInputStream()) { IOUtils.copyBytes(in, out, 4096, false); } // 写入元数据到 MySQL fileMetaMapper.insert(userId, originalName, hdfsPath, file.getSize()); fs.close(); return hdfsPath; }逻辑说明fs.create(path)返回一个输出流IOUtils.copyBytes把上传流的字节拷进去缓冲区设 4096 字节是平衡内存和 IO 次数的常用值。fs.delete(path, false)的第二个参数是 recursive删文件传 false删目录传 true。注意fs.close()要放在 finally 块或 try-with-resources 里否则连接泄漏跑几十次上传后 NameNode 会拒绝新连接。参数说明fs.defaultFS如果项目里配了 core-site.xml 并且 classpath 能读到可以不用手动 set。但课程设计环境经常出现配置文件没打包进 jar 的情况手动 set 更保险。file.getSize()拿到的是字节数存 MySQL 的 BIGINT 字段前端展示时再除以 1024 转成 KB 或 MB。3.2 下载与断点续传的实现要点下载比上传简单核心是fs.open(path)拿到输入流然后写到 HTTP response 的 outputStream。public void downloadFile(String hdfsPath, HttpServletResponse response) throws IOException { Configuration conf new Configuration(); conf.set(fs.defaultFS, hdfs://localhost:9000); FileSystem fs FileSystem.get(conf); Path path new Path(hdfsPath); if (!fs.exists(path)) { response.setStatus(404); return; } FSDataInputStream in fs.open(path); String fileName path.getName(); response.setHeader(Content-Disposition, attachment; filename URLEncoder.encode(fileName, UTF-8)); response.setContentType(application/octet-stream); IOUtils.copyBytes(in, response.getOutputStream(), 4096, false); in.close(); fs.close(); }断点续传需要客户端在请求头里带Range: bytesstart-服务端用fs.open(path)后调in.seek(start)跳到指定位置。但 HDFS 的 seek 在跨 block 时会有网络开销如果项目对断点续传要求不高可以先不做文档里标注为扩展功能。常见做法是前端用 WebUploader 或 vue-simple-uploader 做分片上传后端把每个分片先存本地临时目录全部分片到齐后再合并写入 HDFS。这样做的代价是临时目录需要额外磁盘空间好处是上传大文件时不会因为网络抖动全部重来。3.3 用 MapReduce 做文件类型统计数据云盘项目如果只做上传下载工作量偏薄答辩时容易被问「大数据体现在哪」。加一个 MapReduce 统计任务就能把 Hadoop 的计算能力用上。比如统计每个用户上传的文件按扩展名分布。public class FileTypeCountMapper extends MapperLongWritable, Text, Text, IntWritable { private final static IntWritable one new IntWritable(1); private Text word new Text(); Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { // 输入格式userId,fileName,hdfsPath,fileSize String[] fields value.toString().split(,); if (fields.length 2) { String fileName fields[1]; int dotIndex fileName.lastIndexOf(.); if (dotIndex 0) { String ext fileName.substring(dotIndex 1).toLowerCase(); word.set(ext); context.write(word, one); } } } }Mapper 的输出经过 Shuffle 后交给 Reducer 累加最终结果写到 HDFS 的输出目录。这个任务的数据源可以从 MySQL 导出成 CSV 再上传到 HDFS也可以直接读 HDFS 上的文件列表日志。参数方面mapreduce.job.reduces设 1 就够了课程设计的数据量不值得开多个 reduce。输出目录必须不存在否则 Job 提交时会抛FileAlreadyExistsException这是新手最常踩的坑之一。4. 避坑与排查数据云盘项目里最容易翻车的五个点4.1 上传文件后 NameNode 进入安全模式现象start-dfs.sh启动后hdfs dfs -put报错NameNode is in safe mode。原因通常是上次关机时 DataNode 没正常停止block 副本数不满足最小阈值NameNode 启动后自动进入安全模式等待副本恢复。解决方法是先确认 DataNode 进程在跑然后手动离开安全模式hdfs dfsadmin -safemode leave。如果 DataNode 起不来检查dfs.datanode.data.dir目录权限伪分布式下用 root 启动过再换普通用户就会遇到这个问题把目录 chown 给当前用户即可。4.2 Web 端上传大文件超时现象小文件上传正常超过 100MB 的文件传到一半报 504。原因是 Spring Boot 默认的 multipart 大小限制是 1MBTomcat 的连接超时是 20 秒。解决分两步在application.yml里设spring.servlet.multipart.max-file-size: 500MB和max-request-size: 500MB在server配置下加connection-timeout: 300000。如果用了 Nginx 做反向代理还要改client_max_body_size否则请求根本到不了后端。4.3 HDFS 写入时报 Could not obtain block现象上传文件时抛Could not obtain block: BP-xxx。原因一般是 DataNode 磁盘满了或者dfs.datanode.data.dir指向的目录被手动删过。先df -h看磁盘再hdfs fsck /检查文件系统健康状态。如果是磁盘满清理/usr/local/hadoop/tmp下的旧数据但注意不要直接删 NameNode 的 fsimage否则元数据全丢。正确做法是停掉集群扩容磁盘或迁移数据目录再重启。4.4 MySQL 和 HDFS 数据不一致现象数据库里有文件记录但 HDFS 上文件不存在下载时报 404。原因是上传逻辑先写 HDFS 再写 MySQL如果写 MySQL 时抛异常HDFS 上的文件就成了孤儿。解决方法是把两步操作放在同一个事务里但 HDFS 操作不支持回滚所以更实际的做法是先写 MySQL 记录状态为「上传中」HDFS 写入成功后更新为「已完成」下载前检查状态字段。定时任务扫「上传中」超过 30 分钟的记录把对应的 HDFS 文件删掉。4.5 伪分布式重启后数据丢失现象机器重启后hdfs dfs -ls /发现之前上传的文件全没了。原因是hadoop.tmp.dir默认指向/tmp而/tmp在多数 Linux 发行版里是 tmpfs重启即清空。解决方法是把hadoop.tmp.dir改到/usr/local/hadoop/tmp这种持久化目录改完后必须重新hdfs namenode -format注意格式化会清空所有数据生产环境绝对不能随便执行。5. 用 Hive 做文件元数据查询的进阶玩法项目做到上传下载跑通之后如果想在答辩时多拿几分可以加一层 Hive 做元数据分析。思路是把 MySQL 里的file_meta表通过 Sqoop 导入 Hive然后用 HQL 做聚合查询。比如查每个用户上传文件的总大小排名-- 在 Hive 中建外部表指向 HDFS 上的元数据导出目录 CREATE EXTERNAL TABLE file_meta_hive ( id INT, user_id INT, file_name STRING, hdfs_path STRING, file_size BIGINT, upload_time STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY , STORED AS TEXTFILE LOCATION /clouddisk/meta_export/; -- 统计每个用户的总文件大小和文件数 SELECT user_id, COUNT(*) AS file_count, SUM(file_size) / 1024 / 1024 AS total_mb FROM file_meta_hive GROUP BY user_id ORDER BY total_mb DESC;Sqoop 导出命令sqoop export \ --connect jdbc:mysql://localhost:3306/clouddisk \ --username root --password 123456 \ --table file_meta \ --export-dir /clouddisk/meta_export/ \ --input-fields-terminated-by ,这里有个方向容易搞反Sqoop 的export是从 HDFS 往 MySQL 导import才是从 MySQL 往 HDFS 导。做元数据分析应该用import把 MySQL 数据拉到 HDFS 再建 Hive 外部表。参数--input-fields-terminated-by要和 Hive 建表时的分隔符一致否则字段错位查出来的 user_id 可能是文件名。验证方法先在 MySQL 里SELECT COUNT(*) FROM file_meta记下总数Sqoop import 完成后在 Hive 里跑同样的 count两个数一致说明导入没丢数据。如果 Hive 查询报FAILED: SemanticException大概率是字段类型不匹配比如 MySQL 的 DATETIME 导成 Hive 的 STRING 后格式不对需要在 Sqoop 命令里加--map-column-hive upload_timeSTRING显式转换。我自己的习惯是每加一个组件先用最小数据集跑通再上全量。Hive 和 Sqoop 的配置项加起来几十个一次全配好再跑报错时根本不知道是哪个环节的问题。先用 10 条数据验证链路再逐步放大能省下大量翻日志的时间。希望帮到你。本文还有配套的精品资源点击获取 Hadoop数据云盘项目实战：HDFS存储与Web上传下载完整链路
简介这是一套面向高校计算机相关专业学生的Hadoop大数据开发实战项目——数据云盘系统适合作为课程设计、期末大作业或毕业设计的参考方案也便于新手通过完整代码理解大数据项目从后端到前端的落地流程。资源包共126个文件约58.11MB以32个Java源文件为核心业务逻辑配合10个JSP页面、19个JavaScript脚本、11个CSS样式及10个XML配置另有jar依赖、properties配置、字体图标与图片素材构成结构清晰、注释完整的可运行工程。项目功能完善、界面美观、操作便捷涵盖数据云盘的核心管理模块下载后简单部署即可使用具有较高的实际应用价值。目前已有124人学习关注适合需要快速搭建大数据课程项目、对照源码梳理开发思路并完成答辩展示的读者参考借鉴。1. 数据云盘项目为什么成了 Hadoop 课程设计的硬通货打开任何一个大数据毕业设计选题清单Hadoop 相关的题目永远占大头而数据云盘几乎是其中出现频率最高的场景之一。原因不复杂它同时踩中了文件存储、元数据管理、用户权限、断点续传这几个大数据入门必考的知识点又不像推荐系统那样依赖复杂的算法调参一个本科阶段的项目组花两三周就能跑出一个能演示的版本。但真正动手之后你会发现从 Hadoop 伪分布式搭建到 HDFS 文件流操作再到 Web 端的上传下载打通中间隔着一堆文档里不会写的坑。这份 Hadoop 大数据开发项目实战数据云盘项目的源代码和文档说明本质上解决的就是「知道 HDFS 能存文件但不知道怎么把它做成一个能用的云盘系统」这个问题。适合正在做大数据课程设计、毕业设计或者想用一个完整项目把 HDFS API、MapReduce 统计、Hive 元数据查询串起来的人。下面按实际落地顺序拆开讲。2. 数据云盘的技术选型与 HDFS 存储层设计2.1 为什么用 HDFS 而不是本地文件系统做云盘后端很多人第一反应是云盘不就是存文件吗本地磁盘加个数据库记录路径不就行了。单机场景下确实可以但一旦文件数量上到十万级、单文件超过几百 MB本地文件系统的目录遍历和磁盘 IO 就会成为瓶颈。HDFS 的设计初衷就是解决大规模文件的分布式存储问题它的 NameNode 负责元数据、DataNode 负责实际数据块默认 128MB 一个 block天然支持大文件切分和副本冗余。在数据云盘这个场景里HDFS 带来的实际好处有三个。第一文件上传后自动分块存储不用担心单块磁盘写满。第二副本机制默认三副本演示时哪怕手动停掉一个 DataNode文件依然能读出来这在答辩现场是个很好的加分项。第三HDFS 的 Java API 足够成熟FileSystem.create()和FileSystem.open()两个方法就能覆盖上传和下载的核心逻辑不需要自己造轮子。但要注意HDFS 不适合存大量小文件。如果你做的云盘允许用户上传头像、缩略图这类几 KB 的文件NameNode 的内存会被元数据撑爆。常见做法是小于 1MB 的文件走 HBase 或本地缓存大文件才进 HDFS。这个边界在项目文档里通常会提但很多人跑 demo 的时候不在意等到集群卡死才回头查。2.2 伪分布式环境搭建的最小步骤课程设计阶段不需要真正的多节点集群伪分布式足够跑通所有功能。下面是在一台 Linux 机器上从零搭建的步骤假设你已经装好了 JDK 8。# 下载 Hadoop 2.7.7课程设计最稳定的版本之一 wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/ mv /usr/local/hadoop-2.7.7 /usr/local/hadoop # 配置环境变量 echo export HADOOP_HOME/usr/local/hadoop ~/.bashrc echo export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ~/.bashrc source ~/.bashrc # 验证安装 hadoop version接下来改三个核心配置文件。core-site.xml指定 NameNode 地址hdfs-site.xml设置副本数为 1伪分布式只有一个 DataNodemapred-site.xml和yarn-site.xml如果项目里用到 MapReduce 统计才需要配。!-- core-site.xml -- configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property property namehadoop.tmp.dir/name value/usr/local/hadoop/tmp/value /property /configuration !-- hdfs-site.xml -- configuration property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name value/usr/local/hadoop/tmp/dfs/name/value /property property namedfs.datanode.data.dir/name value/usr/local/hadoop/tmp/dfs/data/value /property /configuration格式化 NameNode 并启动hdfs namenode -format start-dfs.sh jps # 应该看到 NameNode、DataNode、SecondaryNameNode 三个进程参数说明dfs.replication设为 1 是因为伪分布式只有一个 DataNode设成 3 会导致副本永远处于 under-replicated 状态虽然不影响读写但日志里一直刷警告。hadoop.tmp.dir建议显式指定默认在 /tmp 下机器重启后数据丢失格式化前一定要确认这个目录存在且可写。2.3 云盘元数据表结构设计HDFS 只管文件内容用户信息、文件归属、上传时间、文件大小这些元数据需要关系型数据库来存。MySQL 是课程设计里最常用的选择建两张表就够了。CREATE TABLE user ( id INT PRIMARY KEY AUTO_INCREMENT, username VARCHAR(50) NOT NULL UNIQUE, password VARCHAR(128) NOT NULL, create_time DATETIME DEFAULT CURRENT_TIMESTAMP ); CREATE TABLE file_meta ( id INT PRIMARY KEY AUTO_INCREMENT, user_id INT NOT NULL, file_name VARCHAR(255) NOT NULL, hdfs_path VARCHAR(512) NOT NULL, file_size BIGINT DEFAULT 0, upload_time DATETIME DEFAULT CURRENT_TIMESTAMP, is_dir TINYINT DEFAULT 0, FOREIGN KEY (user_id) REFERENCES user(id) );hdfs_path字段存的是文件在 HDFS 上的绝对路径比如/clouddisk/user_1/20250101_report.pdf。这样设计的好处是数据库只存路径不存内容查询快HDFS 路径按用户 ID 分目录避免所有文件堆在根目录下导致 NameNode 元数据操作变慢。is_dir字段用来支持文件夹层级如果项目只需要平铺文件列表这个字段可以去掉。3. 从 HDFS Java API 到 Web 上传下载的完整链路3.1 用 FileSystem API 实现文件上传HDFS 的 Java API 入口是FileSystem.get(Configuration)拿到实例后调create()写入、open()读取。下面是一个上传方法的核心代码跑在 Spring Boot 的 Service 层。public String uploadFile(MultipartFile file, int userId) throws IOException { Configuration conf new Configuration(); conf.set(fs.defaultFS, hdfs://localhost:9000); FileSystem fs FileSystem.get(conf); String originalName file.getOriginalFilename(); String hdfsPath /clouddisk/user_ userId / originalName; Path path new Path(hdfsPath); // 如果文件已存在则覆盖 if (fs.exists(path)) { fs.delete(path, false); } try (FSDataOutputStream out fs.create(path); InputStream in file.getInputStream()) { IOUtils.copyBytes(in, out, 4096, false); } // 写入元数据到 MySQL fileMetaMapper.insert(userId, originalName, hdfsPath, file.getSize()); fs.close(); return hdfsPath; }逻辑说明fs.create(path)返回一个输出流IOUtils.copyBytes把上传流的字节拷进去缓冲区设 4096 字节是平衡内存和 IO 次数的常用值。fs.delete(path, false)的第二个参数是 recursive删文件传 false删目录传 true。注意fs.close()要放在 finally 块或 try-with-resources 里否则连接泄漏跑几十次上传后 NameNode 会拒绝新连接。参数说明fs.defaultFS如果项目里配了 core-site.xml 并且 classpath 能读到可以不用手动 set。但课程设计环境经常出现配置文件没打包进 jar 的情况手动 set 更保险。file.getSize()拿到的是字节数存 MySQL 的 BIGINT 字段前端展示时再除以 1024 转成 KB 或 MB。3.2 下载与断点续传的实现要点下载比上传简单核心是fs.open(path)拿到输入流然后写到 HTTP response 的 outputStream。public void downloadFile(String hdfsPath, HttpServletResponse response) throws IOException { Configuration conf new Configuration(); conf.set(fs.defaultFS, hdfs://localhost:9000); FileSystem fs FileSystem.get(conf); Path path new Path(hdfsPath); if (!fs.exists(path)) { response.setStatus(404); return; } FSDataInputStream in fs.open(path); String fileName path.getName(); response.setHeader(Content-Disposition, attachment; filename URLEncoder.encode(fileName, UTF-8)); response.setContentType(application/octet-stream); IOUtils.copyBytes(in, response.getOutputStream(), 4096, false); in.close(); fs.close(); }断点续传需要客户端在请求头里带Range: bytesstart-服务端用fs.open(path)后调in.seek(start)跳到指定位置。但 HDFS 的 seek 在跨 block 时会有网络开销如果项目对断点续传要求不高可以先不做文档里标注为扩展功能。常见做法是前端用 WebUploader 或 vue-simple-uploader 做分片上传后端把每个分片先存本地临时目录全部分片到齐后再合并写入 HDFS。这样做的代价是临时目录需要额外磁盘空间好处是上传大文件时不会因为网络抖动全部重来。3.3 用 MapReduce 做文件类型统计数据云盘项目如果只做上传下载工作量偏薄答辩时容易被问「大数据体现在哪」。加一个 MapReduce 统计任务就能把 Hadoop 的计算能力用上。比如统计每个用户上传的文件按扩展名分布。public class FileTypeCountMapper extends MapperLongWritable, Text, Text, IntWritable { private final static IntWritable one new IntWritable(1); private Text word new Text(); Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { // 输入格式userId,fileName,hdfsPath,fileSize String[] fields value.toString().split(,); if (fields.length 2) { String fileName fields[1]; int dotIndex fileName.lastIndexOf(.); if (dotIndex 0) { String ext fileName.substring(dotIndex 1).toLowerCase(); word.set(ext); context.write(word, one); } } } }Mapper 的输出经过 Shuffle 后交给 Reducer 累加最终结果写到 HDFS 的输出目录。这个任务的数据源可以从 MySQL 导出成 CSV 再上传到 HDFS也可以直接读 HDFS 上的文件列表日志。参数方面mapreduce.job.reduces设 1 就够了课程设计的数据量不值得开多个 reduce。输出目录必须不存在否则 Job 提交时会抛FileAlreadyExistsException这是新手最常踩的坑之一。4. 避坑与排查数据云盘项目里最容易翻车的五个点4.1 上传文件后 NameNode 进入安全模式现象start-dfs.sh启动后hdfs dfs -put报错NameNode is in safe mode。原因通常是上次关机时 DataNode 没正常停止block 副本数不满足最小阈值NameNode 启动后自动进入安全模式等待副本恢复。解决方法是先确认 DataNode 进程在跑然后手动离开安全模式hdfs dfsadmin -safemode leave。如果 DataNode 起不来检查dfs.datanode.data.dir目录权限伪分布式下用 root 启动过再换普通用户就会遇到这个问题把目录 chown 给当前用户即可。4.2 Web 端上传大文件超时现象小文件上传正常超过 100MB 的文件传到一半报 504。原因是 Spring Boot 默认的 multipart 大小限制是 1MBTomcat 的连接超时是 20 秒。解决分两步在application.yml里设spring.servlet.multipart.max-file-size: 500MB和max-request-size: 500MB在server配置下加connection-timeout: 300000。如果用了 Nginx 做反向代理还要改client_max_body_size否则请求根本到不了后端。4.3 HDFS 写入时报 Could not obtain block现象上传文件时抛Could not obtain block: BP-xxx。原因一般是 DataNode 磁盘满了或者dfs.datanode.data.dir指向的目录被手动删过。先df -h看磁盘再hdfs fsck /检查文件系统健康状态。如果是磁盘满清理/usr/local/hadoop/tmp下的旧数据但注意不要直接删 NameNode 的 fsimage否则元数据全丢。正确做法是停掉集群扩容磁盘或迁移数据目录再重启。4.4 MySQL 和 HDFS 数据不一致现象数据库里有文件记录但 HDFS 上文件不存在下载时报 404。原因是上传逻辑先写 HDFS 再写 MySQL如果写 MySQL 时抛异常HDFS 上的文件就成了孤儿。解决方法是把两步操作放在同一个事务里但 HDFS 操作不支持回滚所以更实际的做法是先写 MySQL 记录状态为「上传中」HDFS 写入成功后更新为「已完成」下载前检查状态字段。定时任务扫「上传中」超过 30 分钟的记录把对应的 HDFS 文件删掉。4.5 伪分布式重启后数据丢失现象机器重启后hdfs dfs -ls /发现之前上传的文件全没了。原因是hadoop.tmp.dir默认指向/tmp而/tmp在多数 Linux 发行版里是 tmpfs重启即清空。解决方法是把hadoop.tmp.dir改到/usr/local/hadoop/tmp这种持久化目录改完后必须重新hdfs namenode -format注意格式化会清空所有数据生产环境绝对不能随便执行。5. 用 Hive 做文件元数据查询的进阶玩法项目做到上传下载跑通之后如果想在答辩时多拿几分可以加一层 Hive 做元数据分析。思路是把 MySQL 里的file_meta表通过 Sqoop 导入 Hive然后用 HQL 做聚合查询。比如查每个用户上传文件的总大小排名-- 在 Hive 中建外部表指向 HDFS 上的元数据导出目录 CREATE EXTERNAL TABLE file_meta_hive ( id INT, user_id INT, file_name STRING, hdfs_path STRING, file_size BIGINT, upload_time STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY , STORED AS TEXTFILE LOCATION /clouddisk/meta_export/; -- 统计每个用户的总文件大小和文件数 SELECT user_id, COUNT(*) AS file_count, SUM(file_size) / 1024 / 1024 AS total_mb FROM file_meta_hive GROUP BY user_id ORDER BY total_mb DESC;Sqoop 导出命令sqoop export \ --connect jdbc:mysql://localhost:3306/clouddisk \ --username root --password 123456 \ --table file_meta \ --export-dir /clouddisk/meta_export/ \ --input-fields-terminated-by ,这里有个方向容易搞反Sqoop 的export是从 HDFS 往 MySQL 导import才是从 MySQL 往 HDFS 导。做元数据分析应该用import把 MySQL 数据拉到 HDFS 再建 Hive 外部表。参数--input-fields-terminated-by要和 Hive 建表时的分隔符一致否则字段错位查出来的 user_id 可能是文件名。验证方法先在 MySQL 里SELECT COUNT(*) FROM file_meta记下总数Sqoop import 完成后在 Hive 里跑同样的 count两个数一致说明导入没丢数据。如果 Hive 查询报FAILED: SemanticException大概率是字段类型不匹配比如 MySQL 的 DATETIME 导成 Hive 的 STRING 后格式不对需要在 Sqoop 命令里加--map-column-hive upload_timeSTRING显式转换。我自己的习惯是每加一个组件先用最小数据集跑通再上全量。Hive 和 Sqoop 的配置项加起来几十个一次全配好再跑报错时根本不知道是哪个环节的问题。先用 10 条数据验证链路再逐步放大能省下大量翻日志的时间。希望帮到你。本文还有配套的精品资源点击获取