简介本资源是一套基于Hadoop生态的美团外卖真实业务场景数据分析实践项目面向大数据初学者与Java开发人员聚焦分布式数据处理能力培养。项目完整复现了用户行为、餐厅运营、物流调度等核心维度的分析流程涵盖HDFS存储、MapReduce计算、HiveQL查询及自定义Partitioner等关键技术点。压缩包共89个文件含48个Java主程序与Mapper/Reducer实现、9个XML配置文件如pom.xml、Hadoop核心配置、7个CSV样本数据集如meituan.csv、us-counties.csv、7个可执行JAR包如topFive.jar、reduceSideJoin.jar及Shell脚本、HTML报告和图像资源整体大小为7.37MB。目前已有91人学习下载读者可直接运行调试全部MR任务掌握从数据预处理、分组聚合到多表关联Reduce Side Join的端到端开发链路并通过源码级注释与模块化目录结构如input/、src/main/、jar/快速理解工程组织逻辑。1. 为什么用 Hadoop 处理美团外卖数据不是“大炮打蚊子”而是必须的硬需求你手头有一份美团外卖的原始订单日志每天 2000 万 条记录包含用户 ID、商户 ID、菜品明细、下单时间、配送时长、支付金额、地理位置坐标、优惠券使用情况……单日压缩包就 8GB三个月数据超 700GB。这时候用 Excel 拉个透视表Python pandas 读一次就内存溢出MySQL 单机扛不住千万级关联查询更别说做“北京朝阳区工作日午间 30 分钟内送达率 vs 骑手接单饱和度”的多维下钻分析——这已经不是“能不能跑出来”的问题而是“根本跑不动”的现实。基于 Hadoop 的美团外卖数据分析.zip这个项目本质是把真实业务中高频、高吞吐、强关联、需长期留存的外卖行为数据通过 Hadoop 生态HDFS MapReduce/YARN Hive完成存储、清洗、建模与轻量聚合最终支撑运营复盘、区域调度优化、商户分层和补贴策略验证。它不追求实时毫秒响应但必须稳定承载 TB 级历史数据的批量处理链路它不替代 BI 工具做前端可视化但为看板提供可信赖、可追溯、可重跑的宽表底座。适合正在从 MySQL/Excel 迁移至大数据平台的中小本地生活团队、高校课程设计者、以及想亲手打通“日志采集 → 数仓分层 → SQL 聚合 → 结果导出”全链路的工程师——你不需要会写 Java MapReduce但得清楚每一步数据在哪、怎么流、为什么这么分层。2. 从解压到跑通本地伪分布式 Hadoop 环境最小闭环搭建项目名为.zip但实际落地第一步不是解压代码而是让 Hadoop 在你本机“活过来”。很多新手卡在环境启动失败反复重装 JDK、改 hosts、查端口冲突最后放弃——其实核心就三件事JDK 版本锁死、SSH 免密打通、配置文件只动关键项。我用的是Hadoop 3.3.6 OpenJDK 11.0.22非 17 或 21这是当前美团系离线数仓教学项目最稳定的组合避免了 Hadoop 3.4 对 Kerberos 的强制依赖和 YARN UI 的跨域问题。2.1 JDK 与 SSH 基础准备两个必须踩准的锚点提示不要用apt install openjdk-11-jdk或brew install openjdk11直接装——它们默认路径含空格或符号链接Hadoop 启动脚本会解析失败。务必手动下载 Adoptium Temurin 11.0.227 的 tar.gz 包解压到/opt/java/jdk-11.0.22并确保JAVA_HOME指向该绝对路径无软链接。# 验证 JDK 可用性必须输出 11.0.22 export JAVA_HOME/opt/java/jdk-11.0.22 export PATH$JAVA_HOME/bin:$PATH java -version # 输出应为 openjdk version 11.0.22 2024-04-16 # SSH 免密是 Hadoop 启动 namenode/datanode 的硬要求即使伪分布也走 SSH ssh-keygen -t rsa -P -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ssh localhost # 第一次会提示 yes/no输入 yes 后应直接登录成功无密码逻辑说明Hadoop 启动脚本如start-dfs.sh内部调用ssh localhost启动各进程若未配置免密会卡在交互式密码输入导致服务起不来。-P 表示空密码-f指定密钥路径避免覆盖已有密钥。2.2 四个核心配置文件只改这 7 行其他全留默认Hadoop 伪分布式只需修改core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个文件。切记不要网上抄一整套配置贴进来尤其别动dfs.namenode.name.dir和dfs.datanode.data.dir的默认值——Hadoop 3.3 默认指向file:///usr/local/hadoop/...而你解压路径大概率是/home/xxx/hadoop路径错则格式化失败。文件必改项值说明core-site.xmlfs.defaultFShdfs://localhost:9000HDFS 访问入口所有客户端包括 Hive都通过此 URI 连接hdfs-site.xmldfs.replication1伪分布式设为 1避免因单节点无法满足副本数而报错hdfs-site.xmldfs.namenode.name.dirfile:///home/yourname/hadoop/data/namenode必须绝对路径且目录需手动创建hdfs-site.xmldfs.datanode.data.dirfile:///home/yourname/hadoop/data/datanode同上两个目录权限设为755属主为当前用户yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleYARN 执行 MapReduce 的 shuffle 服务名大小写敏感yarn-site.xmlyarn.resourcemanager.hostnamelocalhostResourceManager 绑定地址伪分布必须是 localhostmapred-site.xmlmapreduce.framework.nameyarn指定 MapReduce 运行在 YARN 上而非旧版 local 模式参数说明dfs.namenode.name.dir是元数据存储位置格式化后生成current/VERSION等文件dfs.datanode.data.dir存放实际数据块。二者路径若不存在hdfs namenode -format会报Unable to create directory错误且不会自动创建父目录。2.3 格式化 启动 验证三步确认 HDFS 和 YARN 活着# 进入 $HADOOP_HOME 目录假设解压到 /home/xxx/hadoop-3.3.6 cd /home/xxx/hadoop-3.3.6 # 1. 格式化 NameNode仅首次运行重复执行会清空所有数据 bin/hdfs namenode -format # 2. 启动 HDFSnamenode datanode sbin/start-dfs.sh # 3. 启动 YARNresourcemanager nodemanager sbin/start-yarn.sh # 4. 验证进程应看到 NameNode, DataNode, ResourceManager, NodeManager jps # 正常输出12345 NameNode 12346 DataNode 12347 ResourceManager 12348 NodeManager # 5. 验证 Web UI浏览器打开 # http://localhost:9870 —— HDFS 管理页能看到 Live Nodes 1 # http://localhost:8088 —— YARN 资源页Apps 空列表即正常逻辑说明jps是 JDK 自带工具比ps aux | grep java更精准识别 JVM 进程名。若只看到 NameNode 没 DataNode大概率是dfs.datanode.data.dir路径不可写或磁盘满若 8088 页面打不开检查yarn.resourcemanager.hostname是否写成127.0.0.1Hadoop 3.3 不认 IP必须写localhost。3. 数据加载与 Hive 数仓建模把美团外卖日志变成可 SQL 查询的宽表项目 zip 包里通常含data/目录存放模拟的美团外卖原始日志CSV 或 JSON 格式例如order_20240501.csv字段包括order_id,user_id,shop_id,food_list,pay_amount,delivery_time,city,province,create_time。这些数据不能直接扔进 HDFS 就完事——必须按数仓分层思想组织ODS原始层→ DWD明细层→ DWS汇总层。Hive 是最轻量、最贴近 SQL 习惯的建模工具无需 Spark 或 Flink 即可完成 ETL。3.1 创建 ODS 层外部表用正则解析复杂字段避开 CSV 引号嵌套坑美团外卖日志中food_list字段是 JSON 数组字符串如[{name:宫保鸡丁,price:28,num:1},{name:米饭,price:2,num:2}]直接用 Hive 默认 CSV SerDe 会解析错行。正确做法是先用TextInputFormat读整行再用get_json_object或json_tuple提取。-- 进入 beelineHive CLIbeeline -u jdbc:hive2://localhost:10000 CREATE DATABASE IF NOT EXISTS meituan_ods; USE meituan_ods; -- 创建 ODS 表按天分区存储原始 CSV注意 location 指向 HDFS 路径 CREATE EXTERNAL TABLE ods_order_raw ( order_id STRING, user_id STRING, shop_id STRING, food_list STRING, -- 原样存 JSON 字符串 pay_amount DOUBLE, delivery_time INT, city STRING, province STRING, create_time STRING ) PARTITIONED BY (dt STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY , LINES TERMINATED BY \n STORED AS TEXTFILE LOCATION /user/hive/warehouse/meituan_ods.db/ods_order_raw; -- 加载 20240501 数据假设已上传到 HDFS /tmp/meituan/order_20240501.csv LOAD DATA INPATH /tmp/meituan/order_20240501.csv INTO TABLE ods_order_raw PARTITION (dt20240501);逻辑说明EXTERNAL TABLE表示 Hive 不管理数据生命周期删除表只删元数据数据仍在 HDFSPARTITIONED BY (dt STRING)是性能关键——后续按日期过滤时Hive 自动跳过无关分区避免全表扫描LOCATION必须是 HDFS 路径hdfs://localhost:9000/user/...可省略协议头。3.2 构建 DWD 层用 LATERAL VIEW 解析菜品明细生成事实表ODS 层数据不可直接分析因为food_list是黑盒字符串。DWD 层要把它炸开成一行一菜品并关联维度信息如城市等级、商户品类。Hive 的LATERAL VIEWjson_tuple是标准解法CREATE DATABASE IF NOT EXISTS meituan_dwd; USE meituan_dwd; -- 创建 DWD 订单明细表粒度每个订单中的每个菜品 CREATE TABLE dwd_order_detail AS SELECT t1.order_id, t1.user_id, t1.shop_id, t2.food_name, t2.food_price, t2.food_num, t1.pay_amount, t1.delivery_time, t1.city, t1.province, t1.create_time, -- 用城市名关联维表此处简化实际应 join dim_city CASE WHEN t1.city IN (北京,上海,广州,深圳) THEN 一线 WHEN t1.city IN (杭州,成都,武汉,西安) THEN 新一线 ELSE 二线及以下 END AS city_tier, SUBSTR(t1.create_time, 1, 10) AS dt, -- 提取日期用于分区 HOUR(FROM_UNIXTIME(UNIX_TIMESTAMP(t1.create_time, yyyy-MM-dd HH:mm:ss))) AS hour FROM meituan_ods.ods_order_raw t1 LATERAL VIEW json_tuple(t1.food_list, name, price, num) t2 AS food_name, food_price, food_num WHERE t1.dt 20240501; -- 指定分区过滤避免扫全量参数说明json_tuple第一个参数是 JSON 字符串字段后续是待提取的 key 名LATERAL VIEW会将每个 JSON 数组元素展开为一行SUBSTR(t1.create_time, 1, 10)提取yyyy-MM-dd作为分区字段比TO_DATE()函数更轻量HOUR(...)提取小时用于时段分析避免在 BI 工具里计算。3.3 构建 DWS 层按城市时段聚合生成运营看板底表DWS 层面向分析场景字段应高度聚合、业务语义清晰。例如“各城市午间11-13 点平均配送时长 订单量”直接供 BI 工具拖拽CREATE DATABASE IF NOT EXISTS meituan_dws; USE meituan_dws; -- 创建 DWS 汇总表粒度城市小时 CREATE TABLE dws_city_hour_stats AS SELECT city, province, city_tier, hour, COUNT(*) AS order_cnt, AVG(delivery_time) AS avg_delivery_time, SUM(pay_amount) AS total_revenue, AVG(pay_amount) AS avg_order_amount, -- 计算准时率配送时长 ≤ 30 分钟的订单占比 SUM(CASE WHEN delivery_time 30 THEN 1 ELSE 0 END) * 1.0 / COUNT(*) AS ontime_rate FROM meituan_dwd.dwd_order_detail WHERE dt 20240501 AND hour BETWEEN 11 AND 13 GROUP BY city, province, city_tier, hour;逻辑说明AVG(pay_amount)和SUM(pay_amount)同时存在是合理设计——前者看客单价趋势后者看区域营收规模ontime_rate用SUM(CASE)/COUNT(*)而非AVG(CASE)因后者在 Hive 中可能因 NULL 处理差异导致精度丢失WHERE条件放在GROUP BY前确保只计算目标日期和时段避免数据膨胀。4. 避坑指南Hadoop Hive 处理美团外卖数据的 4 个血泪现场Hadoop 生态的报错信息 notoriously obscure。下面这些坑是我在线上集群和学生作业里反复验证过的高频故障现象、原因、解法全部对齐真实日志。4.1 现象beeline连接jdbc:hive2://localhost:10000报NoRouteToHost或Connection refused原因HiveServer2 服务未启动或启动后绑定到了127.0.0.1而非localhost。Hadoop 3.3 默认hiveserver2绑定0.0.0.0但若hive-site.xml中hive.server2.thrift.bind.host显式设为127.0.0.1则localhost解析失败hosts 文件中127.0.0.1 localhost有效但某些 Linux 发行版 DNS 解析顺序异常。解决检查hive-site.xml删除或注释hive.server2.thrift.bind.host行默认即0.0.0.0启动 HS2$HIVE_HOME/bin/hiveserver2前台运行看日志或nohup $HIVE_HOME/bin/hiveserver2 /tmp/hiveserver2.log 21 查看/tmp/hiveserver2.log确认Started HiveServer2 with HTTP port 10001, TCP port 10000若仍失败在beeline连接串中显式用127.0.0.1beeline -u jdbc:hive2://127.0.0.1:10000。4.2 现象INSERT OVERWRITE TABLE ... SELECT执行后目标表数据为空但日志显示OK原因目标表是分区表但INSERT语句未指定PARTITION子句且目标表LOCATION路径下存在同名子目录如/user/hive/warehouse/dws_city_hour_stats/dt20240501Hive 认为该分区已存在跳过写入。解决方案一推荐明确指定分区INSERT OVERWRITE TABLE dws_city_hour_stats PARTITION (dt20240501) SELECT ...方案二删除 HDFS 中对应分区目录hdfs dfs -rm -r /user/hive/warehouse/meituan_dws.db/dws_city_hour_stats/dt20240501再重跑方案三建表时加TBLPROPERTIES (transactionaltrue)开启事务Hive 3.0但需额外配置hive.support.concurrencytrue伪分布环境慎用。4.3 现象json_tuple解析food_list返回全 NULL但SELECT food_list FROM ods_order_raw LIMIT 1看起来是合法 JSON原因原始 CSV 文件中food_list字段被双引号包裹且内部 JSON 含双引号导致 Hive CSV SerDe 将整个字段识别为[{\name\:\宫保鸡丁\...}]外层引号未剥离json_tuple无法解析带引号的字符串。解决步骤一用SELECT CONCAT(, food_list, ) FROM ods_order_raw LIMIT 1确认是否有多余引号步骤二建 ODS 表时改用SERDE org.apache.hive.hcatalog.data.JsonSerDe并删除FIELDS TERMINATED BY ,让 Hive 直接按 JSON 解析整行步骤三更稳预处理 CSV用 Python 脚本去掉food_list字段外层引号再上传 HDFS。4.4 现象dwd_order_detail表查询返回 0 行但SELECT COUNT(*) FROM ods_order_raw WHERE dt20240501有 100 万条原因LATERAL VIEW json_tuple要求food_list字段值为标准 JSON 数组字符串如[{k:v}]但美团模拟数据中可能存在空字符串、NULL、或非法 JSON如缺少右括号[{...此时json_tuple返回 NULL 行被WHERE过滤掉。解决在SELECT中加WHERE food_list IS NOT NULL AND food_list ! AND food_list RLIKE ^\\[.*\\]$过滤非法值或用get_json_object(food_list, $.[0].name)替代json_tuple它对单个 key 容错更强最佳实践在 ODS 层加数据质量校验任务每日检查food_list的 JSON 有效性坏数据隔离到ods_order_raw_bad表。5. 用 Python 轻量对接 Hive绕过 JDBC 驱动冲突直接读取 HDFS 文件做分析Hive 表数据物理存储在 HDFS路径如/user/hive/warehouse/meituan_dws.db/dws_city_hour_stats/dt20240501/000000_0。与其折腾pyhive连接 HiveServer2常因 Thrift 版本不匹配报TTransportException不如用hdfs3库直接读 Parquet 文件——既快又稳还能无缝接入 pandas 和 matplotlib。5.1 安装 hdfs3 并配置连接比 JDBC 简单 10 倍pip install hdfs3 pandas matplotlib seabornHadoop 伪分布默认启用 WebHDFS端口 9870无需 Kerberos 即可访问。创建hdfs_config.json{ host: localhost, port: 9870, user: yourname, token: }注意token留空即可WebHDFS 在伪分布模式下默认关闭认证。若提示401 Unauthorized检查hdfs-site.xml中dfs.webhdfs.enabled是否为trueHadoop 3.3 默认开启。5.2 读取 DWS 表 Parquet 文件自动推断 schema支持分区过滤from hdfs3 import HDFileSystem import pandas as pd import os # 连接 HDFS hdfs HDFileSystem(hostlocalhost, port9870, useryourname) # 获取 DWS 表的 HDFS 路径注意Hive 默认用 Parquet 格式路径含分区 hdfs_path /user/hive/warehouse/meituan_dws.db/dws_city_hour_stats/dt20240501 # 列出该路径下所有文件Parquet 文件通常是 _SUCCESS 和 part-*.parquet files hdfs.glob(f{hdfs_path}/*.parquet) if not files: raise FileNotFoundError(fNo parquet files found in {hdfs_path}) # 逐个读取并合并小数据集可一次性读 dfs [] for f in files: if f.endswith(.parquet): # 用 hdfs3.open 读取字节流pandas.read_parquet 接收 with hdfs.open(f) as f_obj: df_part pd.read_parquet(f_obj) dfs.append(df_part) # 合并所有分区文件 df_final pd.concat(dfs, ignore_indexTrue) print(fLoaded {len(df_final)} rows from {hdfs_path}) # 示例分析画各城市午间准时率热力图 import seaborn as sns import matplotlib.pyplot as plt plt.figure(figsize(12, 8)) pivot_data df_final.pivot_table( valuesontime_rate, indexcity, columnshour, aggfuncmean ) sns.heatmap(pivot_data, annotTrue, fmt.2%, cmapRdYlGn, cbar_kws{label: On-time Rate}) plt.title(Meituan Delivery On-time Rate by City Hour (2024-05-01, 11-13)) plt.savefig(meituan_ontime_heatmap.png, dpi300, bbox_inchestight)逻辑说明hdfs3库底层调用 WebHDFS REST API规避了 Java 依赖pd.read_parquet()支持从文件对象读取无需先下载到本地pivot_table自动生成行列交叉矩阵比手动groupbyunstack更直观fmt.2%将小数转百分比显示符合业务看板习惯。5.3 关键技巧用hdfs3实现增量同步避免全量重跑真实场景中DWS 表每天新增一个分区dt20240502你不需要每次都重新跑 Hive SQL。Python 脚本可自动检测最新分区并追加# 获取最新分区按字典序最大 all_partitions hdfs.glob(/user/hive/warehouse/meituan_dws.db/dws_city_hour_stats/dt*) if all_partitions: latest_partition max(all_partitions, keylambda x: x.split()[-1]) print(fLatest partition: {latest_partition}) # 读取 latest_partition 下的 parquet # ... 同上读取逻辑 else: print(No partition found)参数说明hdfs.glob()支持通配符dt*匹配所有分区max(..., key...)按分区值排序20240502 20240501字典序成立此技巧可嵌入 Airflow 或 Cron 任务实现每日凌晨自动拉取新数据生成日报。我坚持在所有 Hadoop 教学项目里用hdfs3 pandas替代pyhive因为前者失败时错误明确如FileNotFoundError后者常卡在TTransportException: Could not connect to localhost:10000却不告诉你到底是端口没开、HS2 挂了还是 Thrift 版本不兼容。少一个依赖少一半排查时间——这才是工程师该省的力气。希望帮到你。本文还有配套的精品资源点击获取