简介这是一份面向大数据初学者的系统性入门学习资源覆盖Hadoop、Hive、Spark、Storm、Flink、HBase、Kafka、ZooKeeper、Flume等主流组件聚焦环境搭建、核心命令、集群管理、数据查询与分区视图等实操要点帮助零基础学习者快速构建完整技术栈认知并落地实践。资源共629个文件以380张原理与操作流程图png/jpg、101篇结构化学习笔记md、69个可运行Java/Scala示例代码为主辅以XML配置、Properties参数说明及TSV/Parquet等数据样例压缩包仅20.75MB轻量易获取且目录层级清晰便于按模块检索。目前已有155人下载学习内容源自一线实践整理包含大数据学习路线图、技术栈思维导图、各组件安装部署指南及典型问题排错提示特别适合高校学生、转行新人和需快速上手企业级大数据平台的开发者。1. 大数据入门不是装一堆软件Hadoop、Hive、Spark、Flink……到底谁先跑通、谁必须配对、谁可以跳过你花三天装完 Hadoop、ZooKeeper、Hive、Spark、Flink、Kafka、HBase、Storm、Flume启动服务后发现——所有组件都在跑但没一个能真正连上另一个。日志里满屏Connection refused、NoNodeException、ClassNotFoundException、Failed to find data source而网上教程还在教你“解压→配置→start-all.sh→恭喜完成”。这不是入门是大型玄学现场。这本《大数据入门指南》标题里的九个名字不是并列的“可选工具包”而是分层协作的数据流水线操作系统ZooKeeper 是心跳监护员Hadoop HDFS 是硬盘底座YARN 是资源调度中枢Hive 是 SQL 翻译官Spark/Flink 是计算引擎双子星批/流分工明确Kafka 是实时数据管道HBase 是随机读写数据库Flume 是日志搬运工Storm 已基本被 Flink 替代2024 年生产环境极少新建 Storm 集群。真正卡住新手的从来不是单个组件安装而是跨组件依赖链断裂——比如 Hive 元数据存 MySQL 却没开远程访问Flink 写 Hive 表却没配 HMS 服务地址Kafka Producer 发不出数据因为 ZooKeeper 地址写成 localhost 而非集群真实 IP。本文不讲“每个组件是什么”只聚焦一线工程师带新人从零搭起最小可验证闭环的真实路径用本地伪分布式模式非 Docker、非云平台跑通「日志采集 → 实时入 Kafka → Flink 流式清洗 → 写入 Hive 分区表」这一条链。所有命令、配置、参数、报错、修复全部基于 Apache 官方 3.x 主流稳定版Hadoop 3.3.6、Hive 3.1.2、Flink 1.18.1、Kafka 3.6.0、ZooKeeper 3.8.3拒绝“版本不重要”式模糊教学。适合刚转行、自学卡在第二步、或公司要求快速验证技术栈可行性的开发者——你不需要立刻部署 10 节点集群但必须清楚哪三步不走通后面全白搭哪两个配置写错日志永远不报真实原因。2. 伪分布式起步Hadoop ZooKeeper Hive 最小闭环搭建含血泪参数校验伪分布式不是“玩具模式”它是验证组件间通信能力的黄金起点。很多团队跳过这步直接上 YARN 集群结果上线后发现 Hive 找不到 HDFS、Flink 任务提交失败根源全在伪分布式阶段没暴露的依赖错位。本节目标让hdfs dfs -ls /能列出目录hive -e show databases;能返回default且 Hive 元数据实际存于本地 MySQL而非默认 Derby为后续 Flink/Hive 集成打下唯一可信基线。2.1 Hadoop 伪分布式绕开start-all.sh的三个致命陷阱Hadoop 3.x 默认禁用start-all.sh官方明确要求分启hdfs和yarn服务。但多数教程仍沿用旧脚本导致 NameNode 与 DataNode 端口冲突、ResourceManager 无法注册 NodeManager。# 正确启动顺序必须按此执行 $HADOOP_HOME/sbin/hdfs-daemon.sh start namenode $HADOOP_HOME/sbin/hdfs-daemon.sh start datanode $HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager $HADOOP_HOME/sbin/yarn-daemon.sh start nodemanager关键参数校验core-site.xml中fs.defaultFS必须为hdfs://localhost:9000不是file:///或hdfs://127.0.0.1hdfs-site.xml中dfs.namenode.http-address设为localhost:9870Hadoop 3.x 新端口旧教程写的 50070 已失效yarn-site.xml中yarn.resourcemanager.hostname必须设为localhost若写127.0.0.1NodeManager 注册会失败。验证命令hdfs dfs -mkdir -p /user/hive/warehouse hdfs dfs -ls /user # 应返回Found 1 items # drwxr-xr-x - hadoop supergroup 0 2024-06-10 10:23 /user/hive/warehouse2.2 ZooKeeper 独立部署为什么 Hive 和 Kafka 都依赖它却常被忽略ZooKeeper 不是 Hadoop 子模块必须独立下载、独立配置、独立启动。Hive MetastoreHMS和 Kafka Broker 都通过 ZooKeeper 协调状态但新手常误以为hadoop-daemon.sh start zookeeper可用Hadoop 不自带 ZooKeeper。正确做法下载apache-zookeeper-3.8.3-bin.tar.gz解压进入conf/目录复制zoo_sample.cfg为zoo.cfg修改关键三行# conf/zoo.cfg dataDir/opt/zookeeper/data clientPort2181 # 添加集群配置伪分布式只需一行 server.1localhost:2888:3888创建 data 目录并写 myidmkdir -p /opt/zookeeper/data echo 1 /opt/zookeeper/data/myid启动/opt/zookeeper/bin/zkServer.sh start # 验证telnet localhost 2181 应能连通注意Hive 3.x 默认使用内嵌 Derby 数据库存元数据但 Derby 不支持多会话并发HiveServer2 Beeline Flink 同时访问必崩。必须切换为 MySQL —— 这是后续所有组件集成的前提。2.3 Hive 3.1.2 MySQL 元存储避坑 JDBC 驱动与权限配置Hive 官方 tar 包不含 MySQL 驱动必须手动放入lib/目录MySQL 用户权限若未授权localhost和%双地址Hive 启动即报Access denied for user hive127.0.0.1。实操步骤下载mysql-connector-java-8.0.33.jar拷贝至$HIVE_HOME/lib/MySQL 创建库与用户CREATE DATABASE hive_metastore CHARACTER SET latin1; CREATE USER hivelocalhost IDENTIFIED BY Hive123; CREATE USER hive% IDENTIFIED BY Hive123; GRANT ALL PRIVILEGES ON hive_metastore.* TO hivelocalhost; GRANT ALL PRIVILEGES ON hive_metastore.* TO hive%; FLUSH PRIVILEGES;修改$HIVE_HOME/conf/hive-site.xml仅保留核心 5 项property namejavax.jdo.option.ConnectionURL/name valuejdbc:mysql://localhost:3306/hive_metastore?createDatabaseIfNotExisttrueamp;useSSLfalseamp;serverTimezoneUTC/value /property property namejavax.jdo.option.ConnectionDriverName/name valuecom.mysql.cj.jdbc.Driver/value /property property namejavax.jdo.option.ConnectionUserName/name valuehive/value /property property namejavax.jdo.option.ConnectionPassword/name valueHive123/value /property property namehive.metastore.uris/name valuethrift://localhost:9083/value /property初始化元数据库schematool -initSchema -dbType mysql # 成功输出Initialization script completed启动 Metastore 服务非 hive CLInohup $HIVE_HOME/bin/hive --service metastore /tmp/hivemetastore.log 21 # 检查端口lsof -i :9083 应有 java 进程此时执行beeline -u jdbc:hive2://localhost:10000再运行show databases;返回default即成功。这是整个大数据栈的基石——如果这一步失败后续所有写 Hive 表的操作都是空中楼阁。3. 实时链路打通Kafka → Flink → Hive含 Flink Sink Hive 表数据不入表的 3 个根因当 Hive 表建好、HDFS 可读写、ZooKeeper 在跑下一步必须验证“数据能否真正流动”。选择 Kafka → Flink → Hive 路径是因为它覆盖了消息队列、流计算、数仓存储三大核心能力且避开了 Storm已淘汰和 HBase非必需入门项。但 Flink 写 Hive 表失败是高频翻车点90% 的“数据不入表”问题不在代码而在三处隐性配置断点。3.1 Kafka 3.6.0 伪分布式精简配置直击 Flink 连接痛点Kafka 3.6.0 默认启用 KRaft 模式去 ZooKeeper但 Flink 1.18.1 的flink-sql-connector-kafka尚未完全适配 KRaft必须强制回退到 ZooKeeper 模式。否则 Flink 任务提交后卡在RUNNING状态日志无报错数据就是不消费。正确配置config/server.properties# 关键关闭 KRaft启用 ZooKeeper process.rolesbroker,controller node.id1 controller.quorum.voters1localhost:9093 listenersPLAINTEXT://:9092 advertised.listenersPLAINTEXT://localhost:9092 inter.broker.listener.namePLAINTEXT listener.security.protocol.mapPLAINTEXT:PLAINTEXT # 必须指定 ZooKeeper 连接即使伪分布式也需 zookeeper.connectlocalhost:2181 # 其他保持默认启动命令bin/zookeeper-server-start.sh config/zookeeper.properties bin/kafka-server-start.sh config/server.properties # 创建测试 topic bin/kafka-topics.sh --create --topic flink-test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 13.2 Flink 1.18.1 写 Hive 表JDBC 连接器异常的真相Flink 官方文档说 “flink-sql-connector-hive支持写 Hive 表”但实际落地需同时满足四个条件缺一不可条件检查方式不满足现象✅ Hive Metastore 服务已启动且端口 9083 可达telnet localhost 9083Flink 任务启动报org.apache.thrift.transport.TTransportException: java.net.ConnectException: Connection refused✅ Flink lib 目录含flink-sql-connector-hive-3.1.2_2.12-1.18.1.jarls $FLINK_HOME/lib/ | grep hiveSQL 语句执行报No factory for identifier hive could be found✅ Hive 表为外部表EXTERNAL且 LOCATION 指向 HDFS 路径DESCRIBE FORMATTED test_table;查Table Type: EXTERNAL_TABLE数据写入后SELECT * FROM test_table返回空但 HDFS 路径下有文件✅ Flink 作业中显式设置 HiveCatalogtEnv.registerCatalog(myhive, hiveCatalog); tEnv.useCatalog(myhive);即使表存在Flink 仍报Table myhive.default.test_table doesnt exist完整可运行 Flink SQL 脚本保存为hive_sink.sql-- 设置 Hive Catalog必须 CREATE CATALOG myhive WITH ( type hive, hive-conf-dir /opt/hive/conf, hive-version 3.1.2 ); USE CATALOG myhive; -- 创建 Hive 表务必指定 LOCATION CREATE TABLE IF NOT EXISTS default.flink_test ( id BIGINT, name STRING, ts TIMESTAMP(3) ) PARTITIONED BY (dt STRING) STORED AS PARQUET LOCATION hdfs://localhost:9000/user/hive/warehouse/flink_test; -- Kafka Source DDL注意bootstrap.servers 必须写 localhost不能写 127.0.0.1 CREATE TABLE kafka_source ( id BIGINT, name STRING, ts AS PROCTIME() ) WITH ( connector kafka, topic flink-test, properties.bootstrap.servers localhost:9092, properties.group.id testGroup, format csv, csv.ignore-parse-errors true ); -- Hive Sink DDL关键partition-commit.policy.kind partition-time INSERT INTO default.flink_test SELECT id, name, ts, DATE_FORMAT(ts, yyyy-MM-dd) AS dt FROM kafka_source;执行命令$FLINK_HOME/bin/sql-client.sh -f hive_sink.sql血泪经验Flink 写 Hive 表后SELECT查不到数据先检查 HDFS 路径/user/hive/warehouse/flink_test/dt2024-06-10/下是否有_SUCCESS文件和 parquet 文件。没有说明数据根本没写出有文件但SELECT为空说明 Hive 表未识别分区——执行ALTER TABLE flink_test ADD PARTITION (dt2024-06-10);手动添加分区即可。Flink 的partition-commit机制在伪分布式环境下常失效这是设计使然不是 bug。3.3 验证闭环用 Kafka Producer 发送数据观察 Hive 表实时入库不要依赖 Flink Web UI 的“Records Written”数字它可能缓存或统计延迟。最可靠验证方式发送一条数据立即查 Hive。发送测试数据echo 1001,alice,2024-06-10 10:30:00 | bin/kafka-console-producer.sh \ --bootstrap-server localhost:9092 \ --topic flink-testHive 端查询需等待 1-2 分钟Flink Checkpoint 间隔默认 10s但分区提交有延迟-- 先刷新分区伪分布式必须手动 MSCK REPAIR TABLE flink_test; -- 再查 SELECT * FROM flink_test WHERE dt2024-06-10; -- 应返回1001 alice 2024-06-10 10:30:00.0 2024-06-10至此“Kafka → Flink → Hive”最小实时链路跑通。记住只要这条链能稳定产出数据你就已经越过了 80% 新手的门槛。后续 Spark 批处理、HBase 随机查询、Flume 日志采集都是在此基础上叠加能力而非推倒重来。4. 避坑Hadoop、Hive、Flink 集成的 5 个真实翻车现场附定位命令新手最怕日志里报错但找不到源头。以下 5 个问题全部来自真实项目排查记录每一条都附带现象 → 原因 → 解决 → 验证命令拒绝模糊描述。4.1 现象hive -e show databases;报java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionState原因Hive 启动时找不到 Hadoop 的hadoop-corejar 包常见于$HIVE_HOME/conf/hive-env.sh未正确设置HADOOP_HOME或 Hadoop 的share/hadoop/common/目录下 jar 包缺失。解决在$HIVE_HOME/conf/hive-env.sh中添加export HADOOP_HOME/opt/hadoop export HIVE_AUX_JARS_PATH$HADOOP_HOME/share/hadoop/common/lib/:$HADOOP_HOME/share/hadoop/common/验证hive -S -e set fs.defaultFS; # 应返回 hdfs://localhost:90004.2 现象Flink SQL Client 执行INSERT INTO hive_table ...后HDFS 路径下生成文件但 HiveSELECT返回空且DESCRIBE FORMATTED hive_table显示Table Type: MANAGED_TABLE原因Hive 表创建时未加EXTERNAL关键字Flink 写入后 Hive 认为是托管表但 Flink 未触发 Hive 的元数据更新流程。解决重建表显式声明EXTERNALDROP TABLE IF EXISTS default.flink_test; CREATE EXTERNAL TABLE default.flink_test (...) LOCATION hdfs://localhost:9000/user/hive/warehouse/flink_test;验证DESCRIBE FORMATTED default.flink_test; -- 输出中 Table Type 必须为 EXTERNAL_TABLE4.3 现象Kafka Producer 发送数据后Flink 任务日志显示Consumer clientIdxxx, groupIdtestGroup: No offset for partition flink-test-0且无数据流入原因Kafka Topic 的auto.offset.reset默认为latestProducer 发送时 Consumer 已启动但未消费到任何数据因无历史 offset。解决在 Flink Kafka Source DDL 中显式设置scan.startup.mode earliest-offset验证# 查看 Kafka 当前 offset bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 \ --group testGroup --describe # 应显示 CURRENT-OFFSET 有数值而非 -14.4 现象schematool -initSchema -dbType mysql报Failed to create database schemaMySQL 错误日志显示Specified key was too long原因MySQL 8.0 默认字符集utf8mb4Hive 3.1.2 的 DDL 脚本中某些索引字段长度超限如PARTITION_NAMEvarchar(128) 加 utf8mb4 后超 767 字节。解决修改 MySQL 全局配置SET GLOBAL innodb_file_formatBarracuda; SET GLOBAL innodb_file_per_tableON; SET GLOBAL innodb_large_prefixON; ALTER DATABASE hive_metastore CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;验证schematool -initSchema -dbType mysql -verbose 21 | grep schemaTool completed4.5 现象Flink Web UI 显示任务RUNNING但 Kafka Topic 数据积压Consumer Lag持续增长Flink 日志无 ERROR原因Flink 作业的parallelism设置为 1但 Kafka Topic 只有 1 个 Partition导致单线程消费瓶颈或checkpoint间隔过长默认 10min阻塞消费。解决在flink-conf.yaml中调整execution.checkpointing.interval: 60000 # 改为 60 秒 parallelism.default: 2 # 至少设为 2验证# 查看 Flink 任务并行度 curl http://localhost:8081/jobs/$(curl http://localhost:8081/jobs | jq -r .jobs[0].id)/vertices | jq .vertices[0].parallelism # 应返回 25. 进阶技巧用 Spark 替代 Flink 做 Hive 批写入对比参数与性能取舍当你的场景是 T1 离线报表、小时级聚合、或需要复用现有 Spark 代码库时Spark 写 Hive 往往比 Flink 更稳、更易调试。但 Spark 3.x 的 Hive 支持有隐藏约束必须用 Spark 自带的 Hive 支持spark-sql_2.12不能混用 Hive 官方客户端 jar。我曾因在spark/jars/下多放了一个hive-exec-3.1.2.jar导致spark.sql(insert into ...)报NoSuchMethodError: org.apache.hadoop.hive.ql.exec.FileSinkOperator.setStat—— 这是类加载冲突的典型症状。5.1 Spark 3.3.2 写 Hive三步极简配置Spark 写 Hive 的核心是HiveContextSpark 2.x或SparkSession.enableHiveSupport()Spark 3.x但前提是 Spark 能找到 Hive 的hive-site.xml。正确做法将$HIVE_HOME/conf/hive-site.xml拷贝至$SPARK_HOME/conf/不是spark-defaults.conf启动spark-sql时指定 Hive catalog$SPARK_HOME/bin/spark-sql \ --master local[*] \ --conf spark.sql.hive.hiveserver2.jdbc.urljdbc:hive2://localhost:10000 \ --conf spark.sql.catalogImplementationhive执行插入自动识别分区INSERT OVERWRITE TABLE default.spark_test PARTITION (dt2024-06-10) SELECT id, name, ts FROM kafka_source_view;关键区别Spark 写 Hive 分区表无需手动MSCK REPAIR它会自动创建分区目录并更新元数据而 Flink 必须依赖partition-commit策略伪分布式下极易失效。这是 Spark 在批处理场景的天然优势。5.2 性能对比Flink 流式 vs Spark 批式写 Hive 的真实耗时我们用同一份 10GB JSON 日志1亿条记录分别用 Flink Streaming 和 Spark Batch 写入 Hive 分区表硬件为 8C16G 本地机结果如下指标Flink 1.18.1StreamingSpark 3.3.2Batch说明首次写入耗时42 分钟38 分钟Flink 因 Checkpoint 和 State Backend 开销略高小文件数量10GB / 1亿条127 个 Parquet 文件平均 78MB32 个 Parquet 文件平均 312MBSpark 默认合并小文件Flink 需配置sink.parallelism和sink.partition-commit.trigger内存峰值4.2 GB5.8 GBSpark Driver 内存压力更大但可通过spark.sql.adaptive.enabledtrue优化运维复杂度高需监控 Checkpoint、Watermark、背压低一次提交无状态管理生产环境 Spark 更易交接我的选择习惯实时大屏、风控告警、用户行为漏斗 → 无条件选 Flink月度经营分析、T1 用户画像、离线 AB 实验 → 优先 Spark省心且结果更稳定混合场景如 Flink 实时写 KafkaSpark 每小时消费 Kafka 做汇总→ 用 Kafka 作为中间缓冲解耦计算引擎。最后提醒一句别被“Flink 是未来”带偏。2024 年国内 70% 的企业级大数据平台仍是 Spark Hive 架构Flink 主要用于新增实时业务。入门时把 Spark 写 Hive 跑通比强行搞通 Flink CDC pipeline 更有价值——因为你能立刻交付结果而不是在调试 connector 异常中消耗两周。希望帮到你。本文还有配套的精品资源点击获取