简介Hadoop综述.ppt是一份面向大数据初学者、高校相关课程学生及技术分享者的系统性入门课件主要解决对Hadoop生态体系整体认知不足的问题帮助读者快速理清HDFS、MapReduce与HBase三大核心模块之间的关系。资源为单个PPT演示文稿体积仅1.03MB无需解压即可直接阅读或在课堂上投影教学。预览内容显示课件先围绕HDFS展开深入讲解其设计目标、块存储机制、NameNode与DataNode的职责分工、心跳通信、命名空间镜像及编辑日志等持久化原理并提及块副本默认数量对容错能力的支持随后进入MapReduce部分介绍基础概念、数据流与工作原理最后以HBase收尾概述数据模型、行键、列族、时间戳及常用API。全篇知识点衔接紧密目前已有32人学习浏览特别适合作为课堂讲义、课前预习、期末复习或技术分享的配套材料能帮助读者以一份PPT的体量从整体架构到核心细节系统搭建Hadoop知识框架。1. 一份“Hadoop综述.ppt”到底能解决什么问题拿到一份“Hadoop综述.ppt”从头翻到尾你记住了HDFS、YARN、MapReduce三个名词可当你打开命令行敲start-dfs.sh时系统告诉你 namenode 连不上、datanode 起不来、网页打不开。这种落差不是个别现象。综述类 PPT 天然只画地图不给路线它适合让你在动手前建立全局认知而不是教你一步步操作。对真正要交课程设计、做技术选型或搭集群的从业者来说这份材料的价值在于帮你把“存储、调度、计算、生态”这几根主线先拧成一股绳后续配置和排错时都有一个坐标系可查。这篇笔记顺着综述的骨架往下拆先讲这份 PPT 应该抓哪四条主线再给一套从零复现的最小环境接着逐个拆核心配置参数最后把常见踩坑现场一条条捋清楚。适合三种人准备 Hadoop 课程设计又不敢乱动环境的人、看完综述想立刻跑通 WordCount 的转岗工程师以及想从伪分布式往集群模式走但总翻车的中级用户。目标只有一个——让你看完能照着复现而不是停留在“知道”。2. 看懂Hadoop综述先抓住四条主线存储、调度、计算与生态选型综述 PPT 页数再多也不是每页都同等重要。我一般建议先抓四条主线HDFS 存什么、YARN 怎么分资源、MapReduce 跑什么、生态组件要学到多深。抓准这四条后面的伪分布式搭建、集群模式配置、作业提交到 YARN 的流程就只是一条线往下走而不是在十几个配置项里乱猜。2.1 HDFS综述里最值得先看的是“写文件流程”那一页HDFS 是分布式文件系统把大文件切块存到多个节点。综述里几乎都会画一张写流程客户端请求 NameNode 创建文件NameNode 记录元数据并返回可写的 DataNode 列表客户端按块写入第一个 DataNodeDataNode 之间建立流水线复制最后一个 DataNode 逐级返回确认。这个流程图决定了后面所有配置的选择逻辑。读流程同理客户端向 NameNode 查块位置拿到副本列表后就近读取。你在伪分布式上把副本数设成 1写流程依然成立只是没有流水线转发这一步因此可以从日志里更清楚地看到“客户端-NameNode-DataNode”三者之间的交互过程。如果你在虚拟机里装 Hadoop这个流程还可以帮你定位一个很隐蔽的问题虚拟机挂起后恢复系统时间可能漂移导致 NameNode 与 DataNode 的心跳时间错乱节点被判定为过期。这不是综述会写的事但却是动手时最先遇到的坑。所以读 HDFS 部分别只记“分块存储”这个结论要顺着流程往下问三件事NameNode 挂了怎么办DataNode 数据目录放哪里副本数设多少。答案正好对应配置里的dfs.namenode.name.dir、dfs.datanode.data.dir和dfs.replication。你把这些参数和流程图对应起来之后配置就不再是背参数表了。2.2 YARN把作业提交到YARN的流程画在纸上再排错YARN 解决的是资源调度问题。综述里通常会用一张大图客户端把作业提交给 ResourceManagerRM 为 ApplicationMaster 分配一个 ContainerAM 启动后向 RM 申请更多资源RM 把任务分给 NodeManagerNM 在本地启动容器跑 Map 或 Reduce 任务。这张图看着复杂却是排错的主心骨。我见过太多人卡在一个问题上作业提交后一直停在 ACCEPTED或者 map 跑到 50% 突然被杀。如果你脑子里有这条提交流程就知道先去查 RM UI 上的 Application 状态再去看 AM 日志而不是盲目地改 yarn-site.xml。这里我建议你把流程自己画一遍画完再去看“作业提交到 YARN 的流程”相关文章你会发现所有讲解都是在给这张图补充细节。实际踩坑中最常见的不是不理解流程而是把 MapReduce 理解成 YARN 的全部。YARN 本身只负责资源分配MapReduce 只是跑在它上面的一个应用。理解这个边界很重要当你在 yarn-site.xml 里调内存参数时改的是资源池当你改 mapred-site.xml 时改的是单个 Map 和 Reduce 任务的容器规格。两者混在一起调作业就会变得极其不稳定。2.3 生态组件Zookeeper、Tez、Hive按需学别被PPT带偏综述最后几页一定绕不开生态Hive、HBase、Zookeeper、Tez、Spark 密密麻麻一大片。新手容易被这页吓到以为每个都要学一遍。实际上Hadoop 体系里除了 HDFS 和 YARN 这两个地基其余组件都是按场景接上去的。Zookeeper 最典型的落点就是“hadoop 和 zookeeper 整合实战”核心是 HDFS HA 的自动故障转移。NameNode 主节点挂掉时由 Zookeeper 协调把备节点顶上避免单点故障。如果你的环境只有一台机器Zookeeper 根本不用装。Tez 则是一个 DAG 执行引擎它解决 MapReduce 每跑一轮都要落盘、读写 HDFS 太慢的问题Hive 在跑复杂 SQL 时把执行引擎从 MapReduce 换成 Tez性能能明显改善但它对集群内存配置的要求更高。选型建议很直接只做海量文件存储和离线的简单计算HDFSYARNMapReduce 就够了想在 SQL 层面写业务加 Hive想让 Hive 跑得更快研究 Tez要搭高可用集群Zookeeper 躲不掉实时流处理就别抱着 Hadoop 不放去看 Flink 或 Spark Streaming。综述 PPT 把生态画在同一页但落地时它们是互斥的组合不是必选全家桶。这一点想清楚你在课程设计或公司选型时就不会被 PPT 带偏。3. 从综述到能跑的最小集群伪分布式搭建与集群模式要点真动手就不要一上来就搞三台服务器。我先在单机上把伪分布式跑通再往集群扩展。热词里“从零开始安装 hadoop”“ubuntu hadoop 伪分布搭建”相关搜索最后指向的验收标准都是同一个jps命令能同时看到一组特定进程。3.1 Ubuntu下伪分布式搭建从下载到WordCount的最小命令集伪分布式是 Hadoop 的“最小可行产品”五个进程都跑在同一台机器上但配置和集群模式共用同一套逻辑。环境要求很简单一台干净的 Linux我以 Ubuntu 为例、已装好的 JDK 8、能用的 ssh。首先下载并解压发行包。以 Apache Hadoop 3.x 为例包名按你实际下载的文件为准下面是核心命令# 解压到 /usr/local 目录并把目录名简化为 hadoop tar -zxf hadoop-*.tar.gz -C /usr/local/ mv /usr/local/hadoop-* /usr/local/hadoop # 配置环境变量追加到 ~/.bashrc 末尾 export HADOOP_HOME/usr/local/hadoop export HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoop export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin # 让环境变量生效并确认命令行能识别 hadoop source ~/.bashrc hadoop version环境变量里HADOOP_CONF_DIR很容易被忽略。很多人在命令行能敲hadoop之后就直接改配置结果改错了目录。这个变量告诉 Hadoop 去哪里读核心配置文件必须显式指到etc/hadoop。接着改四个核心配置文件。先是最基础的core-site.xml把默认文件系统指向本机 NameNode!-- core-site.xml指定默认的 HDFS 入口端口要和你后面的配置一致 -- configuration property namefs.defaultFS/name valuehdfs://localhost:9000/value /property /configurationfs.defaultFS是 Hadoop 世界的“根目录前缀”。你后面写/input这种路径Hadoop 都会自动展开成hdfs://localhost:9000/input。伪分布式里这个值写成 localhost集群模式里要改成 NameNode 主机名这是后话。然后是hdfs-site.xml。伪分布式最关键的配置是副本数!-- hdfs-site.xml单机环境副本数必须设为 1默认值 3 会一直等副本时钟超时 -- configuration property namedfs.replication/name value1/value /property /configuration如果你不设置这个参数NameNode 会默认写 3 个副本但整个集群只有一个 DataNode块复制永远无法完成。作业会卡住日志里到处是超时。再处理 Java 和运行框架。先编辑hadoop-env.sh把 JAVA_HOME 写死# hadoop-env.sh必须写成绝对路径别只依赖 ~/.bashrc 里的变量 export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64这里有个坑start-dfs.sh 通过 ssh 远程执行命令时不一定加载你的交互 shell~/.bashrc里的 JAVA_HOME 可能拿不到。很多人的 DataNode 起不来就是 JAVA_HOME 只在本地终端有效。MapReduce 要跑在 YARN 上需要复制一份模板并修改# 3.x 发行包默认只带 mapred-site.xml.template先复制成正式文件 cp $HADOOP_CONF_DIR/mapred-site.xml.template $HADOOP_CONF_DIR/mapred-site.xml然后修改yarn-site.xml指定 NodeManager 的辅助服务!-- yarn-site.xml缺了这个配置MapReduce 任务无法启动 -- configuration property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property /configurationmapreduce_shuffle是 Map 阶段输出结果传给 Reduce 阶段的通道。它由 NodeManager 的 auxiliary service 机制提供不写这个配置作业会卡在 map 阶段结束后的 shuffle 等待中而且日志不一定有明显报错。配置到这里就可以格式化并启动了# 第一次运行前必须格式化 NameNode生成集群 ID hdfs namenode -format # 分开启动方便定位 HDFS 和 YARN 哪一方失败 start-dfs.sh start-yarn.sh # 验证这 5 个进程都在才算通 jpsjps输出里如果出现了 NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager 这五个进程你的伪分布式环境就立住了。这里有个心态要放稳格式化命令执行成功不代表环境成功只有 jps 里五个进程都在才说明 HDFS 和 YARN 都活了过来。接着验证计算能力跑官方自带的 WordCount# 创建输入目录上传示例文件 hdfs dfs -mkdir -p /input echo hello hadoop hadoop yarn hdfs | hdfs dfs -put - /input/word.txt # 运行 WordCount输出目录不能提前存在 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar \ wordcount /input /output # 查看结果 hdfs dfs -cat /output/part-r-00000看到统计结果里每个单词的次数后伪分布式就完整闭环了。从下载到出结果全流程也就二十分钟前提是别跳过任何一个配置文件。3.2 集群模式主节点配置从伪分布式改成三节点集群要动的几个地方伪分布式验证通过后集群模式的本质只是把进程拆到多台机器上。我见过有人在一台机器上启动三个 DataNode 进程冒充集群这对学习资源调度没有意义还容易让你误以为“集群模式就是多开几个进程”。正确做法是准备三台能互相 ping 通的机器规划一个主节点和两个从节点。需要动的配置说穿了只有几处配置文件改动点说明core-site.xmlfs.defaultFS 改为hdfs://hadoop-master:9000NameNode 所在主机hdfs-site.xml增加 dfs.namenode.name.dir 与 dfs.datanode.data.dir元数据与数据块目录不要放系统盘workers写入所有 DataNode 主机名3.x 叫 workers2.x 叫 slaves/etc/hosts所有节点配置主机名映射避免内网 DNS 解析超时hadoop-env.sh每台机器写自己的 JAVA_HOME用同一份同步配置时最常翻车3.2.1 节说到的 mapred-site.xml 和 yarn-site.xml 在集群模式里也保持一致。NameNode 格式化只能做一次而且只在主节点执行。DataNode 节点千万不要格式化否则集群 ID 不一致DataNode 会拒绝启动。如果按照常见的集群搭建教程走最省事的做法是把主节点配置好的 Hadoop 目录同步到所有从节点# 在主节点执行把整个 hadoop 目录同步到两台 worker rsync -av /usr/local/hadoop hadoop-worker1:/usr/local/ rsync -av /usr/local/hadoop hadoop-worker2:/usr/local/ # 注意同步完成后worker 上的 etc/hadoop/workers 不能还写着自己的主机名一条血泪经验rsync 同步配置时workers文件也会被覆盖。worker1 机器上如果这份文件里只写了 worker2、worker3那 worker1 自己就不会启动 DataNode。同步配置后要逐台检查机器名不要只在主节点看一眼。集群模式验收不只看 jps。你要在 NameNode 的 Web 界面上看到 3 个 DataNode 都显示 Live再用hdfs dfsadmin -report看实际容量。这里提一句 docker 镜像用现成的 Hadoop Docker 镜像确实能省下载和安装的时间但镜像里的端口映射、进程启动方式和宿主机配置差异很大排查起来比裸机更绕。第一次学老老实实用三台虚拟机或者云主机。3.3 在Windows下用IDEA搭建Hadoop开发环境连集群还是本地调试很多课程设计是在 Windows 上用 IDEA 写代码热词里“windows 下使用 idea 搭建 hadoop 开发环境”的搜索量一直很高。这里有一种常见做法Windows 本机不装完整 Hadoop只下载对应版本的 Hadoop 包配上 winutils.exe 解决 Windows 下缺少的本地系统调用然后在 IDEA 里把代码打成 jar提交给 Linux 上的集群执行。IDEA 里的核心配置是让代码读远程集群的 core-site.xml在代码中把fs.defaultFS指向集群 NameNode。需要注意本地调试时Configuration对象会优先读 classpath 里的配置文件你要把 Linux 集群的配置同步一份到项目 resources 目录而不是去改 Hadoop 安装目录下的文件。与之配套的两个易错点第一winutils 版本必须和 Hadoop 版本对齐否则本地文件系统操作会报 Permission denied 一类的错误第二不要在 Windows 上直接跑完整集群它只适合写代码和提交作业。真要在本地跑 MapReduce伪分布式放在 Linux 虚拟机里更符合 Hadoop 的实际运行环境。4. 核心参数这么调才不玄学Hadoop配置的必调项与取值逻辑参数调优在很多人那里成了玄学实际上 Hadoop 默认配置能覆盖大部分场景真正需要动手调的没几项。把必调项和取值逻辑讲清楚你就能理解为啥伪分布式的报错在集群里也会反复出现。4.1 三个必调参数副本数、数据目录与文件系统地址这三个参数是环境启动的前提调不对连进程都拉不起来。参数所在文件作用常见取值翻车场景典型现象fs.defaultFScore-site.xml默认文件系统入口hdfs://localhost:9000或主节点地址所有相对路径解析失败dfs.replicationhdfs-site.xml每个块的副本数伪分布式 1集群 2 或 3副本等待超时作业卡住dfs.namenode.name.dirhdfs-site.xmlNameNode 元数据目录独立目录不放在 /tmp重启后元数据丢失dfs.namenode.name.dir是新手最容易埋雷的项。默认情况下NameNode 把元数据写在 hadoop.tmp.dir 下而 hadoop.tmp.dir 默认是指向系统临时目录的。系统一清理 /tmp你的集群就失忆了。我建议在hdfs-site.xml里显式写一个独立路径比如/data/hadoop/dfs/name。DataNode 的数据目录也一样用dfs.datanode.data.dir指定多个磁盘情况下用逗号分隔。把数据目录从系统盘挪走既是性能考虑也是避免“重启即事故”的最有效手段。4.2 YARN内存参数伪分布式卡死的常见元凶伪分布式最容易翻车的不是配置写错而是内存分配不自洽。YARN 读取的物理内存总量必须大于所有容器请求的内存峰值否则 ResourceManager 会把容器一个个杀掉。这里要给一组保守参数适合内存 2GB 左右的单机环境!-- yarn-site.xml限制整机 YARN 可用内存防止容器互相踩踏 -- configuration property nameyarn.nodemanager.resource.memory-mb/name value1024/value /property property nameyarn.scheduler.minimum-allocation-mb/name value256/value /property property nameyarn.scheduler.maximum-allocation-mb/name value1024/value /property /configuration同时要修改 mapred-site.xml 里的单任务容器规格!-- mapred-site.xml限制 Map 和 Reduce 各自占用的内存 -- configuration property namemapreduce.map.memory.mb/name value512/value /property property namemapreduce.reduce.memory.mb/name value512/value /property /configuration这两个文件里的参数是相互约束的。NM 总内存 1024MB一个 Map 容器和 一个 Reduce 容器各 512MB理论上正好同时跑两个但 YARN 自身还要留一些内存这个配比仍然偏紧。如果你机器是 4GB 内存可以按 2048MB、512MB、1024MB 的比例往上放Map 和 Reduce 的内存调成 768MB。调整之后必须重启 YARNyarn-site.xml不会热加载。判断内存是否真的不够看日志里有没有 “Container is running beyond physical memory limits” 或 “Container killed by the ApplicationMaster”。这两句话是内存问题而不是程序逻辑问题别去查你的 WordCount 代码。4.3 环境级配置JAVA_HOME、SSH互信与hosts映射还有一类配置不写在 xml 里却决定了集群能不能正常启动。第一是 JAVA_HOME。前面说过必须在 hadoop-env.sh 里显式写绝对路径。集群模式下每一台机器都要确认自己那份 hadoop-env.sh 的路径是对应机器上的 JDK 位置不能盲从主节点同步来的配置。第二是 SSH 免密。NameNode 启停 DataNode 节点靠的是 ssh 远程命令主节点必须能免密登录所有 worker。常见做法是# 在主节点生成密钥并拷贝到两台 worker ssh-keygen -t rsa -P ssh-copy-id hadoop-worker1 ssh-copy-id hadoop-worker2 # 验证所有节点能直接回车返回远端主机名就是通了 ssh hadoop-worker1 hostname第三是 /etc/hosts。集群环境下尤其重要。hostname 解析慢会让 DataNode 的心跳登记超时表现为主节点 Web 界面看到节点总数符合预期但状态总是 Unhealthy。我的惯例是主节点和所有 worker 都配置同一份 hosts把内网 IP 写静态映射不依赖内网 DNS。5. Hadoop避坑现象、原因、解决方案一条条捋下面这几条是我在课程设计和公司实战里都反复遇到的典型坑。其实不少问题都出在同一个根因对 HDFS 和 YARN 的机制不够敏感。每条按现象、原因、解决三个层次写排错时可以直接对号入座。5.1 DataNode起不来集群ID不一致是最大的黑匣子现象执行start-dfs.sh时日志没有报错但jps里看不到 DataNodeNameNode 却正常。去logs目录翻 hadoop-hadoop-datanode-*.log会看到类似Incompatible clusterIDs的异常。原因格式化 NameNode 会生成一个 clusterIDDataNode 的数据目录里记录的是之前格式化生成的 clusterID。当你二次执行hdfs namenode -format时NameNode 换了一个新 ID但旧 DataNode 的dfs.datanode.data.dir目录里还是旧 ID两边对不上DataNode 干脆拒绝启动。解决如果确认数据可以丢就统一清理重新格式化# 停止集群数据目录按你自己配置的位置来删 stop-dfs.sh rm -rf /data/hadoop/dfs/name/* rm -rf /data/hadoop/dfs/data/* # 重新格式化并启动 hdfs namenode -format start-dfs.sh真正的预防办法是不要反复格式化。第一次格式化之后除非要做元数据彻底重建否则不要动。集群模式里更严格只有主节点能格式化从节点格式化了就会和主节点 ID 不一致加入集群时同样会被拒绝。我在给别人排查时发现 80% 的单节点 DataNode 起不来的问题都出在这里。5.2 监控页面打不开9870还是50070版本差异翻车点现象浏览器输入http://localhost:50070一直超时但jps里 NameNode 明明活着。原因Hadoop 3.x 把 NameNode 的 Web UI 端口从 50070 改成了 9870。大量综述 PPT 和教程截图还停留在 2.x照着旧端口访问自然打不开。次常见原因是防火墙没有放行对应端口Ubuntu 下尤其常见。解决先用命令确认端口在监听ss -lntp | grep 9870如果这条命令有输出说明端口活在这里浏览器访问http://localhost:9870即可。ResourceManager 的 UI 端口是 8088NameNode 的 UI 是 9870DataNode 的 UI 端口则是随机的从 NameNode 页面点进去就能跳转。如果 ss 没有输出就去查日志看 NameNode 是不是真的完成了启动而不只是进程存在。5.3 跑WordCount卡死内存与容器调度问题现象作业提交到 YARN 之后map 进度一直是 0%过一段时间整个 Application 变成 FAILED。日志里出现Container is running beyond physical memory limits或者Container killed by the ApplicationMaster。原因内存参数不自洽。比如 yarn.nodemanager.resource.memory-mb 设了 2048MB但 mapreduce.map.memory.mb 和 reduce.memory.mb 都设了 1536MB一个节点同时跑两个容器就会立刻超限。ApplicationMaster 为了保证集群安全会把超内存的容器直接杀掉。解决按第 4.2 节那组保守参数重新配置重启集群再提交一次。注意确认你改的是哪台机器的配置如果你在 IDEA 里远程提交作业客户端机器的 mapred-site.xml 也会影响作业配置集群和客户端配置要一致。否则你在服务器上把内存调好了客户端一提交又把旧的参数带过去作业照样卡。5.4 输出目录已存在MapReduce不会覆盖已有输出现象第二次运行同样的 WordCount启动后报FileAlreadyExistsException。原因MapReduce 的输出目录要求必须不存在。这是防误覆盖设计避免历史结果被静默冲掉很多不熟悉 Hadoop 的人会以为它是 bug。解决重复跑 之前先删掉输出目录或者直接换一个新路径hdfs dfs -rm -r /output这里顺手提一个和课程设计有关的常见需求合并去重。许多人用 MapReduce 写去重逻辑本质是把 key 相同的记录合并输出目录的处理逻辑和 WordCount 完全一样。写这类作业时建议把输出路径设计成带运行时间戳的目录比如/output/20250101_1200既能保留历史结果又不至于一次次清理。6. 把综述PPT改造成一张验证清单从jps到WordCount的验收路径综述 PPT 最后一页往往画了一张全家福式的架构图我会把它改造成一张验证清单。环境搭好之后不废话直接按表验收。验证项命令预期结果进程状态jps五进程齐全集群模式更多数据节点hdfs dfsadmin -reportLive nodes 数量符合预期文件系统hdfs dfs -ls /能看到根目录计算能力WordCount 示例作业part-r-00000 有统计输出作业日志yarn logs -applicationId id能看到 Task 级别完成记录这五条跑完综述里讲的存储和调度才真正在你手里落了地。之后再往上走路径很清晰读 NameNode 的 Web UI 看块分布写一个合并去重的 MR 作业练手把伪分布式改成三节点集群再为 HA 引入 Zookeeper。每一步都能和综述里的某一页对上。我自己现在的习惯是换一套环境先把这五条验收清单跑完再去看别的优化教程。任何一个步骤失败绝不跳过因为跳过去的坑一定会在后面更尴尬的时刻冒出来。真心建议你也保留这个习惯它能帮你过滤掉网上至少一半不靠谱的繁冗教程。希望帮到你。本文还有配套的精品资源点击获取