从零开始部署 Hadoop 2.7.3 集群听起来像是课本里才会出现的操作但真到自己动手的时候环境变量配错一个、格式化后 Datanode 起不来、Yarn 内存参数一改就崩这些坑我全都踩过。这篇文章就是一份完整的全流程记录从节点规划到环境变量调优再到集群启动和问题排查手把手把每一步的原理和实操讲清楚。如果你正在搭 Hadoop 2.7.3 集群或者被“环境变量配置错误”这类问题折磨过这篇内容应该能帮你省下至少一个通宵。1. 部署前的环境准备与整体规划1.1 为什么选 Hadoop 2.7.3很多人会问现在 Hadoop 都出到 3.x 了为什么还要部署 2.7.3说实话生产新项目我不会用 2.7.3但在很多存量数据平台、高校实验室和课程设计中2.7.3 依然是主力版本。它稳定、社区资料多、对硬件要求相对低和 Hive、HBase、Zookeeper 的兼容性资料也最好找。另外一个原因是学习价值高。2.7.3 是 Hadoop 2.x 生态的典型代表把它的部署流程吃透NameNode、Datanode、ResourceManager、NodeManager 这几个角色的协作机制也就搞明白了。后面再去理解 HA、联邦、3.x 的架构变化基本是水到渠成的事。版本选型上建议直接下载官方编译好的hadoop-2.7.3.tar.gz不要去碰源码自己编译。依赖的 protobuf、Jetty、JSP 版本错一个编译半天都不一定过。我见过有同学从 GitHub 拉源码编译到一半卡在 native 库上最后还是老老实实回去用官方包。1.2 节点规划三台虚拟机怎么分部署集群前最重要的事情是规划角色分配。Hadoop 2.7.3 集群最少需要三台机器一台跑 NameNode 和 ResourceManager两台跑 Datanode 和 NodeManager。生产环境会把 NameNode 和 ResourceManager 分开但学习场景三台足够。我用的规划如下主机名IP 地址角色hadoop-master192.168.56.101NameNode ResourceManagerhadoop-slave1192.168.56.102Datanode NodeManagerhadoop-slave2192.168.56.103Datanode NodeManager系统选的是 CentOS 7.9 最小化安装内存分配建议 master 给 4G两个 slave 各给 2G。别觉得内存不够2.7.3 本身不算吃内存但 JVM 堆、Yarn 容器、HDFS 缓存都会占2G 是下限。主机名建议在安装系统时就规划好装好之后再改 hostname 也不是不行但要同步改/etc/hosts、/etc/sysconfig/network还要重启网络服务容易出幺蛾子。建议一开始就把主机名固定下来。1.3 系统初始化用户、目录、SSH 免密一把梭Hadoop 官方文档明确说不推荐用 root 跑集群。虽然 root 也能跑但 HDFS 的 Permission 检查、日志权限、进程管理都会出现怪异行为尤其是你在做权限实验时root 会让你完全看不到效果。我一般是创建hadoop用户把安装目录和数据目录统一规划好useradd hadoop passwd hadoop mkdir -p /opt/hadoop mkdir -p /data/hadoop/tmp mkdir -p /data/hadoop/namenode mkdir -p /data/hadoop/datanode chown -R hadoop:hadoop /opt/hadoop /data/hadoop目录规划这里提前说一下后面配置core-site.xml和hdfs-site.xml的时候这些路径要对应写进去。很多人图省事直接让 Hadoop 把数据写在/tmp下面如果你重启了系统或者用清理工具清掉了/tmp整个 HDFS 的数据就会凭空蒸发NameNode 的 fsimage 也没了教训很深刻。SSH 免密从 master 到所有节点都必须配好不然start-dfs.sh执行到一半卡在输密码的提示上你不在电脑前的话整个部署就卡死了。配置流程一把梭su - hadoop ssh-keygen -t rsa -P -f ~/.ssh/id_rsa ssh-copy-id hadoophadoop-master ssh-copy-id hadoophadoop-slave1 ssh-copy-id hadoophadoop-slave2 # 验证 ssh hadoophadoop-slave1 hostname这里有个细节容易被忽略不仅 master 到 slave 要免密master 到自己localhost也要免密。如果不小心漏了这一步start-dfs.sh启动本地 NameNode 时会用 ssh 连接本机然后卡在密码输入上。我当时就在这卡了五分钟思考人生。另外关闭防火墙和 SELinux 在测试环境是必须的。CentOS 7 上用systemctl stop firewalld systemctl disable firewalld sed -i s/SELINUXenforcing/SELINUXdisabled/ /etc/selinux/config setenforce 0防火墙不禁用的话50070 端口你很可能会被 Iptables 拦一道排查半天还以为服务挂了。生产环境不能关防火墙但是在测试和学习环境先把这层麻烦去掉专心搞部署。2. 环境变量配置与调优很多坑都在这一环2.1 JDK 环境变量Hadoop 对 JVM 的执念Hadoop 2.7.3 官方支持和 Java 7不过实际用 Java 8 也完全没问题。JDK 版本别用 OpenJDK 9 及以上否则可能出现初始化模块错误。推荐安装 JDK 8比如jdk-8u211-linux-x64.tar.gz解压到/usr/local/java。JDK 的环境变量常规写法是cat /etc/profile EOF export JAVA_HOME/usr/local/java/jdk1.8.0_211 export JRE_HOME${JAVA_HOME}/jre export CLASSPATH.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH EOF source /etc/profile java -version这里有一个初学者经常踩的坑将$PATH放在最前面结果系统原来的命令被新加的命令覆盖甚至把/usr/bin/ls这种命令的优先级都抢了。正确做法是把新加的 bin 放在$PATH之前但不要把$PATH丢掉。2.2 Hadoop 环境变量Hadoop 官方文档没写全的细节Hadoop 环境变量的配置点有两个系统级/etc/profile和 Hadoop 内部的hadoop-env.sh。两个分层配置作用不同。系统级配置主要是让 shell 能直接执行hdfs、yarn、mapred命令cat /etc/profile EOF export HADOOP_HOME/opt/hadoop/hadoop-2.7.3 export HADOOP_CONF_DIR${HADOOP_HOME}/etc/hadoop export PATH${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH EOF source /etc/profile hadoop version大多数教程到这里就结束了但实际上hadoop-env.sh里还有一个隐藏调优点就是 JVM 参数。打开/opt/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh找到下面的配置export HADOOP_HEAPSIZE1024这个参数控制 NameNode、Datanode 等守护进程的默认堆内存。如果你机器只有 2G默认是 1024属于比较安全的值如果改成 2048那么两个节点同时开 Datanode 和 NodeManager内存就会告急极大概率出现容器起不来、进程被杀的情况。还有一个经常被人忽略的变量是HADOOP_OPTS。一些特殊的自定义参数可以塞进去比如export HADOOP_OPTS$HADOOP_OPTS -Dfile.encodingUTF-82.3 环境变量配置错误后的自救流程环境变量配错是小概率但后果严重的事件。最经典的惨案是在/etc/profile写错了路径source之后发现ls、cat、vim全都不好使了连/bin/ls都找不到然后整个人就懵了。这种情况下不要慌有一个标准的自救流程。第一层如果你是 SSH 登录的不要关闭当前会话重新开一个终端。新终端会默认加载/etc/profile如果也是坏的最坏的情况是连ssh都进不去。我用过的办法是借助物理操作或者让管理员改回/etc/profile。第二层如果你还能执行绝对路径命令比如/usr/bin/ls还能用用/usr/bin/vim /etc/profile修改回来。这里有个技巧不要直接写死 PATH先用一个安全命令导出export PATH/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin然后再去修复/etc/profile。这个方法我用了不止一次尤其是在折腾 Zookeeper、Kafka、Hadoop 环境变量时分分钟救回系统。第三层如果source /etc/profile之后连 Java 都找不到了多半是JAVA_HOME配置有误用echo $JAVA_HOME先看是否为空再逐项排查。养成配置环境变量后先开新会话验证的习惯能避免 90% 的“配置好了但不生效”问题。2.4 环境变量调优不只是 PATH 那么简单环境变量调优往往是整个集群部署文章里最容易被跳过但在实际运行中最影响体验的部分。除了 PATH真正决定你使用效率的是下面这几个HADOOP_CONF_DIR指定配置文件目录。默认在$HADOOP_HOME/etc/hadoop但在一些封装工具里会被覆盖。建议显式指定尤其是你要用 Spark On Yarn 的时候Spark 会读取这个变量找 Yarn 配置。HADOOP_LOG_DIR默认日志在$HADOOP_HOME/logs但如果/opt分区满了日志写不进去服务直接起不来。建议把日志目录单独放到/data/hadoop/logs。HADOOP_PID_DIR默认放/tmp容易被清理掉。PID 文件丢失会导致 stop-dfs.sh 找不到进程然后出现一收不到停进程信号的情况建议也改到/data/hadoop/pids。在hadoop-env.sh里加这些export HADOOP_LOG_DIR/data/hadoop/logs export HADOOP_PID_DIR/data/hadoop/pids我见过一个线上事故OOM Killer 把 Datanode 进程杀了但 PID 文件还在停止脚本以为 Datanode 活着一直发信号失败。后来发现 /tmp 被清理重写过记录和进程已经完全对不上白白排查了几个小时。数据目录和日志目录独立出系统盘这件事真的越早做越好。3. 集群核心配置每个参数背后的原理3.1 core-site.xml集群的“大脑”配置core-site.xml 是 Hadoop 的全局配置。最核心的两个参数默认文件系统、临时目录。configuration property namefs.defaultFS/name valuehdfs://hadoop-master:9000/value /property property namehadoop.tmp.dir/name value/data/hadoop/tmp/value /property property namefs.trash.interval/name value1440/value /property /configurationfs.defaultFS设为hdfs://hadoop-master:9000这决定了客户端访问 HDFS 的入口。如果你的主机名解析有问题把 IP 写死为hdfs://192.168.56.101:9000也可以但后续维护起来不够直观。hadoop.tmp.dir这个参数特别容易被忽略。它的作用远超“临时目录”这四个字NameNode 的dfs.name.dir默认值依赖它Datanode 的dfs.data.dir默认也依赖它。如果 tmp 目录设在系统盘且空间不足NameNode 的元数据可能直接写满磁盘。改成/data/hadoop/tmp后HDFS 数据存储和系统分区解耦安全性大幅提升。3.2 hdfs-site.xml副本数、名称节点元数据与数据节点数据目录hdfs-site.xml 决定了 HDFS 的存储行为。我这套测试环境的配置configuration property namedfs.replication/name value2/value /property property namedfs.namenode.name.dir/name value/data/hadoop/namenode/value /property property namedfs.datanode.data.dir/name value/data/hadoop/datanode/value /property property namedfs.permissions/name valuefalse/value /property property namedfs.namenode.secondary.http-address/name valuehadoop-master:50090/value /property /configurationdfs.replication设置为 2因为集群只有两个 Datanode设置 3 的话有一个副本会找不到目标机器造成数据写入阻塞。生产环境有几台 DataNode 就设几别盲目设大。dfs.permissions在测试环境建议临时关闭否则每次put文件都要关心用户权限还有各种 owner 不一致的问题。生产环境必须保持默认开启否则安全审计直接报废。dfs.namenode.secondary.http-address指向 master如果你配置了 SecondaryNameNode就要把地址写对否则 checkpoint 失败namenode 的 edits log 会越来越大。顺便说一句SecondaryNameNode 不是备份节点它只是定期合并 edit log 的辅助节点千万别把它当成故障切换的救星。3.3 yarn-site.xml资源管理器的关键参数计算Yarn 的配置是整个集群里最容易踩内存坑的地方。配置核心是告诉 NodeManager 每个节点最多给多少个容器、每个容器申请多少内存时不会被拒。我的配置如下configuration property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value /property property nameyarn.nodemanager.aux-services.mapreduce_shuffle.class/name valueorg.apache.hadoop.mapred.ShuffleHandler/value /property property nameyarn.nodemanager.resource.memory-mb/name value1536/value /property property nameyarn.scheduler.maximum-allocation-mb/name value1536/value /property property nameyarn.scheduler.minimum-allocation-mb/name value256/value /property property nameyarn.nodemanager.vmem-check-enabled/name valuefalse/value /property property nameyarn.resourcemanager.hostname/name valuehadoop-master/value /property /configuration内存参数的计算逻辑slave 机器是 2G 内存操作系统本身要留 1G 左右NodeManager 的 JVM 要占一部分剩下给容器的就不到 1536MB。虚拟内存检查默认开启在 2G 内存机器上经常因为虚拟内存超过物理内存而 kill 掉容器学习环境直接关掉。如果你要让 Yarn 正常跑起来跑 wordcount这样配置就够了。但如果跑 Spark On Yarn这个内存要重新算执行器内存、Driver 内存、Overhead 加在一起超过 yarn 的限制就会报错。3.4 mapred-site.xmlMapReduce 的调度器老搭配在 Hadoop 2.x 里MapReduce 跑在 Yarn 上但必要的配置还是要写。默认没有这个文件需要从模板复制cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml内容configuration property namemapreduce.framework.name/name valueyarn/value /property property namemapreduce.jobhistory.address/name valuehadoop-master:10020/value /property property namemapreduce.jobhistory.webapp.address/name valuehadoop-master:19888/value /property /configurationmapreduce.framework.nameyarn是必须的否则 MapReduce 作业会直接跑在本地模式根本不会提交到集群。很多同学配置完发现日志里显示Running job locally就是因为这个参数没配对。3.5 slaves 文件与 masters 文件角色声明要精准在 Hadoop 2.7.3 中slaves、masters文件决定了启动脚本去哪找对应角色。slaves文件声明 Datanode 和 NodeManager 的主机名hadoop-slave1 hadoop-slave2注意slaves 里不能写 hadoop-master否则 master 节点也会启动一个 Datanode这个在测试环境会稀释磁盘占用在真实环境还可能造成数据副本策略异常。masters文件声明 SecondaryNameNode 的主机名不是 NameNode 主机。如果不写这个文件默认 SecondaryNameNode 会和 NameNode 在同一台机器上这在三节点集群里可以接受但生产环境分离是好习惯。3.6 hadoop-env.shJAVA_HOME 显式指定别偷懒hadoop-env.sh里默认的JAVA_HOME是注释状态很多环境没配置/etc/profile的情况下Hadoop 就找不到 Java。建议在这个文件里面直接显式指定绝对路径export JAVA_HOME/usr/local/java/jdk1.8.0_211别用export JAVA_HOME$(readlink -f $(which java) | sed ...)这类的动态推导。虽然这种写法更智能但不同发行版的路径结构差异很大推导错了你很难排查。用绝对路径最稳。4. 集群启动、验证与系统级调优4.1 NameNode 格式化小心你的数据目录在首次启动集群之前必须格式化 NameNodehdfs namenode -format这里有个绝大多数人都遇到过的经典问题格式化的动作是生成一个空的元数据文件系统镜像到dfs.namenode.name.dir对应的目录。如果你后来改了core-site.xml或hdfs-site.xml的目录你之前格式化生成的数据和数据目录里 Datanode 的clusterID就对不上了然后启动 Datanode 时会报Incompatible clusterIDs。所以一个最关键的忠告hdfs namenode -format之前先把 NameNode 和 Datanode 的数据目录都清空一遍或者至少记住格式化时的目录配置。这个坑我踩了不止一次尤其是你在搞伪分布式、单节点、集群模式来回切换的时候配置文件一变就忘了格式化。格式化输出最后一行看到Storage directory /data/hadoop/namenode has been successfully formatted.才算完成。4.2 启动集群顺序和方式启动顺序有讲究不要直接start-all.sh一锅端。隔离启动的方式方便定位问题# 先启动 HDFS start-dfs.sh # 再启动 Yarn start-yarn.sh # 启动历史服务器 mr-jobhistory-daemon.sh start historyserverstart-all.sh在 2.7.3 中依然存在官方也不推荐因为会把 HDFS 和 Yarn 绑死。分开启动如果 HDFS 失败了Yarn 至少能独活Yarn 失败时 HDFS 也照常读写。启动过程你可以看到脚本在尝试通过 SSH 连到 slave1、slave2只是没有输出过程如果你 SSH 没有配好会一直在那里卡着。启动完后用jps在每台机器上看进程master 上应有NameNode、SecondaryNameNode、ResourceManagerslave1 和 slave2 上应有DataNode、NodeManager如果缺少哪个进程去$HADOOP_LOG_DIR或/opt/hadoop/hadoop-2.7.3/logs下翻日志这是定位问题最直接的路径。4.3 通过 Web UI 和命令行验证集群健康度进程都起来了不代表集群是可用的。我习惯从两个面板确认NameNode 界面http://hadoop-master:500702.7.3 版本Yarn 界面http://hadoop-master:8088打开 HDFS 界面后在“Datanodes”标签里应能看到两个存活节点。如果只有 1 个或 0 个多半是网络或 clusterID 的问题。看一下每个 Datanode 的容量是否和虚拟磁盘大小接近这能排除磁盘挂载异常。其他确认命令hdfs dfsadmin -report hdfs dfs -mkdir -p /test hdfs dfs -put /etc/hosts /test/ hdfs dfs -ls /test跑一个简单测试用例验证 Yarncd $HADOOP_HOME/share/hadoop/mapreduce hadoop jar hadoop-mapreduce-examples-2.7.3.jar pi 2 10输出中看到Job Finished successfully和最终估算的 Pi 值整个集群就基本算通了。有个细节想单独提一下提交作业时如果一直卡在Running job状态先去 Yarn 界面看有没有 Application 在排队再去看 NodeManager 日志。初学者很容易在这个环节用CtrlC终止作业但实际只是调度队列堵塞不是集群挂了。4.4 系统级调优完成比完美更重要集群起来以后还有三个非常关键的 Linux 系统调优点。这几个不配置不会导致失败但配置之后能大幅减少偶发问题。第一个是文件句柄限制。NameNode 和 Datanode 在高并发下需要大量打开文件CentOS 7 默认 1024非常不够。修改/etc/security/limits.confhadoop soft nofile 65536 hadoop hard nofile 65536 hadoop soft nproc 65536 hadoop hard nproc 65536第二个是禁用 THP透明大页。Hadoop 官方文档里都建议关闭因为 THP 在 Java 高并发分配内存时容易造成卡顿。echo never /sys/kernel/mm/transparent_hugepage/enabled echo never /sys/kernel/mm/transparent_hugepage/defrag第三个是 vm.swappiness。默认 30对于运行 JVM 的机器来说太容易把不常用 Page 换出、换入。建议调到 10 以下sysctl -w vm.swappiness10 echo vm.swappiness10 /etc/sysctl.conf这三个调优做完了你的集群才算是“能用”的状态。很多人部署完出现了跑两小时就慢、数据写入频繁抖动的情况多数不是 Hadoop 本身的问题而是操作系统的这几个默认值拖了后腿。5. 常见问题排查与避坑实录5.1 Datanode 起不来ClusterID 不匹配这是集群部署里出现频率最高的故障。现象是 master 和 slave 上jps查看slave 上没有 DataNode 进程或者有进程但 web 界面“Live Nodes”只有 1 个。打开hadoop-hadoop-datanode-xxx.log核心报错如下Incompatible clusterIDs in /data/hadoop/datanode: Datanode clusterID CID-abcnamenode clusterID CID-xyz原因就是 NameNode 格式化后生成了新的 clusterID而 Datanode 没有对应更新。我用的标准解决方式# 在问题节点上执行 rm -rf /data/hadoop/datanode/* # 重启这个节点的 datanode hadoop-daemon.sh start datanode这样做 Datanode 会重新向 NameNode 注册自己。虽然暴力但对测试环境和学习环境是最快的方案。5.2 50070/8088 端口打不开另一个高频问题jps进程都在Web UI 就是访问不了。先检查进程监听情况netstat -tlnp | grep 50070 netstat -tlnp | grep 8088如果监听地址是0.0.0.0多半是防火墙拦截如果监听在127.0.0.1说明配置写死了回环地址需要检查fs.defaultFS、dfs.namenode.http-address以及/etc/hosts的主机名解析。很多教程提到改hdfs-site.xml的dfs.namenode.http-address为你自己的局域网 IP这种方法也能解决问题但更治本的是确保/etc/hosts中的所有主机名解析到正确的 IP并且客户端用该主机名而不是 localhost 访问。5.3 Yarn 容器分配失败或作业卡在 ACCEPTED作业提交后一直ACCEPTED说明 ResourceManager 没有把容器调度下去。先看两台 slave 上 NodeManager 的状态yarn node -list yarn node -status nodeId如果节点状态为 RUNNING但分配内存不足多半是你在yarn-site.xml中的yarn.nodemanager.resource.memory-mb配得太大所有容器加起来的 virtual memory 超过了 NodeManager 的可用值。日志中的典型提示Container is running beyond virtual memory limits对应解法就是我在前面配置里写到的yarn.nodemanager.vmem-check-enabledfalse或者手动调大yarn.nodemanager.vmem-pmem-ratio。学习环境直接关掉检查就好但生产环境必须按规范比例来。5.4 伪分布式切换全分布式时极易翻车互联网上大量教程是“伪分布式”搭建你在伪分布式上搭好了目录结构换到全分布式时最容易出现的错位是/etc/hosts、core-site.xml、hdfs-site.xml三处主机名不一致。例如伪分布式里fs.defaultFS写的是hdfs://localhost:9000全分布式里有写hdfs://hadoop-master:9000如果某台 slave 的/etc/hosts里没有 hadoop-master 的映射那 Datanode 根本找不到 NameNode。我的建议是确定集群模式后三处配置一起检查一把梭一致化。不要心存侥幸。格式化前后不要频繁改配置改完配置一定要重新格式化并清空数据目录。5.5 JVM 堆内存设置不当引发崩溃Hadoop 2.7.3 的守护进程默认堆大小由HADOOP_HEAPSIZE控制。我曾经在 4G 内存的 master 上把HADOOP_HEAPSIZE调到 3072NameNode 进程是起来了但把整个系统内存占满Swap 飙升最后 OOM Killer 把 ResourceManager 给杀了。调参的原则是Master 节点建议 NameNode 和 ResourceManager 的堆各不超过物理内存的 1/4Slave 节点 Datanode 和 NodeManager 堆加起来不超过物理内存的 1/2。剩下留给操作系统和 Page CacheDataNode 的读写很多依赖 Page Cache 加速。这个方向上有一个更隐蔽的坑mapred.child.java.opts。如果你在mapred-site.xml里设置过子任务 JVM 参数比如-Xmx1024m但 Yarn 的容器内存上限只有 1536MB那 Map 任务很可能在启动时直接被拒绝。MapReduce 任务堆内存不要盲目给大超过容器上限就直接报错。6. 一点部署后的个人体会这套流程走下来最值得记住的一句话是Hadoop 集群部署不是一个“安装软件”的过程而是让四个角色NameNode、DataNode、ResourceManager、NodeManager在正确的目录、正确的环境中各司其职。也正因如此环境变量、目录规划、参数配置这三件事占了你 70% 的功夫。最后一手经验分享给你如果你准备用 IDEA 做 Hadoop 开发建议把HADOOP_HOME配到本地的winutils.exe对应版本不然在 Windows 上连 HDFS 会反复报权限错如果你要整合 Zookeeper 做自动故障转移先把单点集群跑稳再加 ZK不要一上来就搞 HA否则问题叠加时排查维度直接爆炸。希望这份全流程记录能帮你少踩几个我当年踩过的坑。