简介这份《大数据原理与技术课程实验报告》完整版面向正在学习Hadoop与Linux基础操作的本科生或自学者内容围绕“熟悉常用Linux操作和Hadoop操作”这一核心实验展开讲解虚拟机安装、常用命令实战、环境变量配置及Hadoop伪分布式搭建流程适合作为课程实验参考或考前复习材料。资源包为单个docx文档大小约3.29MB整体以文字步骤和命令记录为主直接打开即可对照练习。已有5240人学习下载。实验报告按操作模块清晰组织从cd、ls、mkdir、rmdir、cp、mv、rm到cat、tac、more、head、tail、touch、chown、find、tar、grep等命令均有实际命令与输出示例并给出Hadoop 2.7.1/3.1.3环境下的NameNode格式化、启动守护进程等配置过程便于读者快速复现实验环境、理解命令含义为后续MapReduce与大数据分析打好基础。1. 实验报告不是流水账它是一份能复现的最小工程课程里的《大数据原理与技术课程实验报告》通常在学期末统一收很多同学把它当成“截图文字说明”的拼贴文档。老师追问一句“你 Job 里 Combiner 为什么能复用 Reducer”“清洗前后行数为什么对不上”现场就翻车。真正完整的实验报告本质是一份可复现的工程交付物它要把大数据集群部署策略、MapReduce/Hive/Spark 数据清洗与数据分析、可视化展示这一整条链路跑通并且让任何一个人按着你的命令重做一遍能得到一致结果。这篇笔记按“环境 → 清洗 → 分析 → 避坑 → 复现验证”展开适合正在补实验的课程报告也适合把课程实验改造成竞赛底稿或毕业设计的数据预处理章节。2. 大数据集群部署策略实验环境决定报告可信度2.1 伪分布式还是三节点集群课程报告场景怎么取舍常见做法是三种本地单机跑 Python 脚本、单机伪分布式、三节点以上小集群。课程实验报告多数情况下选单机伪分布式就够了理由很实在报告要写清楚的是 MapReduce 原理、HDFS 存储机制和 Hive/Spark 计算过程不是分布式运维能力。伪分布式下 NameNode、DataNode、ResourceManager 都跑在同一台机器上进程齐全、截图清晰还能把jps输出直接贴进报告。三节点集群更接近真实生产但代价是实验时间翻倍。虚拟机克隆后要处理 SSH 免密、hosts 映射、时钟同步、防火墙这些和环境搭建以外的课程目标关系不大一旦出错排查半天起步。如果你做的是毕业设计或者准备参加 MathorCup 这类大数据竞赛再上三节点不迟课程报告用伪分布式把省下来的时间留给数据清洗和分析 SQL。我这边的建议配置是虚拟机内存 8 GB 起步CPU 4 核磁盘 60 GB。低于这个配置Hadoop 和 Spark 同时跑会很吃力后面节骨眼上出现内存溢出很难说清是配置问题还是代码问题。主机名建议直接叫 node01对应的/etc/hosts里加一行192.168.x.x node01后面所有配置文件都用主机名不要写 IP否则集群换网络环境后报告里的配置就失效了。2.2 Hadoop 配置core-site、hdfs-site、yarn-site 的关键参数配置前先确认 JDK 版本。课程环境里 Hadoop 2.x 配 JDK 8 是最省心的组合Hadoop 3.x 也建议继续用 JDK 8避免 javac 版本和 Hadoop 脚本里的检查逻辑冲突。下面是一组我常用的最小配置每项参数都值得写进报告的“环境参数表”里。core-site.xml里的fs.defaultFS决定整个集群的入口hadoop.tmp.dir是 Namenode 和 Datanode 元数据的根目录必须用绝对路径并且提前建好configuration property namefs.defaultFS/name valuehdfs://node01:8020/value /property property namehadoop.tmp.dir/name value/opt/hadoop/tmp/value /property /configurationhdfs-site.xml里最容易被忽略的是副本数。伪分布式只有一台 DataNode副本数不改成 1启动时不会报错但日志里会一直提示块副本不足报告截图不好看configuration property namedfs.replication/name value1/value /property property namedfs.namenode.name.dir/name value/opt/hadoop/name/value /property property namedfs.datanode.data.dir/name value/opt/hadoop/data/value /property /configurationyarn-site.xml控制 MapReduce 运行时的资源上限。伪分布式最容易翻车的就是这里配置过小或者过大导致作业卡在 ACCEPTED 状态configuration property nameyarn.nodemanager.resource.memory-mb/name value4096/value /property property nameyarn.nodemanager.resource.cpu-vcores/name value2/value /property /configuration解释一下参数逻辑yarn.nodemanager.resource.memory-mb是这台节点能给容器用的总内存伪分布式环境下取机器物理内存的一半左右比较稳。cpu-vcores在虚拟机里通常按 2 核设置设成 1 也可以但 MapReduce 并行度会太低。大数据的四个层次——数据采集、存储、计算、应用——到这里已经能看到雏形HDFS 管存储YARN 管计算资源后面 Hive 和可视化落在应用层。2.3 从格式化到启动能直接截图的命令序列初始化顺序不能错。通常的做法是先格式化 Namenode再启动 HDFS 和 YARN最后用jps验证进程。格式化这个动作有“后悔药”但它不是万能药后面避坑章节会专门讲。cd /opt/hadoop bin/hdfs namenode -format sbin/start-dfs.sh sbin/start-yarn.sh jps格式化命令会生成新的元数据执行时看到successfully formatted就行不需要被一堆日志吓到。start-dfs.sh会启动 NameNode、DataNode 和 SecondaryNameNodestart-yarn.sh启动 ResourceManager 和 NodeManager。jps是 JDK 自带的 JVM 进程查看工具伪分布式下应该出现至少五个进程NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager外加你自己用到的 RunJar。格式化后如果启动失败不要急着重新格式化先去$HADOOP_HOME/logs目录看.log文件。大多数情况下是/etc/hosts没配好、端口被占用或者/opt/hadoop目录权限不对。我在报告里习惯加一句“第一次启动失败时按日志关键字排查”这句话比任何进程截图都更能体现工程能力。3. 用 MapReduce 做数据清洗从网约车 CSV 到 HDFS 的最小闭环3.1 先造一份网约车订单 CSV把脏数据也造进去数据清洗是课程实验报告里最能写出“技术含量”的章节。比起拿现成数据集我一般建议自己用脚本生成一份网约车订单模拟数据。好处有两个一是字段可控能主动注入缺失值、空行和乱码行二是报告可以明确写出清洗前后行数方便答辩时讲清楚数据质量的变化。以下脚本会生成 10000 行左右的订单记录字段包括 order_id、city、dt、amount、status并故意每隔几十行插入一条空行或坏数据import random import datetime cities [上海, 北京, 深圳, 杭州, 成都] with open(order.csv, w, encodingutf-8) as f: f.write(order_id,city,dt,amount,status\n) for i in range(10000): city random.choice(cities) dt datetime.date(2024, random.randint(1, 12), random.randint(1, 28)) amount round(random.uniform(5, 100), 2) status random.choices([完成, 取消, 异常], weights[80, 10, 10])[0] if i % 97 0: f.write(\n) # 空行 elif i % 101 0: f.write(脏行,,2024-01-01,0,异常\n) # 缺城市 else: f.write(f{i},{city},{dt},{amount},{status}\n)脚本里的随机权重random.choices([完成, 取消, 异常], weights[80, 10, 10])是让业务分布接近真实完成订单占八成取消和异常各占一成。生成后先看文件大小和行数wc -l order.csv不等于 10000 是正常的因为空行也算行。把这个数记下来它就是后续清洗效果对比的基准。把文件送进 HDFS 前先建目录再上传。-put的参数顺序是“本地文件路径 HDFS 目标目录”很多人第一次会写反hdfs dfs -mkdir -p /user/hadoop/input hdfs dfs -put order.csv /user/hadoop/input/order.csv hdfs dfs -ls /user/hadoop/input-mkdir -p会递归创建目录-put上传后可以用-ls确认块信息和副本数。到这里大数据架构里的数据采集和存储层已经闭环接下来进入计算层。3.2 Mapper 和 Reducer 的清洗逻辑过滤、投影、聚合MapReduce 最经典的写法是“三个类”Mapper 做过滤和投影Reducer 做聚合Driver 负责组装作业。下面这段代码把上一节的清洗需求落成可编译的 Java 类。注意我把 Mapper 和 Reducer 都写成了 CleanJob 的静态内部类这样整个清洗逻辑只需要一个 Java 文件提交作业更简单。import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import java.io.IOException; public class CleanJob { public static class CleanMapper extends MapperObject, Text, Text, IntWritable { private Text outKey new Text(); private IntWritable one new IntWritable(1); Override protected void map(Object key, Text value, Context context) throws IOException, InterruptedException { String line value.toString(); if (line.trim().isEmpty() || line.startsWith(order_id)) { return; // 跳过空行和表头 } String[] f line.split(,, -1); if (f.length 5 !f[1].isEmpty() !f[2].isEmpty() !f[4].isEmpty()) { outKey.set(f[1] , f[2]); // 城市,日期 context.write(outKey, one); } // 缺字段或关键字段为空的行直接丢弃 } } public static class CleanReducer extends ReducerText, IntWritable, Text, IntWritable { private IntWritable sum new IntWritable(); Override protected void reduce(Text key, IterableIntWritable values, Context context) throws IOException, InterruptedException { int total 0; for (IntWritable v : values) { total v.get(); } sum.set(total); context.write(key, sum); } } public static void main(String[] args) throws Exception { Configuration conf new Configuration(); Job job Job.getInstance(conf, order-clean); job.setJarByClass(CleanJob.class); job.setMapperClass(CleanMapper.class); job.setCombinerClass(CleanReducer.class); // Combiner 可以复用 Reducer job.setReducerClass(CleanReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } }这段代码的逻辑分三层。Mapper 里line.split(,, -1)的-1是保底参数作用是保留行尾的空字段避免把最后几个字段直接截没。判断f.length 5负责过滤字段数不足的坏行!f[1].isEmpty()负责过滤城市缺失的行status为空的行也在过滤范围内。Reducer 只做求和IterableIntWritable values是 MapReduce 框架按 key 分组后的值集合框架不保证顺序所以 Reducer 不能依赖遍历顺序。Driver 里的参数都要能说得出为什么。setCombinerClass(CleanReducer.class)把 Combiner 直接复用为 Reducer 类前提是这个聚合操作满足交换律和结合律求和刚好符合如果是求平均值复用就会翻车。setOutputKeyClass和setOutputValueClass声明的是 Mapper 输出类型如果和实际类型不一致作业会在运行时抛出 IOException而不是编译时报错所以报告里建议把这两行和“运行时报错”关联起来讲。3.3 打包提交作业输出目录不能预先存在先把代码打成 jar再丢给hadoop jar跑。用 Maven 打的包叫 fat jar课程实验不需要把依赖打进去直接javac -classpath指定 Hadoop 依赖然后打标准 jar 就够用export HADOOP_CLASSPATH$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/common/lib/* javac -classpath $HADOOP_CLASSPATH -d classes CleanJob.java jar -cvf order-clean.jar -C classes . hadoop jar order-clean.jar CleanJob /user/hadoop/input/order.csv /user/hadoop/output/clean提交命令最后两个参数分别对应args[0]和args[1]。输出目录/user/hadoop/output/clean必须在提交前确认不存在否则会报FileAlreadyExistsException。这是新生踩得最多的地方不是代码问题纯粹是 MapReduce 框架不覆盖输出目录的安全设计。作业跑完后检查两个东西。第一是hdfs dfs -ls /user/hadoop/output/clean看到_SUCCESS文件说明作业整体成功第二是hdfs dfs -cat /user/hadoop/output/clean/part-r-00000 | head看输出长什么样。如果city,dt中间是制表符分隔说明 TextOutputFormat 默认行为生效后面用 Hive 建表时就要按\t解析。清洗逻辑跑通后用中文乱码、空行带来的行数变化作为“数据质量检查框架”里的一个核心指标写进报告会比只贴代码更有说服力。4. 用 Hive 做数据分析再让 FlaskECharts 出报告图4.1 Hive 建表与 LOAD DATA把清洗结果变成可查询结构MapReduce 输出的是(city, dt, cnt)三元组下一步就交给 Hive。Hive 的价值不在计算性能而在于把 MapReduce 的 Java 逻辑改写成 SQL让报告可读性大幅提升。建表时字段类型要和 MapReduce 输出对应上cnt是求和结果用 INT不能用 STRING否则后面 TopN 排序会变成字典序10反而排在9前面CREATE TABLE IF NOT EXISTS order_agg ( city STRING, dt STRING, cnt INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY \t STORED AS TEXTFILE; LOAD DATA INPATH /user/hadoop/output/clean/part-r-00000 INTO TABLE order_agg;ROW FORMAT DELIMITED FIELDS TERMINATED BY \t是整条语句的核心参数它告诉 Hive 要去解析的字段分隔符是制表符也就是 MapReduce TextOutputFormat 的默认输出分隔符。STORED AS TEXTFILE对应纯文本存储如果你后续想压缩可以改成STORED AS ORC但那需要先跑一遍INSERT OVERWRITE转格式课程报告没必要。LOAD DATA 是移动操作源文件被移动到 Hive 仓库目录后HDFS 上原来的 part-r-00000 就不存在了报告里要避免写成“复制”。4.2 必写分析 SQL分组统计、TopN、窗口函数一到分析阶段很多同学只会GROUP BY答辩被问“每个城市订单量 Top 3 的日期怎么算”就卡住了。下面的 SQL 是 Hive 分析章节的“最小必写集”也是校园大数据、网约车数据分析这类题目里反复出现的套路和大数据 SQL 面试题的考点基本一致。-- 统计每个城市的总订单量取前 10 SELECT city, SUM(cnt) AS total FROM order_agg GROUP BY city ORDER BY total DESC LIMIT 10;-- 按月份分区看城市排名窗口函数 RANK SELECT dt, city, cnt, RANK() OVER (PARTITION BY dt ORDER BY cnt DESC) AS rk FROM order_agg WHERE dt 2024-01-01 AND dt 2024-04-01 ORDER BY dt, rk LIMIT 20;第一条 SQL 体现分组聚合和排序限幅第二条 SQL 体现窗口函数。RANK() OVER (PARTITION BY dt ORDER BY cnt DESC)的含义是在每个日期分区内部按订单量降序排名重复值会并列且排名跳号这是RANK和DENSE_RANK的一大区别报告里如果能顺手写一句“这里用 RANK 而不是 DENSE_RANK 的原因”会非常加分。窗口函数在 Hive 2.1 后开始支持课程环境基本都能跑如果报错先确认 Hive 版本。4.3 结果导出Hive 到本地 CSV 再到 Excel 文档Hive 查询结果默认打在终端报告需要的是“可在 Excel 里二次加工的数据”。标准导出姿势是INSERT OVERWRITE LOCAL DIRECTORYhive -e INSERT OVERWRITE LOCAL DIRECTORY /home/hadoop/result/city_total ROW FORMAT DELIMITED FIELDS TERMINATED BY , SELECT city, SUM(cnt) AS total FROM order_agg GROUP BY city ORDER BY total DESC; cat /home/hadoop/result/city_total/* /home/hadoop/result/city_total.csv关键点有两个。OVERWRITE LOCAL DIRECTORY会清空本地目录再写入重复执行不会报“目录已存在”导出文件命名是一长串000000_0所以要用cat把所有 part 文件合并成单一 CSV。用 Excel 打开 CSV 出现中文乱码时不要责怪 Hive先看文件编码。Hive 输出的文件是 UTF-8 编码但 Excel 默认按 ANSI 打开解决办法是用 Python 读一次并转成带 BOM 的 UTF-8这样双击打开就不再乱码with open(/home/hadoop/result/city_total.csv, encodingutf-8) as f: text f.read() with open(/home/hadoop/result/city_total_final.csv, w, encodingutf-8-sig) as f: f.write(text)到这里报告里最该强调的一句话是无论你是什么专业把清洗和分析结果整理成与专业背景相关的 Excel 文档是让实验报告脱离“纯操作手册”的关键一步。比如数据分析类课程可以把城市订单量进一步按你的专业领域拆维度这一段的产出是报告里最扎实的“业务价值”证据。4.4 用 FlaskECharts 出一张能答辩的图可视化和数据分析之间的衔接推荐 Flask 提供接口、ECharts 负责画图而不是直接把图片贴死。原因很实际答辩时老师会问“数据要是变了怎么办”动态接口能现场改数据刷新页面效果完全不同。Flask 端只需要一个接口读取之前导出的 CSV 并转成 JSONfrom flask import Flask, jsonify import csv app Flask(__name__) app.route(/api/city_total) def city_total(): rows [] with open(/home/hadoop/result/city_total_final.csv, encodingutf-8-sig) as f: for line in csv.reader(f): rows.append({city: line[0], value: int(line[1])}) return jsonify(rows) app.run(host0.0.0.0, port8000)host0.0.0.0表示监听所有网卡地址这样不仅本机能访问虚拟机局域网内的机器也能访问。encodingutf-8-sig会自动把 BOM 头吃掉避免数组第一项出现\ufeff导致图表显示异常。ECharts 部分用柱状图最直接fetch(http://localhost:8000/api/city_total) .then(r r.json()) .then(data { var chart echarts.init(document.getElementById(main)); chart.setOption({ xAxis: { type: category, data: data.map(d d.city) }, yAxis: { type: value }, series: [{ type: bar, data: data.map(d d.value) }] }); });这段 JS 的逻辑是从 Flask 接口取 JSON 数组把city字段映射到 x 轴把value映射到柱状图高度。浏览器跨域在localhost场景下不会拦截如果 Flask 和页面不是同一台机才需要处理跨域课程实验一般到不了这一步。ECharts 的图生成后截图放进报告同时保留.html文件在附盘里这比一张静态图专业得多。5. 实验报告避坑指南五处高频翻车点与排查顺序5.1 进程起不来先看日志别急着格式化现象start-dfs.sh执行后jps里只有 NameNode没有 DataNode或者 NameNode 反复退出。原因多半是第一次格式化后启动失败你又重新格式化了一次而 DataNode 的数据目录/opt/hadoop/data里还留着上一次的 clusterID 和 NameNode 元数据不一致导致 DataNode 启动后自动退出。解决不要急着二次数格式化先删除数据目录再重新格式化。rm -rf /opt/hadoop/tmp /opt/hadoop/name /opt/hadoop/data hdfs namenode -format start-dfs.sh这背后的逻辑是格式化会重新生成 NameNode 元数据但不会清理 DataNode 里残留的旧数据目录。两次格式化的 clusterID 如果对不上DataNode 会认为集群不可信。报告里的正确写法不是“格式化后就好了”而是“清理旧数据目录统一元数据后恢复”。前者是玄学后者是工程。5.2 中文乱码与字段错位CSV 编码和分隔符不一致现象Hive 查询结果中文城市名全变成?或者 MapReduce 输出在 Hive 里解析后 city 列出现\t和乱码。原因有两个方向一是源 CSV 不是 UTF-8二是 MapReduce 输出分隔符和 Hive 建表时FIELDS TERMINATED BY不一致常见的是 Java 代码用了,拆分并输出city,dt但 TextOutputFormat 实际写入时用的是制表符。解决file order.csv hdfs dfs -cat /user/hadoop/output/clean/part-r-00000 | head -5file命令会明确显示文件编码-cat能直接看到输出里的分隔符是\t还是,。按实际看到的分隔符去改 Hive 建表语句比猜参数可靠。Excel 打开乱码的问题按 4.3 节用utf-8-sig重存一步到位。5.3 MapReduce 作业卡在 ACCEPTED资源参数和提交参数不匹配现象hadoop jar提交后一直停在ACCEPTED日志里没有任务开始也没有报错。原因通常是 YARN 资源不足或配置没被加载。伪分布式下最容易犯的是把yarn.nodemanager.resource.memory-mb设成跟物理内存一样大然后 MapReduce 申请不到可用容器。解决先看 ResourceManager 的日志确认可用内存再把yarn-site.xml里的内存降到物理内存的一半。另外确认你修改的是$HADOOP_HOME/etc/hadoop/yarn-site.xml而不是别的路径很多伪分布式环境配置文件有两份改错一份会“貌似配置了但没生效”。5.4 Hive 导出的本地目录里全是 000000_0它不是 CSV现象INSERT OVERWRITE LOCAL DIRECTORY执行成功后看目录发现文件名是一串数字后缀也不是.csv有人会以为导出失败。原因Hive 的分区文件命名规则就是000000_0这是正常的不是失败。解决合并文件并重命名后再用 Excel 打开。这里报告里最常见的翻车是把000000_*直接丢进 ExcelExcel 能打开但不会按字段分列。合并后别忘了加一行wc -l统计核对导出行数和 Hive 查询结果行数一致。5.5 报告答辩时的“一问就倒”只有截图没有参数和验证现象报告里贴了一大堆终端截图被问到“内存为什么设 4096”“Reducer 并行度是多少”“清洗前后行数差多少”答不上来。原因只记录了脚本命令没记录决策参数和验证口径。解决在报告每章后面加一张“参数与验证”表字段包括参数名、值、原因、影响面。比如dfs.replication1的原因写成“伪分布式只有一台 DataNode”mapreduce.job.reduces1的影响写成“单 reduce 输出保证全局有序”。一张表顶过十页截图这是把实验报告从“操作记录”升级成“完整版”的关键动作。6. 交“完整版”前的最后一道工序清空环境复现一遍报告写到最后我会强制自己做一个“清空重跑”测试目的不是检查代码能不能跑而是验证报告里每一步在干净环境下都能从头走通。具体做法分三步第一步按 5.1 的清理命令把tmp/name/data清空重新格式化并启动集群模拟一个完全没有中间产物的环境第二步逐条执行报告里的命令从hdfs dfs -put开始到hadoop jar再到 Hive 建表、导出 CSV每执行一步保留终端日志第三步对比关键数字源文件 10000 行清洗后有效记录多少Hive 汇总出来的城市总数和 MapReduce 输出行数是否一致。这一步通常能暴露两类问题一类是漏写了前置依赖比如把上传和建目录写反或者启动 yarn 的命令被误写成start-all.sh另一类是把结论建立在“上次残留的数据”上。我在完整版报告的附录里会专门留一页空表给复现结果写清楚每一阶段的行数、耗时、输出路径。整个流程走完后再用 4.4 的 Flask 接口刷新一次图表确认可视化数据跟着这次新结果变化才敢把报告交出去。养成这个习惯后课程实验报告不再是“写完”的而是“验证过”的。就像我每次答辩前都会把jps的输出和日志目录里的最近修改时间截进去让老师知道这不是一张摆拍截图。希望帮到你。本文还有配套的精品资源点击获取