第二次作业终于交上去了。这学期选修的数据分析课老师留的第一次作业还只是基础语法练习第二次就直接跨到真实业务数据把一份两万多行的销售明细清洗干净再做可视化最后给出三条业务结论。说实话刚看到题目时我有点发怵因为前面的知识点大多是上课听懂了真到动手写代码、对着脏数据一步步调完全是另一回事。这篇帖子不是标准答案是我完成这次作业的完整记录选题思路、清洗代码、可视化选择逻辑以及我踩过的几个花式坑。如果你也在做类似的数据分析作业或者只是想把手头一份乱糟糟的表格整理成能上台面的分析报告这篇内容可以直接拿来“抄作业”但建议你理解每一步的为什么因为下次换个数据坑还是会出现的。1. 项目背景与整体设计先把题目拆明白1.1 作业要求到底在考什么老师给的题目很简短提供一份名为sales_detail_2023.csv的销售明细表要求完成数据清洗、可视化分析并输出结论最终提交一份约 800 字的分析报告加上代码文件。数据集大概是 2.1 万行字段有订单号、下单时间、支付时间、用户 ID、商品类目、商品单价、销量、总金额、支付方式、收货省份、收货城市、门店渠道一共 12 个字段。很多人拿到这种题目就急着df.head()然后赶紧画图。我吃过类似的亏所以这次先花了半小时把需求拆成了四层拆分层级具体要交付什么老师潜在的评分点数据质量缺失值处理、重复值处理、时间格式统一、异常值判断清洗逻辑是否可解释而不是粗暴 dropna分析深度至少 3 个维度的可视化并能体现业务洞察图表是否服务于问题而不是装饰表达能力结论需要和图表对应结论之间有逻辑关系有没有用自己的话讲清楚“发生了什么”代码规范代码结构清晰有注释可复跑变量命名、运行环境、随机种子等细节拆完之后我意识到这道题表面考 Pandas实际考的是“你能否像分析师一样交付东西”。数据清洗不是炫技是为了让后续分析站得住脚可视化不是把每种图都画一遍是为了回答具体问题。带着这个目标去写代码效率高很多。1.2 为什么选这个数据而不是去爬新数据班里有一部分同学嫌这个数据集太小或者太“普通”自己去网上爬了电商评论、租房价格等数据。我一开始也动过这个念头但仔细想了一圈还是用了老师给的原始数据。理由很实际第一作业给的数据一定会有“设计过的脏”比如某些时间的支付时间缺失、类目字段存在空格和大小写混用、地区字段有繁体或者错别字。这些坑都是故意埋的就是为了让你展示清洗能力自己爬的数据反而未必有这么多典型问题。第二省下搞数据采集的时间可以把精力放在分析链条的完整性上。一份两万行的销售明细已经足够支撑按月趋势、类目对比、区域分布这三条分析线。我用的是本地 CSV不需要联网也不涉及任何隐私问题代码在任何人机器上都能跑通这对交作业来说才是最稳妥的。所以这里有个小建议做作业和做项目的目标不一样作业最重要的是把知识点完整走一遍而不是追求数据集多炫酷。你把一个普通数据集分析到清楚明白比拿一个高端数据集但只能画两张粗糙的图要好得多。2. 数据清洗的核心细节每一行代码都要有理由2.1 第一步别急着处理先“体检”拿到数据的第一件事不是清洗而是“体检”。我通常会跑四行命令先把数据集的形状、类型、缺失、重复摸清楚import pandas as pd df pd.read_csv(sales_detail_2023.csv, encodingutf-8) print(df.shape) print(df.info()) print(df.isna().sum()) print(df.duplicated().sum())这一步输出的信息量非常大。df.shape告诉你这是 21000 行 12 列的表格df.info()会暴露每一列的数据类型比如订单号是不是被读成了 int、下单时间是不是 object 字符串、支付方式是不是 categorydf.isna().sum()按列给出缺失数量你能一眼看出哪些字段缺失严重df.duplicated().sum()则告诉你完全重复的行数。我当时看到的结果是支付时间有 320 个空值收货省份里有 15 个空值完全重复的行有 46 行订单号出现了几次重复但其他字段不同的情况。这些都是后续要处理的对象。这里我想强调一个观念清洗不是把空值全部填掉或者删掉而是先判断“为什么这个字段会是空”。支付时间为空可能是用户下单后未支付也可能是系统漏记录两者业务含义完全不同。所以我最终的方案是支付时间缺失的行保留但新增一列is_paid标记是否完成支付收货省份缺失的行占比极小直接按众数填充更合适。这两个决策都写进了作业报告的解释里至少让老师知道我不是无脑处理。2.2 时间字段的“时间魔法”销售数据里最关键的维度通常就是时间所以时间格式必须统一。我第一次直接pd.to_datetime()的时候报了错因为原始数据里有类似2023/01/05 08:23:10和2023-01-05T08:23:1008:00两种格式还有个别数据写的是2023.01.05。统一时间格式的代码可以这样写df[下单时间] pd.to_datetime(df[下单时间], formatmixed, errorscoerce) df[支付时间] pd.to_datetime(df[支付时间], formatmixed, errorscoerce)formatmixed是 2.0 之后 Pandas 提供的能力会自动推断多格式混合的时间字符串非常省事。errorscoerce的意思是解析失败的记录变成NaT这样不会因为个别脏数据让整个代码崩溃。处理完原始时间字段后我又顺手构建了三个分析辅助列df[下单日期] df[下单时间].dt.date df[下单月] df[下单时间].dt.to_period(M) df[下单小时] df[下单时间].dt.hour这三个字段分别用于日粒度、月粒度和小时粒度的分析。这里的逻辑是原始时间戳精度太高直接画图会有很多毛刺必须先做下钻。比如我后续要画出“2023 年每月销售额趋势”如果不对时间做按月聚合根本没法做。所以清洗阶段不是把数据变“干净”就完事了还要把数据变成“适合分析的形状”。在时间处理上有一个容易被忽略的问题时区。原始数据里既然有08:00这种偏移量说明可能存在跨时区问题。我的处理方式是统一转成东八区时间之后再提取小时否则不同时区的小时分布会互相污染。代码是df[下单时间] pd.to_datetime(df[下单时间], utcTrue) df[下单时间] df[下单时间].dt.tz_convert(Asia/Shanghai)2.3 异常值不是“删掉”就完了异常值处理是这次作业里最容易翻车的地方。比如我看到总金额字段最大值为 999999 元明显是测试数据又看到销量字段有负数显然不合逻辑。但处理它们之前我先做了一件事给“异常”一个可解释的标准。我用的是两种方式结合。第一种是业务规则判断销量必须大于 0单价必须在 0.01 到 100000 之间总金额不能为负数。任何违反这些规则的数据我都认为是录入错误或者测试数据直接剔除。第二种是统计学方法对总金额做分位数描述。print(df[总金额].quantile([0.01, 0.25, 0.5, 0.75, 0.99]))我看到 99% 分位数是 1288 元但最大值是 999999 元。这种情况下我不会用 IQR 公式机械地去删所有超过上界的值因为电商大额订单是真实存在的比如企业采购几百件商品完全可能超过 5000 元。我最终的规则是只剔除总金额大于 5000 元的 17 条记录并备注这些极值可能是测试数据或拼写错误。这样处理的好处是既不误伤真实业务又能避免极端值把月度趋势图拉垮。总结一下异常值处理的三个原则是业务规则优先于统计规则删除前先看看数量占比所有删除动作都要在报告里交代清楚。这三点做到数据预处理的部分基本就能拿到比较高的分数。3. 实操过程与核心环节实现从清洗到分析全流程3.1 完整数据清洗流程代码骨架下面这段是我最终作业里用的清洗主体代码我把它整理成可以直接复用的格式。你运行的时候把路径改成自己的文件就行。import pandas as pd import numpy as np df pd.read_csv(sales_detail_2023.csv, encodingutf-8) # 1. 去除完全重复行 df df.drop_duplicates().reset_index(dropTrue) # 2. 删除冗余列这里没有冗余列但如果有 ID 列通常会建议保留而非删除 # df df.drop(columns[Unnamed: 0]) # 3. 统一时间格式 df[下单时间] pd.to_datetime(df[下单时间], formatmixed, errorscoerce) df[支付时间] pd.to_datetime(df[支付时间], formatmixed, errorscoerce) # 4. 缺失值处理支付时间缺失标记为未支付 df[is_paid] df[支付时间].notna().astype(int) # 5. 收货省份缺失用众数填充 province_mode df[收货省份].mode()[0] df[收货省份] df[收货省份].fillna(province_mode) # 6. 剔除异常值业务规则 df df[(df[销量] 0) (df[单价] 0) (df[总金额] 0)] df df[df[总金额] 5000] # 7. 辅助时间字段 df[下单日期] df[下单时间].dt.date df[下单月] df[下单时间].dt.to_period(M) df[下单小时] df[下单时间].dt.hour print(f清洗后数据规模: {df.shape}) print(f缺失值情况:\n{df.isna().sum()})清洗后数据从 21000 行变成 20412 行缺失值全部处理完毕。关于为什么要把支付时间的缺失转成is_paid标记而不是直接删除因为未支付订单也是业务的一部分后续如果要分析转化率这个字段会有用。作业报告里我只画了已支付订单的销售趋势图因为未支付订单没有总金额的意义但保留标记可以让后续更复杂的分析有数据基础。3.2 三张图怎么选、怎么画老师说至少三张可视化图很多同学直接画了折线图、柱状图、饼图、散点图各来一张但图与图之间没有关联。我这次选了三个维度它们共同回答一个核心问题2023 年这个渠道的销售到底靠什么拉动第一张图是月度销售趋势折线图。它回答的是“时间维度上销售怎么变化”。我按月聚合总金额得到 12 个月的销售额然后画一条折线。画折线图有一个细节不要直接用默认索引作为 x 轴最好把月份转成字符串否则图形会带着奇怪的间距。代码大概是monthly df.groupby(下单月)[总金额].sum().reset_index() monthly[下单月] monthly[下单月].astype(str)第二张图是类目销售额 Top10 柱状图。它回答的是“哪几类商品贡献最大”。我按商品类目聚合总金额取前 10 名画横向柱状图。横向柱状图的优势是类目名称不会挤在一起阅读体验好很多。第三张图是“省份 × 小时”热力图。它回答的是“时间和地域叠加起来有没有规律”。这张图稍微复杂一点需要先做透视表再画热力图hour_prov df.pivot_table( index下单小时, columns收货省份, values总金额, aggfuncsum, fill_value0 )需要注意的是透视表不需要把 31 个省份全放进去我选了销售额最高的 10 个省份这样热力图才不会变成一团黑。三张图选完之后我自己检查了一遍每张图是否都能指向一个业务判断。折线图看到了 6 月和 11 月两个高峰对应大促节点柱状图发现数码配件类目销售额稳居第一热力图发现北方省份的订单集中在晚 8 点到 10 点南方省份相对平均。这三个发现再串联起来就构成了分析报告的主干。3.3 图表外观设置的 4 个关键参数第一次跑图的时候我的图表丑得像 Excel 默认样式。后来花了半小时调整参数效果立刻不一样。这里列几个最值得记住的设置import matplotlib.pyplot as plt import seaborn as sns plt.rcParams[font.sans-serif] [SimHei] # 解决中文乱码 plt.rcParams[axes.unicode_minus] False # 解决负号显示成方块 sns.set_theme(stylewhitegrid) # 统一风格 plt.figure(figsize(10, 5)) # 控制画布大小figsize是很多人忽略的点。Jupyter 默认画出来是 6×4 英寸图例一多就挤成一团。我通常折线图和柱状图用(10, 5)热力图用(12, 7)。另外颜色方面我用的是 Seaborn 自带的sns.color_palette(muted)比默认颜色柔和很多。字体这个坑我后面会专门说这里先放一句如果你用的是 Linux 服务器跑代码SimHei大概率不存在需要提前安装中文字体或者指定系统已有的字体路径。3.4 分析报告怎么写才不空洞作业要求最后交一份 800 字左右的报告但光放图不给结论肯定不行。我写报告时遵循了一个结构背景与数据说明 → 数据清洗步骤 → 可视化分析 → 业务结论与建议。其中业务结论是老师最爱看的部分也是很多同学最不会写的部分。大部分人的结论写成“销售额在 6 月和 11 月达到峰值”这是废话。稍微好一点的版本是“6 月和 11 月的销售额峰值很可能与平台大促有关说明该渠道销售对促销节点敏感”。更好的版本是在前一句基础上给出建议“建议在 5 月中旬开始备货特别是数码配件品类6 月其销售额环比增长 162%需要提前规划库存。”我最终写的三条结论分别是促销节点对销售额拉动明显其中数码配件类目弹性最大夜间订单主要来自一线城市和新一线城市客服排班可以据此优化华东和华南地区整体销售额领先但西北地区客单价更高说明达标客户相对独立。这三条结论都基于图但又比图多走了一步提出了可操作的动作。4. 常见问题与排查技巧实录这次作业踩过的坑4.1 高频问题速查表问题现象可能原因解决办法中文字体显示为方框系统缺少对应字体plt.rcParams[font.sans-serif] [SimHei]或安装中文字体pd.to_datetime报错时间字符串格式不统一使用formatmixed配合errorscoerce读取 CSV 报编码错误文件不是 UTF-8尝试encodinggbk或encodingutf-8-sig分组计算后索引丢失没使用reset_index()分组后加上.reset_index(dropTrue)或保存为新变量热力图颜色全是一个色数据量级差异太大透视表填充 0或者对数据做np.log1p转换图表输出空白没调用plt.show()绘图代码最后加plt.show()这些是我自己在两次作业里反复遇到的。其中编码错误最容易出现在 Windows 环境下因为 Excel 保存的 CSV 常常是gbk编码。我的检查顺序是先试utf-8报错就换utf-8-sig再报错就换gbk一般都能解决。4.2 我踩过的三个花式大坑第一个坑出在df.groupby()之后。我直接把分组结果赋值回df然后去做可视化结果报错 KeyError。原因是groupby默认会把分组键变成索引如果我只这样写monthly df.groupby(下单月)[总金额].sum()那么monthly[下单月]是取不到列的因为你压根没有这一列。正确做法是加reset_index()。这个问题看起来简单但每学期都会坑一批人。第二个坑是数据里的“重复订单号”。我以为主键是订单号后来发现同一个订单号可以对应多行明细比如一个订单包含三个商品。所以判断完全重复行时不能用订单号而是要用整行所有字段一起比较。我写第一版代码时用了df.drop_duplicates(subset订单号)直接把 4900 多个多商品订单给删了幸好交作业前重新读了一遍需求发现自己理解错了。这里也提醒你清洗前一定要先弄明白“哪几个字段组合起来才是唯一的一行”。第三个坑是绘制热力图时数据量级差异过大。我最初用原始金额画“省份 × 小时”热力图结果 6 月大促那天的极高峰值把整个色带拉得很宽其他时段全变成深蓝色根本看不出差异。后来改用np.log1p(总额)做转换色带分布才均匀。这个技巧在处理分布跨度大的数据时特别有效。4.3 如果你想拿高分额外做这几个小优化完成基本要求之后我做了三件小事让作业整体质感高了一截。第一件是把清洗后的数据导出成一个新文件sales_cleaned.csv并在报告里写明原始数据和清洗后数据的差异对比。这相当于告诉老师我的清洗流程是可复现的不是写几行代码做做样子。第二件是给报告加了“数据质量说明”里面写清楚每一类缺失值和异常值的处理逻辑以及影响的行数。比如我写了“支付时间缺失 320 行占 1.5%考虑到支付时间缺失与支付行为直接相关因此保留并用 is_paid 标记”“总金额大于 5000 元的记录共 17 条占 0.08% 判定为测试数据并剔除”。这个小节能大幅减少老师对清洗逻辑的疑问。第三件是设置随机种子并保持运行环境稳定。虽然这次作业没有涉及随机采样但如果后续用到train_test_split或者sample()固定随机种子能保证作业在不同时间运行的结果一致。代码里写一行np.random.seed(42)看起来只是个细节却代表了你对可复现性的意识。5. 写在最后的个人体会按我自己的经验做任何一门课的作业最有价值的往往不是最后交上去的那份成果而是中间绕弯路的过程。从一看到 2 万行销售明细就发怵到能对着info()的输出快速判断处理顺序这种熟练度靠的是在一遍遍报错、搜索、修复中积累出来的。另外有一点想专门说不要迷信“一行代码解决所有问题”。网上确实有很多教程写“用一行 dropna 清掉所有缺失值”但放进真实作业里这种操作通常拿不到高分因为你没有展示判断力。老师想看到的是你会不会针对不同情况给出不同方案而不是只会用最粗暴的删。数据清洗这件事处理和舍弃之间隔着一层业务理解的差距。最后再分享一个小技巧交作业前把代码从头到尾跑一遍并且把中间结果都打印出来看哪怕只是形状(20412, 12)这样简单的一行也能帮你抓住 90% 的隐藏 bug。跑过一次之后再修改报告里的数字保证正文和输出一致这个习惯无论以后是做课程大作业还是写项目文档都相当管用。下一次作业如果换个数据集我大概率还是会用今天这套“先拆需求、再做清洗、然后画图配结论”的流程只是会比这次淡定得多。