说实话刚看到“第6次作业”这个题目的时候我还没当回事以为跟前五次一样把课上讲的知识点复现一遍就行。等真正做完才发现这次作业跟前面完全不是一个量级它考的不是“你会不会调库”而是“你拿到一堆乱七八糟的数据之后能不能按一个清晰的思路把它收拾明白”。这篇就记录一下我这轮用 pandas 做数据清洗、再用 matplotlib 做可视化输出的完整过程包括我怎么拆题、怎么写代码、踩了哪些坑最后又是怎么把自己从坑里捞出来的。如果你也在学数据分析或者正在为类似的作业发愁这篇应该能帮你省下不少时间。1. 拿到题目后的拆解思路1.1 这题到底想考什么先说说题目本身。这次作业给了一份模拟的销售订单数据大概两千多条记录字段有订单编号、下单日期、商品分类、销售额、利润、地区、销售渠道这些。要求也不复杂清洗数据、做销售额和利润的维度分析、最后用图表把结论表达出来。乍一看任务清单就三条但真正做下来你会发现坑全藏在数据里。比如日期格式不统一有的写“2024/5/12”有的写“2024-05-12”还有几条直接是空的比如销售额这一列里混进了几个文本型数值pandas 读进来直接变成 object 类型再比如同一张订单被录了两次金额却不一样。这些问题你在编辑器里看不到只有开始跑 sum() 或者 groupby() 的时候才会突然炸出来。所以我的第一个动作不是写代码而是先问自己这次作业到底想让我证明什么我的判断是它想考察三件事——能不能主动发现脏数据、能不能用合理的逻辑处理脏数据、能不能让分析结果支撑一个明确的业务结论。搞清楚这三点后面所有的代码都是围绕它们展开的。1.2 我先搭了根分析主线拆完考点之后我给自己定了一条主线问题定义 → 数据检查 → 数据清洗 → 指标计算 → 可视化 → 结论输出。这个顺序看起来死板但实际操作中特别管用因为每走一步我都会停下来问自己“这一步做完下一步的数据能不能直接用”。如果答案是否定的就回头补处理步骤而不是硬着头皮往下写。我还做了一张小表把整份作业拆成一个个可验收的小任务方便对进度阶段目标验收标准数据检查摸清数据全貌能说清每个字段的类型、缺失量、重复量数据清洗让数据“能用”无缺失值、无重复记录、字段类型正确指标计算得到核心结论数据每个维度的销售额、利润、利润率都有值可视化把结论“画”出来每张图对应一个明确的业务判断报告整理让别人看得懂图和结论一一对应有解释有建议这张表帮了大忙。因为作业是一口气给的很容易写着写着就陷进“我要把所有字段都分析一遍”的误区。有了这条主线我就知道自己什么时候该停什么时候该深入。后面每一小节的实操本质上都是在给这条主线填空。2. 数据清洗是绕不过去的坎2.1 缺失值处理先说缺失值。我检查之后的缺失情况不算严重主要集中在“销售渠道”和“利润”两列。当时我有两个选择一是把缺失行直接 drop 掉二是按业务逻辑填充。我最后选择了混合方案。订单日期缺失了三条这些记录既不知道什么时候下的单也没法做时间趋势分析留着只会污染结果所以我直接删了。但“销售渠道”是分类字段缺失了十几条删除会影响各地区渠道占比的计算于是我用众数填充也就是统计其他正常记录里出现次数最多的渠道来顶替。这样虽然不能说百分百还原真实情况但在后续分析里至少不会让整行数据作废。“利润”字段的缺失就比较头痛了因为它是后续计算利润率的核心。我先是看缺失的那几行销售额是多少发现都有完整的销售额记录于是我尝试用同商品分类的平均利润率去估算。这个思路的前提是同品类商品的利润率波动相对稳定用均值去补比直接删掉整行更能保留样本量。补完我还特意画了个填充前后的利润分布对比确认没有出现离谱的极端值。import pandas as pd df pd.read_csv(sales_data.csv, encodingutf-8) print(df.isnull().sum()) # 删除日期缺失的行 df df.dropna(subset[下单日期]) # 渠道缺失用众数填充 df[销售渠道] df[销售渠道].fillna(df[销售渠道].mode()[0]) # 利润缺失按商品分类的平均利润率估算 avg_profit_rate df.groupby(商品分类).apply( lambda g: (g[利润].sum() / g[销售额].sum()) if g[利润].sum() ! 0 else 0 ) for idx in df[df[利润].isnull()].index: cat df.loc[idx, 商品分类] df.loc[idx, 利润] df.loc[idx, 销售额] * avg_profit_rate[cat]这段代码逻辑其实很朴素难点不在写而在判断“该不该这么处理”。我个人的心得是填充前先想想这个字段在后文里怎么用如果只是凑字段完整度用最简单的方式就行如果它是计算核心就得想清楚填充方式会不会带来系统性偏差。2.2 重复值与异常值筛查重复值这块我一开始天真地以为直接用 drop_duplicates() 就完事了。实际操作才发现如果按整行去重很多重复行因为某个字段有一点点差异根本不会被识别出来。我后来改成按“订单编号 商品ID”去重才把真正重复录入的订单找出来。这里有一个很关键的细节去掉重复记录之后我顺手对比了一下去除前后的总销售额如果差异巨大说明重复的影响比想象中大。异常值筛查我分了两个维度。第一是数值范围用 describe() 看一下销售额和利润的最大、最小值找出那些明显不合常理的负利润或者销售额为零的记录。利润为负是可以理解的说明这笔订单亏了保留但销售额为零还配送了商品这种大概率是测试数据我直接删了。第二是类型异常比如销售额列里面有文本值“3,200”或者“¥800”这种混入会让 pandas 把它读成 object 类型计算时直接报错。# 按关键字段去重 df df.drop_duplicates(subset[订单编号, 商品ID]) # 检查字段类型 print(df.dtypes) # 销售额转数值去掉逗号和货币符号 df[销售额] df[销售额].astype(str).str.replace(,, ).str.replace(¥, ) df[销售额] pd.to_numeric(df[销售额], errorscoerce) # 删除销售额为空的异常记录 df df.dropna(subset[销售额]) df df[df[销售额] 0]这一轮处理下来数据从两千多条变成了大概一千八百多条少了将近两成的无效记录。一开始我还心疼觉得数据少了是不是分析结果就不准了。后来想明白了脏数据混在里面结果才是真的不准宁缺毋滥。3. 核心指标计算与业务含义对标3.1 基础指标计算清洗完数据接下来就是算指标。这里的核心字段就是销售额、利润、利润率。我用了 groupby 按“商品分类”汇总把每个品类的总销售额、总利润算出来再新增一列利润率等于利润除以销售额。这里有个容易忽略的细节利润率应该用“利润总额 / 销售额总额”而不是先算每一行的利润率再取平均。因为每一单的销售额基数不同简单平均会被小额订单带偏。举个例子A 订单销售额 100 块利润 50B 订单销售额 10000 块利润 200如果按行算平均利润率是 125%明显失真按总额算则是 2.47%这才是真实水平。summary df.groupby(商品分类).agg( 销售额(销售额, sum), 利润(利润, sum), 订单数(订单编号, nunique) ).reset_index() summary[利润率] summary[利润] / summary[销售额] summary summary.sort_values(销售额, ascendingFalse) print(summary)算完之后我立刻发现了一个很有意思的现象销售额最高的品类利润率反而不是最高的。销售额排名第一的电子配件类利润率只有 6% 出头而销售额排名靠后的办公耗材类利润率能到 18%。这个反差直接成了后面分析报告的抓手也让整份作业从“罗列数据”变成了“讲一个业务故事”。3.2 维度拆解与对比逻辑光有总览还不够作业明确要求做维度分析。我选了“地区 × 销售渠道”这个交叉维度因为这两个字段能回答一个很实在的问题哪个地区的哪个渠道最赚钱以及它们的组合是不是稳定的。我用了 pandas 的 pivot_table行是地区列是销售渠道值是销售额和利润的汇总。这里提醒一点透视表输出之后如果渠道列有很多 NaN千万别急着补 0。先想清楚 NaN 代表的是“没有这个渠道的业务”还是“有业务但没数据”。如果是前者补 0 会让人觉得这个组合实际存在但业绩为零反而误导结论。pivot_sales pd.pivot_table( df, index地区, columns销售渠道, values销售额, aggfuncsum, fill_value0 ) print(pivot_sales)做完交叉分析我又顺手比较了“季度”这个时间维度的趋势。按季度聚合后我发现第四季度的销售额明显高于其他三个季度但利润率却没有同步上升。这说明第四季度很可能在用打折促销换规模毛利被压薄了。这个结论如果单独看销售额或者单独看利润是看不出来的必须强制自己把两个指标放在同一张表里对齐看。到了这一步我已经不再觉得自己是在“写作业”了而是真的像一个分析师在研究业务盘子哪里出了问题。这种心态的转变是我做完这次作业最大的收获。4. 可视化让结论自己说话4.1 图表类型怎么选数据分析做了半天最终还是要靠图表来呈现。我最开始犯过一个典型的错误什么图都想用结果图很多、信息很散。后来我给自己定了个规矩——每张图只回答一个问题选图之前先问自己“这个问题的答案是排名、占比还是趋势”排名类问题我用了横向条形图比如各品类销售额排行横向排布方便读者把条形的长短跟数字对应起来。占比类问题我用饼图的变体——其实就是带百分比的环形图用来表达各渠道的销售额贡献。趋势类问题我用折线图展示季度销售变化。这里给个建议别一上来就照搬课程示例里的样式。可以先用默认样式快速画一版确认数据对应关系没问题然后才去调颜色、调字体、调坐标轴范围。先把逻辑跑通再管好不好看这个顺序能避免你在调样式上浪费大量时间。4.2 中文字体、标签与颜色细节matplotlib 默认的字体不支持中文这是所有初学者都躲不开的坑。第一次画图图上的标题和坐标轴标签全变成了方块。当时我第一反应是“完了数据没加载对”后来才意识到是字体问题。解决办法其实很简单网上翻来覆去就是那两招指定一个中文字体或者利用系统里已有的字体。我用的是前者在代码开头就把全局字体设置为系统中存在的“Microsoft YaHei”也就是微软雅黑再配合设置负号显示不然坐标轴的负数也会变成方块。import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [Microsoft YaHei] plt.rcParams[axes.unicode_minus] False字体搞定之后我踩的第二个坑是标签重叠。品类名称很长竖着排列在 x 轴上会挤成一团我把条形图改成横向彻底避开这个问题。还有一版饼图的小百分比标签叠在一起分不开解决方案是把数值较小的类别合并成一个“其他”项只保留前五个主要类别饼图瞬间干净了很多。在颜色上我也吸取了教训。不要用好几组饱和度极高的颜色堆在一张图里一眼看上去像调色板翻了。我最后用的是一组渐变色调从深到浅表达数值从大到小图例也不需要额外解释谁都能看懂。这是我这次作业里最满意的一个细节因为它真正做到了“让数据自己说话”。5. 提交前的检查清单与踩坑实录5.1 五步自检清单作业写完之后我没有急着交。我花了差不多一晚上做自检把报告从数据到图表、从结论到排版过了一遍又一遍。这里跟大家分享我固定下来的五步自检流程基本每次做分析类项目都用得上第一数值抽查。随机挑两到三条原始记录手算它的金额和利润率跟代码跑出来的结果对比。这一步是为了确认清洗和计算的逻辑没有在执行中偷偷出错。第二图表标题是否完整。每张图的标题要能独立看懂不能只写“销售额分布”要写清楚时间范围、数据口径和单位。第三结论是否有数据支撑。每一句结论旁边必须能指到一张图或者一张表答不上来的结论直接删。第四排版顺序是否服务阅读。先摆最重要的结论再摆支持性的证据图表之间要有逻辑递进。第五代码可复现性。把整个脚本从头跑一遍确保不依赖临时状态换一台空环境也能出同样的结果。5.2 三个高频坑除了自检我还想聊聊这次作业里遇到的最典型的三个坑这几个坑几乎每个做 pandas 作业的人都会碰到。第一个是 inplace 参数问题。早期版本和部分习惯用法里修改 DataFrame 时写上 inplaceTrue 会原地修改不写则不会。但新版 pandas 里很多方法开始警告甚至废弃 inplace我一度因此产生幻觉觉得“我明明执行了 dropna为什么数据没变”。后来养成了习惯所有修改都显式地重新赋值给变量比如df df.dropna()再也不依赖 inplace调错的时候就舒服多了。第二个是 datetime 类型转换。下单日期这一列在导入后是字符串直接取df[下单日期].dt.quarter会报错。我一开始没转类型就跑去聚合报错了半天。转换代码其实就一行pd.to_datetime(df[下单日期])但是转换之后一定要再次确认 dtypes因为如果列里混着特殊格式转换会失败并直接变成 NaT而 NaT 会被很多计算默认忽略很容易造成结果悄悄不对。第三个是 groupby 后的索引陷阱。用 groupby 算完指标后结果是一个以分组字段为索引的 DataFrame很多人在这一步直接用df[销售额]去取列却发现报 KeyError。其实此时应该先 reset_index() 把索引变回普通列或者用.loc方式访问。这个坑不大但第一次遇到时能卡住半天。提示数据分析作业里真正拉开差距的不是谁会用哪个库而是谁能在出错时快速定位问题。我的经验是遇到报错先别慌着改代码先打印出df.dtypes和数据的前几行看清楚数据长什么样子再决定改哪里。踩过这三个坑之后我最大的体会是报错不可怕可怕的是数据“看起来没问题”但结果一算就是不对。所以后来我养成了一个“每改一步就 print 一下”的习惯虽然过程啰嗦了一点但能保证每一步都走扎实。这次作业做完我一度把自己的代码和数据文件反复看了好几遍确认所有结论都能在原始数据里找到依据。整个过程下来我最有成就感的一个瞬间不是画出那张漂亮的条形图而是在自检时发现自己补完缺失值后的利润率分布没有出现明显的整体偏移。那一刻我才意识到真正的分析能力不在于会写多少行代码而在于你对每一步处理都心里有底。最后再分享一个小技巧把整个项目的成果整理成一个 Markdown 报告图表嵌入、结论随手跟上代码作为附录贴在后头。这样既方便你回看自己当时的思路提交之后别人看起来也清清楚楚。下次再做类似的分析你也只需要把这条流水线重新跑一遍换一份数据就能用。这是我做完第6次作业之后给自己的一个明确约定。