一、数据清洗1、基础知识1.1 数据清洗的用途爬虫获取的原始数据往往存在各种问题HTML标签残余空格换行不一致编码混乱格式不一致有缺失值这些问题如果不解决将会影响后续的数据分析与挖掘工作。数据清洗是整个爬虫项目不可或缺的一环其决定了最终数据的质量。数据清洗不是一次性工作而是需要根据实际需求分析需求反复迭代的过程。1.2 常见数据问题与解决方案问题一多余空格和换行字符串前后的空白字符是爬虫数据中最常见的问题。使用 str.strip() 能够去除首尾空格df[name] df[name].str.strip()问题二HTML标签残留从网页直接提取的文本可能包含未解析的HTML标签使用正则表达式可以清除它们df[content] df[content].str.replace(r[^], , regexTrue)问题三提取数字或特定格式有时需要从混合文本里提取出特定的信息比如从“666元”里面提取数字df[price_num] df[price].str.extract(r(\d))[0].astype(float)问题四文本格式不统一对于城市名称有时需要大小写进行区分因此需要进行 upper、title 或 lower 等操作df[city] df[city].str.title() #首字母大写其余小写df[city] df[city].str.upper() # 全部大写df[city] df[city].str.lower() # 全部小写1.3 缺失值处理现实数据里面往往会有缺失值NaN的出现因此需要对其进行相关处理方法说明适用场景df.fillna(value)使用指定值进行填充缺失缺失有明确的含义df.dropna(value)删除包含缺失值的行缺失数据较少时df[col].fillna(mean)用均值/中位数填充数值型字段# 查看每列的缺失值数量 df.isnull().sum() # 用0填充缺失值 df.fillna(0) # 删除有缺失值的行 df.dropna() # 用均值填充数据型缺失值 df[score].fillna(df[score].mean())实战建议先使用df.isnull().sum()了解缺失情况再决定处理策略。如果某列缺失率超过50%通常考虑删除该列而非填充。1.4 数据类型转换有时需要提取数据类型不符合预期例如有时需要数字类型但爬虫数据是字符串类型# 转换为数值型 df[age] pd.to_numeric(df[age], errorscoerce) # 转换为日期型 df[date] pd.to_datetime(df[date], errorscoerce) # 转换为字符串 df[phone] df[phone].astype(str)注意errorscoerce参数会在转换失败时将值设为NaN而不是抛出异常这是处理脏数据的好帮手