做预训练的朋友应该都有同感整个流程里最花时间的往往不是模型跑起来的那一段而是数据准备阶段。尤其是规模上去之后你敢往训练集里丢多少脏数据模型就敢在后续任务上给你多少“惊喜”。大模型预训练的数据质量过滤从来不是一个锦上添花的步骤而是决定模型能力上限的关键环节。今天想分享的就是我在MindSpore生态下做预训练语料清洗和质量过滤的一套完整方案从设计思路、工程落地到参数调优和踩坑记录都会覆盖。如果你正在做大模型预训练、继续预训练或者只是想把一份乱七八糟的语料整理成可用的训练集这篇文章应该能帮你省下不少时间。先说清楚这套方案解决什么问题输入是一堆未经处理的原始文本输出是经过规则过滤、重复消除、质量打分、隐私信息剔除等步骤之后的高质量训练语料并且整个过程基于MindSpore的分布式数据处理能力跑通能在多机多卡环境下并行执行。下面我把整体设计、核心实现和实操经验分开讲。1. 为什么要做数据质量过滤1.1 数据质量与模型能力的因果链大模型预训练领域有一句流传很广的话模型的能力上限由数据决定训练只是把数据里的规律拟合出来。这句话在工程上非常写实。你会发现同样规模的模型参数量、同样的训练算力仅仅因为训练语料的清洗程度不同最终的评测分数就能拉开好几个点。原因在于Transformer架构本质上是一个巨大的统计模型它对输入分布极其敏感。你喂给它 10% 的重复文本它就会在生成时倾向于复读你喂给它大量HTML标签和URL噪声它就会学到用无意义的符号填充上下文。从因果链上看数据质量先影响训练信号的纯净度再影响梯度更新方向的一致性最后影响模型收敛后的泛化能力。脏数据相当于在损失函数里加入了大量不稳定的噪声项让优化过程在多个互相矛盾的“正确答案”之间反复横跳。我见过不少团队在模型结构、学习率调度上反复调参效果始终上不去最后把语料重新清洗一遍指标直接涨了一截。这个投入产出比远比调几个超参数来得划算。1.2 脏数据的具体危害脏数据不是一个抽象概念它带来的问题非常具体我列几个最典型的表现。第一是重复文本导致的训练退化。重复样本会让模型在训练时对同一段内容过度记忆。从优化角度看重复样本被反复抽样等价于在损失函数里放大了这部分样本的权重。大量重复会直接导致模型输出层的熵下降生成重复片段严重时甚至引发“复读机”现象。Pre-training阶段最常见的重复来源包括爬虫抓取的样板页、同一新闻稿被多个站点转载、数据集拼接时的边界重复。第二是低质量文本带来的知识污染。机器生成的乱码、没有语义的符号串、夹杂大量OCR错误的扫描文本这些内容不仅无法提供有效信号还会让模型学到错误的语言模式。比如中文语料里如果混入大量“这是测试内容测试内容测试内容”之类的占位文本模型就可能在生成时突然冒出这种无意义片段。第三是隐私和敏感信息带来的合规风险。预训练数据集里通常包含大量用户生成内容邮箱、手机号、身份证号这些信息如果直接进训练集等于让模型隐式记忆了这些数据后续对话里存在被诱导泄露的风险。第四是领域分布被噪声冲击。原始语料里某些领域的文本噪音特别大比如贴吧、论坛如果不过滤这些噪音会稀释掉真正有价值的高质量文本让模型的知识偏向发生偏移。1.3 数据集过滤要解决的四个层次单纯说“数据过滤”其实有点笼统。把需求拆开一份完整的预训练数据过滤方案至少要覆盖四个层次文本级过滤单条文本本身是否有意义是否包含有效语义信息集合级去重多条文本之间是否高度相似或重复领域级平衡清洗之后各领域的数据占比是否符合预期合规级审查是否包含隐私信息、敏感内容等不能进入训练集的东西。这四层缺一不可。只做文本级过滤而不去重模型会陷入重复样本的泥潭只去重而不做质量打分留下的文本可能都是“安全的垃圾”。好的过滤方案一定是多层组合而不是靠某一个单独的规则一梭子打完。2. 过滤方案的整体设计与思路2.1 一条完整的过滤流水线我在MindSpore场景下搭的过滤流水线分为六个阶段每个阶段职责单一方便单独调试和插拔解析和标准化把不同来源的数据统一成纯文本格式去HTML标签、去乱码、统一换行规则过滤按条长度、字符比例、符号密度、语言类别等规则快速筛掉明显无意义的文本重复消除分别做精确去重和模糊去重用MinHashLSH处理大规模近似重复质量打分用语言模型困惑度、关键词覆盖度、标点完整度等维度给每条文本打分领域平衡根据下游任务需求调整数据分布防止某个领域过多或过少隐私审查基于正则库和字典匹配剔除邮箱、电话、地址等个人信息。每个阶段输出的数据都用一份全量日志记录保留率。这样你能清楚地看到哪一步砍掉的数据最多哪一步可能误杀严重随时可以回去调整对应阶段的规则和参数。我建议你不要上来就搞一套特别复杂的过滤规则而是先跑通最小闭环把最粗糙的版本推上集群处理一遍数据再根据保留率和抽检结果迭代规则。数据清洗和模型训练一样是迭代出来的不是一次设计出来的。2.2 方案选型规则、统计、模型怎么组合关于过滤工具的选择业界常见的做法有三种纯规则、统计特征分类器、模型打分。纯规则性价比最高适合处理确定性强的场景比如长度限制、URL剔除、HTML剥离统计特征分类器比如fastText文本分类器适合判断“文本是否属于某个领域”“文本是否可读”模型打分适合做细粒度的质量评估典型如用一个小规模语言模型计算每段文本的perplexity。这三种方式不是互斥的而是成本递增、效果递增的关系。我的方案里把三者的关系设计成漏斗先用规则快速过滤掉大半明显脏数据再用分类器筛掉低质量文本最后用困惑度打分做精细化排序。绝不在第一阶段就直接上模型打分原因是模型打分需要把每条文本都过一遍推理计算成本太高。规则过滤之后剩下的文本量已经大幅减少这时再上模型打分性价比最高。2.3 保留率目标与阈值怎么定做数据过滤最怕的就是“拍脑袋定标准”。我建议先定保留率目标再反推阈值。比如你手上原始语料有 20TB而你的训练计划只需要 8TB那过滤目标就是压缩到 40%。这种情况下你可以把过滤阈值放宽一些宁可误杀也不能放过脏数据。反过来如果你需要把所有语料都用上阈值就必须收紧过滤规则要以“尽量不误杀”为原则。实际操作中我会先用一个小批量样本测试不同的阈值组合观察文本抽检质量再放大到全量。MindSpore的Dataset API支持链式操作改阈值只需要改一个参数重跑成本低非常适合这种迭代式调参。我后面会详细展示这套流程。3. 核心实现细节MindSpore上的过滤工程3.1 统一数据入口与存储格式过滤任务面对的数据源往往很杂有json导出的、有爬虫跑的、有开源数据集下载的。我的习惯是第一步先把所有来源的数据统一成同一个格式和存储介质再开始过滤操作。在MindSpore环境里这个介质我用的是MindRecord。MindRecord是MindSpore原生的数据存储格式训练时用MindDataset读取效率最高同时它支持对数据做s硬编码的schema定义可以方便地存放text、id、score等字段。数据入库这步很简单核心是把原始文本全部喂给一个FileWriter写入前顺手把编码统一掉。这一步不做什么复杂处理就做编码转换和字段抽取。我用一段简化的代码示意一下from mindspore.mindrecord import FileWriter schema { text: {type: string}, source: {type: string}, length: {type: int32}, } writer FileWriter(file_nameraw_data.mindrecord, shard_num20) writer.add_schema(schema, raw text dataset) for raw_text in read_original_data(): writer.write([{ text: raw_text.replace(\u3000, ), source: get_source(raw_text), length: len(raw_text), }]) writer.commit()这里有几个细节值得注意。shard_num决定把数据分成多少个文件会直接影响后续并行的效率一般建议设置成单机卡数的倍数。编码转换非常关键原始语料里我见过UTF-8、GBK、UTF-16混在一起的情况写入前必须统一成UTF-8否则后面做分词和过滤时会出现各种诡异的解码问题。3.2 规则过滤和文本清洗的落地写法规则过滤阶段处理的是技术上“确定有问题”的文本。我自己维护了一张规则清单每一条规则都做成一个独立的回调函数日后可以单独开关和调参。比较常用的规则包括长度规则过滤掉小于50个字或超过10000字的文本。太短的没有语言学意义太长的往往混入了多个主题字符比例规则计算中英文字符在全文中的占比如果汉字占比低于某阈值就丢弃。英文语料则反过来看英文字母比例符号密度规则统计标点符号密度正常文本的标点密度通常在一个固定区间异常高的通常是日志文件或代码片段无效内容规则过滤掉包含“test”“lorem ipsum”“占位”“测试内容”等特征词的文本连续重复规则检测是否存在连续重复5帧以上的短句比如“哈哈哈哈哈哈哈”“asdfasdfasdf”。在MindSpore里规则过滤可以放在Dataset的map操作里。每条规则写成普通的Python函数通过map作用到每一个样本上。import mindspore.dataset as ds def quality_filter(text): # 返回 None 表示丢弃实际用 map 时配合 filter 操作 if len(text) 50: return False alpha_ratio sum(c.isalpha() for c in text) / len(text) if alpha_ratio 0.3: return False if text.count() text.count() 20: return False return True dataset ds.MindDataset(raw_data.mindrecord) dataset dataset.filter(predicatequality_filter, input_columns[text])这里要强调一下规则过滤阶段宁可多写几条简单的规则也不要把几十个判断塞进一个函数里。每一条规则独立函数、独立日志、独立阈值线上出问题时才能快速定位是哪条规则误杀了好数据。3.3 去重MinHash SimHash两条路线重复文本是大模型预训练数据里最隐蔽的杀手。去重分为精确去重和近似去重两档。精确去重最简单计算每一条文本的哈希值然后set去重就行。我一般用sha256加盐的方式做速度快、绝对准确但只能去掉完全相同的文本。实际场景中大量重复不是逐字相同而是段落重复、部分句子重复。这时候需要模糊去重。模糊去重我用的是MinHash LSH局部敏感哈希方案。核心思路是把文本切分成shingle重叠的词语序列然后对每个shingle做哈希取最小的k个哈希值作为文本的MinHash签名。两个文本的MinHash签名重合比例越接近1就说明相似度越高。为了在海量数据里快速找相似还要把签名按band切分分桶索引只有至少一个band完全相同的文本才进入候选集。实现时我直接复用了datasketch库它在工程上足够成熟。关键参数是shingle大小、MinHash签名长度、band数和每band行数。我常用的组合是shingle5签名长度128分成20个band、每个band 6行。这套参数下两个文本在20个band里至少有1个band完全相同相似度门槛大概在0.8左右。如果想提高召回就增加band数或减小签名长度。SimHash是另一条路线跟MinHash角度不同。SimHash把文本向量化之后做降维投影得到64位或128位的指纹然后计算汉明距离。它适合做“相似度位于0.9以上”的高相似去重但不如MinHash好调精度。我的经验是大规模粗筛用MinHashLSH最后再用SimHash对候选集做精确的汉明距离过滤。两层嵌套下来重复文本基本无处可藏。3.4 用困惑度给语料做质量打分规则过滤能干掉明显垃圾但无法区分“正常的废话”和“高质量的信息”。这时候需要质量打分。一个非常实用的打分指标是困惑度Perplexity, PPL。它衡量的是文本是否符合语言模型预期的概率。高质量、语料风格集中的文本PPL相对较低杂乱无章、语法错乱、主题跳跃的文本PPL会明显偏高。实际实现不需要专门训练一个大模型。我直接用一个小型的、在通用语料上预训练好的模型来算每条文本的PPL就行。如果是在MindSpore上跑可以用mindspore.nn.CrossEntropyLoss搭配分词器计算。打分这一步的耗时是比较高的所以要放在规则过滤和去重之后只对保留下来的文本跑。打分之后的处理有两种思路一是硬过滤PPL高于阈值的丢二是软加权PPL低的样本在采样时给更高的权重。我在实践中更推荐第二种特别是预训练后期软加权能保留更多样本同时让模型更加聚焦高质量数据。还有一个我自己的心得单靠PPL会忽略领域信息。一个讲编程算法的技术文档和一个网络小说在同一个通用LM下的PPL差异可能很大但两类都是预训练需要的数据。所以别把PPL当成唯一的标尺最好结合领域分类器一起使用。先判领域再在领域内部算PPL这样就不会把冷门领域的高质量文本误杀。3.5 分布式跑批的性能要点数据过滤跑到TB级别单机跑肯定不行。在MindSpore场景下做分布式数据预处理核心是让IO和计算都并行起来。数据入口方面MindRecord本身支持多分片分布式读取。使用MindDataset时设置num_parallel_workers参数就能启动多个worker并行解析数据。这个参数我一般设置成物理核数的4到8倍因为数据处理任务大多是IO密集型用更多的worker能有效掩盖IO等待。对于MinHash这类计算密集的任务最直接的做法是把数据分片后分发到多机多卡上并行处理。数据切好后每张卡只处理自己那部分分片最后的结果在合并阶段汇总。MindSpore的多卡通信初始化init中设置rank_id等在这里作用不大因为过滤本身不需要梯度同步只需要数据并行计算但如果你使用了更复杂的、依赖分布式通信的去重策略可以直接复用mindspore.communication的AllReduce等算子来做全量哈希值的合并比较。性能调优最容易被忽略的是排序和去重的并发控制。MinHash的LSH索引在内存中维护数据量大的时候内存会非常紧张。我的解决办法是分桶处理先按band索引分批load候选集每个band处理完就释放内存。千万别一次性把所有band读进内存20个band全部读进去几百GB内存也不够用。4. 实操过程与关键参数记录4.1 实操环境与数据准备跑这套流程时我的环境如下给大家一个参考集群8台训练节点每节点8张Ascend 910B NPU内存512GB框架MindSpore 2.2Python 3.9原始数据约12TB的中英文混合语料来源包括网页抓取、开源数据集、技术文档等目标压缩到约5TB的高质量预训练语料。原始数据质量非常参差。网页抓取的数据里大量混着导航栏、页脚、广告代码开源数据集里则有部分英文文本和机器翻译痕迹。面对这种数据规则过滤器必须先把明显是网页模板的文本干掉。4.2 一条完整的过滤流程日志我把一次完整流程的保留率记录在这里你可以直接参考量级阶段输入规模约输出规模约保留率说明解析与标准化12TB11.5TB95.8%主要砍掉无损解压失败的损坏文件规则过滤11.5TB8.2TB71.3%砍掉短文本、高符号密度文本、模板文本精确去重8.2TB7.5TB91.5%sha256完全重复占比约8.5%MinHash近似去重7.5TB6.4TB85.3%0.8以上相似度的doc被合并PPL质量打分6.4TB5.6TB87.5%过滤掉PPL过高的噪声文本隐私与合规过滤5.6TB5.4TB96.4%主要剔除邮箱、手机号、部分敏感文本从这组数据能看到规则过滤和近似去重是砍量的大头两者合计去掉了接近一半的原始数据。剩下的保留率看着比较温和是因为我在PPL打分时采取了相对保守的阈值宁可多留一些也不要误杀领域数据。4.3 关键参数的复盘有几个参数调完之后我觉得特别值得记录。MinHash的shingle大小选择。shingle5相当于以5个连续词为一个粒度单位。这个值再调低比如3查重召回率会提高但会把一些只是话题相似、文字表达完全不同的文本误判为重复调高到8精度上去了但近似重复检测会很迟钝好多改几个字就发的重复文章逃过过滤。最终在中文语料上5到6之间的效果最均衡。PPL阈值的选择。我用小规模LM对文件里被打分为“高质量”和“低质量”的样本各抽了1000条人工看了一遍之后把阈值定在处理后分布的中位数偏右的位置。这里给不出一个通用的数字因为不同模型、不同分词器算出来的PPL范围完全不同。最好的做法是每次调整后都抽检形成“调参-抽检-再调”的闭环。band数的选择。20个band每个band6行共120维的MinHash签名。band越多越容易找到候选重复对但误判率也越高。如果内存宽松可以多设band如果内存紧张我建议把band数固定为20把每band行数从6改成8相似度门槛就会被抬高候选集变小RAM占用下降只是漏过一部分相似度在0.7-0.8之间的重复。5. 常见问题与排查技巧实录5.1 过滤太狠高质量数据被误杀最常见的问题就是规则过严导致领域数据受损。有一次我把标点密度规则设得太严格结果一大批古文语料被误杀。古文的标点本来就少但文本质量并不低。排查发现某个阶段保留率异常低一抽检全是正常的文言文段落。解决办法是给规则加白名单机制。在过滤函数里增加一个“领域识别”的前置判断如果文本命中某个高质量领域的关键词集合就跳过部分符号密度类的规则。代码层面就是把规则做成可配置的一部分规则对所有文本生效一部分规则只对特定类型生效。5.2 近似重复漏检MinHashLSH的漏检几乎都是参数问题。出现过一次情况某个新闻源把同一篇文章改了标题和首尾段就重新发了一遍中间大段内容一字不变。因为我在计算shingle时把标点符号也带了进去少量改写导致shingle分化严重LSH没能召回。后来我换了一个思路在做shingle之前先做轻量归一化把全角标点转半角、统一空白符、去掉所有数字然后再切shingle。这样能容忍改数字、改标点这类低成本的改写近似重复的召回率明显提升。5.3 跑批速度太慢数据过滤跑批慢90%的情况出在IO上。MindRecord文件如果随机读取碎片化严重会导致缓存命中率极低。我的优化动作有几个数据集文件在写入时按大小排序大文件优先减少小文件带来的调度开销预处理阶段把文本长度排序后再存MindRecord这样同长度范围的文本会让内存页缓存更友好跑过滤时给MindDataset加上num_parallel_workers和prefetch_size这两个参数一个提升并行度一个增加预取缓冲值得反复调。5.4 数据分布失衡过滤之后数据分布往往和原始语料分布不一致。原因是一些低质量来源被整体端掉后原本占比小的领域又被连带过滤了一部分。这种情况下我不会重新设计整个过滤流程而是在过滤之后的迷你批次采样阶段做权重修正。具体做法是按领域标签统计数量根据目标分布计算每条文本的过采样权重写入MindRecord的score字段。训练时采样按score加权。这样数据过滤阶段不需要妥协照样可以严格清洗最后由采样层来平衡分布。5.5 从预训练到微调的一鱼多吃这套过滤好的数据不只用于预训练。微调阶段准备SFT数据时我经常从过滤后的语料里抽取领域相关的高质量片段作为底座再配合人工标注数据一起混入训练集。这样比直接拿原始语料做微调数据要稳很多毕竟这堆数据已经过了一层质量背书。回到整个方案数据质量过滤是大模型训练这条链路里投入产出比最高的一环。每次觉得模型训练效果不对劲我都会先回看数据集本身而不是急着动模型结构。用MindSpore把这套流程工程化之后数据准备从原来干一周的活压缩到不到一天而且每一步可复现、可审计。下一步我打算在过滤流程里接入更细粒度的语义质量评估模型把目前基于PPL的粗粒度打分再往下压一层在清洗阶段就把语义冗余与知识重复的部分做掉。但那些后续再说先把眼前这批语料跑干净才是正经事。