1. 大模型预训练里数据质量过滤到底在解决什么问题做过大模型预训练的人都有一个共识模型效果的上限很大程度上在数据准备阶段就已经被决定了。你后面调学习率、换优化器、加并行策略能撬动的空间其实很有限。而数据质量过滤就是数据准备阶段里最容易被低估、又最不能省的一环。我先把这件事说清楚所谓数据质量过滤指的是在把海量原始语料喂给模型之前用一套可复现的规则和模型手段把低质、重复、有害、无信息量的样本筛掉或降权让真正参与训练的 token 尽可能干净且有效。它解决的核心问题是——同样的算力预算下如何让模型见到更多有价值的内容。为什么这件事在 MindSpore 生态里值得单独拿出来讲因为 MindSpore 的图编译和分布式执行特性决定了它的数据管道设计和 PyTorch 那套习惯不太一样。你在 PyTorch 里随手写的DataLoader 多进程预处理搬到 MindSpore 上如果直接照抄很容易在mindspore.dataset这一层踩坑算子不支持、并行度上不去、过滤逻辑写成了 Python 回调导致图模式失效等等。所以这篇内容我会围绕在 MindSpore 上怎么把数据质量过滤这套流程真正跑起来来讲而不是泛泛谈数据清洗的理论。适合谁看如果你正在用 MindSpore 做大模型预训练或者准备把已有的数据清洗脚本迁移到 MindSpore 数据管道上再或者你只是想知道工业界的数据过滤到底分几层、每层在干什么这篇都能给你可直接抄的配置和踩坑记录。我会尽量把每个为什么这么设计讲透而不是只丢一段代码让你自己猜。2. 数据质量过滤的整体分层设计思路2.1 为什么过滤要分层而不是一把梭新手最容易犯的错是写一个巨大的 Python 函数把去重、去噪、长度过滤、敏感词过滤全塞进去然后 map 到整个数据集上。这个做法在小数据集上能跑但到了 TB 级别的预训练语料问题立刻暴露单次遍历成本极高而且不同过滤规则的代价差了几个数量级。我的建议是严格分层按代价从低到高排序执行层级过滤类型典型手段相对代价建议执行顺序L1格式与完整性编码校验、字段非空、长度阈值极低最先L2规则去噪正则、模板匹配、乱码检测低第二L3去重精确哈希、MinHash、SimHash中第三L4质量打分困惑度、分类器打分高第四L5安全与合规敏感内容识别高最后这个顺序背后的逻辑很朴素先用便宜的手段砍掉大部分垃圾让后面昂贵的模型打分只作用在少量候选上。我实测过一个中文网页语料集L1L2 就能砍掉大约 35% 的样本L3 再去掉 20% 左右的重复最后留给 L4 打分的只剩不到一半。如果顺序反过来你先跑困惑度打分等于把算力浪费在了那些一眼就能看出是乱码的样本上。2.2 MindSpore 数据管道为什么适合承载这套分层MindSpore 的mindspore.dataset提供了一套声明式的数据处理算子像Filter、Map、Deduplicate、Take这些本质上是把过滤逻辑下沉到 C 执行层配合num_parallel_workers做多进程并行。这跟你在 Python 里写 for 循环逐个判断性能差距是数量级的。更关键的一点MindSpore 的 dataset 算子可以和图模式解耦。也就是说数据预处理阶段你可以用比较自由的 Python 逻辑通过pyfunc或自定义算子而真正进入网络训练的部分保持图模式。这个边界如果划对了既能享受灵活的数据处理又不会拖慢训练主循环。很多人抱怨MindSpore 数据加载慢十有八九是把本该在 dataset 层做的事挪到了训练循环里用 Python 现算。2.3 一个容易被忽略的原则过滤规则必须可复现我踩过最深的坑是过滤脚本里用了随机采样或者依赖了某个外部服务的返回结果导致两次跑出来的数据集不一致。大模型预训练动辄几天几周中间如果因为数据不一致导致 loss 曲线诡异波动你根本没法定位是模型问题还是数据问题。所以我的硬性要求是所有过滤规则要么是确定性的要么把随机种子固定死并记录下来。MinHash 的哈希函数种子、质量分类器的阈值、采样比例全部写进配置文件跟模型配置一起版本管理。这一点在 MindSpore 里尤其重要因为它的并行执行顺序在某些算子上不保证严格有序你更要保证逻辑本身是确定性的。3. 核心过滤环节的细节拆解与实操要点3.1 L1 格式与完整性过滤最便宜也最容易做错这一层看着简单但细节很多。最基本的几件事文本编码必须是合法 UTF-8、去除控制字符、过滤掉长度过短或过长的样本。长度阈值怎么定没有万能答案但有个经验区间。对于中文预训练语料我一般设最短 50 个字符、最长 100000 个字符。太短的样本比如好的谢谢信息量太低纯属浪费 token太长的样本往往是网页抓取时把整个页面塞进来了里面混着导航栏、广告、页脚反而拉低质量。当然这个阈值要按你的语料来源调整代码语料和自然语言语料的分布完全不同。在 MindSpore 里这一层我推荐直接用dataset.filter配合 lambda或者更高效地用dataset.map加pyfuncimport mindspore.dataset as ds def is_valid_length(text): if text is None: return False n len(text) return 50 n 100000 dataset dataset.filter(is_valid_length, input_columns[text], num_parallel_workers8)注意filter的谓词函数返回值必须是 bool且不要在里面做重计算。我见过有人在 filter 里顺手做了正则替换结果 filter 变成了 map性能直接崩掉。3.2 L2 规则去噪正则不是越多越好规则去噪主要对付几类东西HTML 残留标签、连续重复字符、乱码、模板化文本比如点击查看更多、以及各种占位符。这里我要泼一盆冷水正则规则不是越多越好每加一条都要评估它的误杀率。我早期写过一个特别激进的正则把包含连续三个以上标点的句子全删了结果把大量正常的省略号和引号文本也误伤了。后来我养成的习惯是每加一条规则先在一个 1 万条的抽样集上跑一遍人工看被删掉的 100 条确认没有明显误杀再上线。一个实用的去噪组合是这样的去除 HTML 标签re.sub(r[^], , text)压缩连续空白re.sub(r\s, , text)过滤乱码比例过高的样本统计非目标字符集字符占比超过阈值就丢过滤重复行占比过高的样本按行切分后算唯一行比例在 MindSpore 里正则操作建议放在map算子中并且用num_parallel_workers拉满 CPU 核数。如果你的正则特别复杂可以考虑预编译Python 的re.compile避免每条样本都重新编译一次。3.3 L3 去重精确去重和模糊去重要分开做去重是数据质量过滤里收益最高的一环没有之一。互联网语料里重复内容的占比高得吓人我处理过的一个爬取数据集精确重复率就有 18%近似重复率再加 15%。这些重复样本会让模型反复见到同样的内容既浪费算力又容易导致模型对某些模式过拟合。去重要分两步走精确去重用哈希就行。对每条样本算一个 SHA256维护一个已见哈希集合重复的直接丢。这一步在单机内存放不下时可以用布隆过滤器代价是有一点点误判率但对预训练来说完全可以接受。模糊去重才是难点。业界主流是 MinHash LSH或者 SimHash。MinHash 的思路是把每条文本表示成一组 shingle比如连续的 5-gram对每个 shingle 算多个哈希取最小值组成签名两条文本的签名相似度就近似它们的 Jaccard 相似度。LSH 则用来加速找出所有相似对这个过程避免 O(n²) 的两两比较。MindSpore 的 dataset 里有Deduplicate算子但它主要针对精确去重场景。模糊去重我一般建议在数据预处理阶段用独立的 Python 脚本离线做完把去重后的结果落盘再喂给 MindSpore 管道。原因是模糊去重需要全局视角要看到所有样本才能判断谁和谁重复而 dataset 算子是流式的天然不适合做全局去重。实操心得MinHash 的 shingle 大小和哈希函数个数是两个关键参数。shingle 用 5-gram 对中文比较合适哈希函数个数我一般取 128再多收益递减。LSH 的 band 数要根据你能接受的相似度阈值反推这个计算稍微绕后面第 4 节我会给具体算法。3.4 L4 质量打分困惑度和分类器怎么选到了这一层就要动用模型了。主流做法有两种基于困惑度PPL用一个在高质量语料上训练的小语言模型给每条样本算困惑度。困惑度越低说明文本越像人话越符合高质量语料的分布。这个方法的优点是无需标注缺点是依赖参考模型的质量而且对领域偏移敏感——如果你拿新闻语料训的模型去打分代码语料结果会很离谱。基于分类器训练一个二分类器正样本是人工标注的高质量文本负样本是低质量文本用它的输出概率作为质量分。这个方法更可控但需要标注数据成本高。我的实际选择是两者结合先用困惑度做粗筛把明显离谱的样本去掉再用分类器在剩下的样本上做精排。这样分类器的输入分布更集中效果也更稳。在 MindSpore 里跑质量打分关键是把打分模型和训练主模型解耦。打分模型可以是一个独立的小模型用mindspore.nn搭好加载权重后用model.predict批量推理。注意批量大小要调好太小浪费算力太大容易 OOM。我一般从 256 开始试根据显存占用往上加。3.5 L5 安全与合规过滤宁可保守不可激进这一层我不展开具体规则但原则必须讲清楚安全过滤的阈值要设得保守一些宁可多删一点也不要漏放。因为一旦有害内容进入训练集它造成的影响是全局性的而且很难在事后通过微调完全消除。实现上通常是维护一个规则库加一个分类模型规则库负责明确的高危模式分类模型负责边界模糊的情况。这一层的输出建议单独记录方便后续审计和回溯。4. 完整实操流程与关键参数计算4.1 从原始语料到可训练数据集的全流程我把整个流程拆成六个阶段每个阶段都有明确的输入输出和验收标准原始语料加载把 jsonl、parquet、txt 等各种格式统一成 MindSpore dataset 能读的格式。我一般统一转成 TFRecord 或者 MindRecord后者是 MindSpore 自家的格式读取效率最高。L1 格式过滤编码校验、长度过滤输出干净的基础集。L2 规则去噪正则清洗、乱码过滤输出去噪集。L3 去重先精确去重再离线做模糊去重输出去重集。L4 质量打分困惑度粗筛加分类器精排输出高质量集。L5 安全过滤输出最终可训练集并生成统计报告。每个阶段之间都落盘不要试图一条管道跑到底。落盘的好处是出问题可以单独重跑某一阶段不用从头再来而且中间结果可以复用比如你调质量打分的阈值时不用重新做去重。4.2 MinHash 参数的具体计算过程前面提到 LSH 的 band 数要反推这里给个具体算法。假设你把 128 个哈希函数分成 b 个 band每个 band 有 r 行b × r 128。两条文本的签名相似度为 s那么它们至少在一个 band 上完全相同的概率是P 1 - (1 - s^r)^b这个 P 就是相似度达到 s 的两条文本被 LSH 判定为候选对的概率。我们希望当 s 超过某个阈值比如 0.8时P 接近 1当 s 低于某个值比如 0.5时P 接近 0。我实测下来b32、r4 这组参数对中文语料比较合适。代入 s0.8P 1 - (1 - 0.8^4)^32 1 - (1 - 0.4096)^32 ≈ 1 - 0.59^32 ≈ 1几乎必中。代入 s0.5P 1 - (1 - 0.0625)^32 ≈ 1 - 0.9375^32 ≈ 0.87还是偏高说明这组参数对中等相似度也会大量召回。如果你希望更严格可以调成 b64、r2但召回率会下降。这个权衡要根据你的语料重复情况来定。4.3 MindSpore 数据管道的并行配置这是很多人关心的点。MindSpore dataset 的并行度由num_parallel_workers控制它决定了每个算子用多少个进程/线程来执行。我的配置经验是CPU 密集型算子正则、哈希num_parallel_workers设为 CPU 核数的 0.8 倍左右留一点给系统。IO 密集型算子读文件可以设得更高甚至到核数的 2 倍因为大部分时间在等 IO。GPU 推理算子质量打分这个不走num_parallel_workers而是控制 batch size 和prefetch_size。还有一个关键参数是prefetch_size它决定了预取多少个 batch 到内存。设得太小GPU 会饿着等数据设得太大内存爆掉。我一般设成batch_size × 2到batch_size × 4之间具体看内存余量。dataset dataset.map(operationsdenoise_op, input_columns[text], num_parallel_workers16) dataset dataset.batch(batch_size256, drop_remainderTrue) dataset dataset.prefetch(prefetch_size1024)注意prefetch一定要放在batch之后否则预取的是单条样本起不到流水线效果。这个顺序错误我见过不止一次。4.4 实操现场一次真实的中文网页语料过滤记录我拿一个约 800 万条的中文网页语料跑了一遍完整流程记录如下阶段输入条数输出条数耗时备注原始8,000,000--平均长度 1200 字符L1 格式8,000,0007,120,00012 min主要砍掉过短和编码错误L2 去噪7,120,0005,980,00045 min乱码和模板文本占大头L3 去重5,980,0004,310,0003.5 h精确去重 1h模糊去重 2.5hL4 打分4,310,0003,050,0006 h困惑度粗筛加分类器精排L5 安全3,050,0002,980,0001.5 h保守策略删得不多最终保留率约 37%。这个数字看着低但对比过用全量数据训出来的模型和用过滤后数据训出来的模型后者在同等 token 数下的下游任务表现明显更好。数据质量过滤的本质是用一部分数据量换整体质量这笔账在大模型场景下是划算的。5. 常见问题与排查技巧实录5.1 过滤后数据量骤降怎么判断是正常还是误杀这是最高频的问题。我的排查方法是分层归因先看是哪一层砍得最多再在那一层抽样人工检查。具体操作每层过滤时把被删掉的样本单独写到一个rejected文件里带上删除原因标签。然后随机抽 200 条人工过一遍统计误杀率。如果误杀率超过 5%说明这一层的规则太激进需要放宽。我遇到过一次 L2 去噪把 40% 的样本都删了抽样一看发现是正则里有个字符类写错了把正常中文标点也匹配进去了。这种问题不抽样根本发现不了。5.2 MindSpore 数据管道报算子不支持怎么办MindSpore 的 dataset 算子覆盖度不如 PyTorch 的 DataLoader 那么自由遇到不支持的算子有三个解决路径用pyfunc包装把 Python 函数包成算子代价是失去部分图优化但能用。拆成多个基础算子组合比如你想做一个复杂的文本变换可以拆成几个map串联。离线预处理如果这个操作只需要做一次干脆离线做完落盘别放进管道。我的优先级是 3 2 1。能用离线解决的绝不放进管道因为管道里的每个算子都会影响训练时的数据吞吐。5.3 质量打分模型和训练模型抢显存这个坑很隐蔽。如果你在同一张卡上既跑质量打分又跑训练显存会打架。解决办法有两个一是把打分放在数据准备阶段离线做完训练时只读结果二是打分用 CPU 或者另一张卡。我强烈推荐第一种。质量打分是一次性的没必要和训练耦合在一起。离线打完分把分数写进样本的元数据字段训练时直接按分数过滤又快又省事。5.4 常见问题速查表现象可能原因排查方向解决手段数据加载成为训练瓶颈并行度不足或算子太重看 profiler 里数据等待时间提高 num_parallel_workers简化算子过滤结果两次不一致规则含随机性或依赖外部状态检查随机种子和外部调用固定种子去除外部依赖去重后仍有大量近似重复相似度阈值设太高抽样看残留重复对降低阈值增加 band 数质量打分结果分布异常参考模型领域不匹配看分数直方图换参考模型或分领域打分内存溢出prefetch 太大或去重集合太大看内存曲线降 prefetch去重用布隆过滤器5.5 几条压箱底的经验第一永远保留一份未过滤的原始数据备份。过滤规则是会迭代的今天觉得该删的明天可能发现删错了。没有原始数据你连重跑的机会都没有。第二过滤规则的版本要和模型版本绑定。我在模型 checkpoint 旁边永远放一份data_filter_config.json记录这次训练用的过滤规则和参数。这样复现实验时不会抓瞎。第三不要迷信任何单一指标。困惑度低不代表质量高分类器分高也不代表适合你的任务。最终还是要用下游任务的表现来验证过滤方案的好坏。我一般会做 A/B用两套不同的过滤方案各训一个小模型比下游表现而不是只看过滤后的数据量。第四在 VS Code 里调试 MindSpore 数据管道时善用create_dict_iterator单独迭代 dataset不要每次都启动完整训练。把数据管道单独跑通、抽样看输出确认无误再接入训练。这个习惯能帮你省下大量调试时间。数据质量过滤这件事说到底是个不断迭代的活儿。没有一劳永逸的规则只有持续观察、抽样、调整。我自己的体会是把过滤流程做得足够模块化、每层都能单独跑单独验比追求某一层做到极致要重要得多。毕竟在大模型预训练里稳定可复现的流程本身就是一种核心竞争力。