如何用 Evidently 在 5 分钟内筛出数据里的缺失、重复与异常一份数据质量检测实操指南【免费下载链接】evidentlyEvidently is ​​an open-source ML and LLM observability framework. Evaluate, test, and monitor any AI-powered system or data pipeline. From tabular data to Gen AI. 100 metrics.项目地址: https://gitcode.com/GitHub_Trending/ev/evidentlyEvidently 是一个面向机器学习和 LLM 系统的开源可观测性框架内置 100 多个开箱即用的指标。本文讲怎么用 Evidently 完成数据质量检测把缺失值、重复值、异常值一次筛干净并生成一份能直接打开的数据质量报告。从一个真实痛点说起你可能也遇到过模型上线时一切正常第二天指标开始飘。排查半天发现是上游接口改了空值写法整列都变成了缺失。这类问题靠事后救火永远慢半拍你需要的是在数据进入流程前做一次例行筛查把救火变成预防。5 分钟跑通第一份数据质量报告准备工作很简单按这三步来安装pip install evidently把数据读进一个 pandas DataFrame创建报告并运行from evidently import Report from evidently.metrics import RowCount, DuplicatedRowCount, MissingValueCount report Report(metrics[ RowCount(), DuplicatedRowCount(), MissingValueCount(columncity), ]) report.run(current_datadf) report.save_html(quality_report.html)这段代码组装了一个包含三个指标的 Report数据行数、重复行数、city 列的缺失个数跑完后导出成浏览器能直接打开的 HTML 报告。三类常见问题逐个筛查 揪出缺失值先看缺失数和缺失率缺失值也就是没填上的空数据是最常见的数据质量事故上游字段下线、日志断流它都会悄悄混进来。Evidently 提供两层统计列级别的MissingValueCount和数据集级别的DatasetMissingValueCount带缺失率。实现分别在src/evidently/metrics/column_statistics.py和src/evidently/metrics/dataset_statistics.py。from evidently import Report from evidently.metrics import MissingValueCount, DatasetMissingValueCount report Report(metrics[ MissingValueCount(columnprice), DatasetMissingValueCount(), ]) report.run(current_datadf)前者给出 price 列空值的个数和占比后者给出整个数据集的缺失总数与缺失率。两个数字一起看就能区分是某列空了还是整批数据都坏了。 揪出重复值行和列一次查清重复往往是链路 bugjoin 多做了一次、上游把同一批订单重发了同一行就会出现两次。Evidently 对应有两个指标DuplicatedRowCount完全重复的行和DuplicatedColumnsCount内容完全相同的列实现见src/evidently/metrics/dataset_statistics.py。from evidently.metrics import DuplicatedRowCount, DuplicatedColumnsCount report Report(metrics[ DuplicatedRowCount(), DuplicatedColumnsCount(), ])前者直接告诉你有几行是重复的方便你定位后去重后者能抓出两列名字不同、内容一样这种藏在表结构里的坑。 抓出异常值给业务边界设个圈异常值识别最实用的做法是业务边界年龄不该超过 120价格不能为负。Evidently 的OutRangeValueCount可以按[left, right]区间统计落在圈外的个数和占比它与缺失值统计同在src/evidently/metrics/column_statistics.py中。from evidently.metrics import OutRangeValueCount, StdValue report Report(metrics[ OutRangeValueCount(columnage, left0, right120), StdValue(columnage), ])第一项直接输出有多少条记录违反业务规则第二项用标准差看整体波动两者结合能确认均值突然变大到底是真业务变化还是少数离群点作怪。把报告变成看得见的看板静态 HTML 适合一次性检查持续监控更适合把指标放进仪表板。仓库里带了 Grafana 对接示例examples/grafana/目录下思路是定期跑同一份报告、把结果写进时序数据源这样缺失率突增当天就能在曲线上看到。官方还提供一个 Web 工作台服务报告可以上传后与基准数据集对比。在这种看板里每个指标都是一条连续曲线再配上阈值告警数据质量检测就从想起来才查变成异常自动上报。按需定制检测规则内置指标覆盖大多数场景但业务规则总有特殊要求比如金额要符合某个税费公式、手机号要用指定正则校验。这时你可以参考src/evidently/metrics/data_quality.py的写法定义一个自己的指标类、实现计算逻辑就能像内置指标一样放进任意 Report并接上测试和渲染体系。上手避坑清单先跑小样本大表上报告生成较慢先拿小样本验证列名和指标组合再接全量任务。列名严格匹配指标里的column参数要和 DataFrame 列名完全一致包括大小写写错不会报错只会让你怀疑人生。留一份基准数据运行时可以同时传入当前数据和参考数据很多指标会自动对比基准并加上边界测试顺手把数据漂移一起查出来。例行化的数据质量检测把缺失、重复和异常都变成看得见的数字下次救火就少了一次。Evidently 的价值正在这条线上从 5 分钟的报告到持续监控的看板你不必换路。【免费下载链接】evidentlyEvidently is ​​an open-source ML and LLM observability framework. Evaluate, test, and monitor any AI-powered system or data pipeline. From tabular data to Gen AI. 100 metrics.项目地址: https://gitcode.com/GitHub_Trending/ev/evidently创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考