如何评测OpenAI Privacy Filter效果一条命令跑通数据集评估掌握5个核心指标【免费下载链接】privacy-filterOpenAI Privacy Filter项目地址: https://gitcode.com/gh_mirrors/pr/privacy-filterOpenAI Privacy Filter 是一款用于个人信息PII检测与脱敏的双向词元分类模型。本文以opf eval数据集评估为核心教你一条命令跑通完整评测流程并逐条读懂 5 个核心指标快速判断模型的检测效果是否达到生产可用水平。准备工作安装与评测入口在开始评测前先在仓库根目录安装本地包pip install -e .安装后即可使用opf命令。仓库内置了两份合成评测样例不描述真实人物examples/data/README.md 中有明确说明examples/data/sample_eval_five_examples.jsonl标注使用 OPF 原生标签体系如private_person、secretexamples/data/sample_eval_five_examples_alt_labels.jsonl标注使用自定义标签体系如given_name、credential一条命令跑通数据集评估评测的完整流程由 opf/_eval/runner.py 驱动加载数据集 → 分窗前向推理 → 解码预测跨度 → 计算指标 → 打印结果。你只需一条命令opf eval examples/data/sample_eval_five_examples.jsonl如果你的标注体系与模型不同比如使用street_address而非private_address加上--eval-mode untyped即可忽略类别名差异、只评估敏感区域是否被找到opf eval examples/data/sample_eval_five_examples_alt_labels.jsonl --eval-mode untyped 两种模式的完整选择逻辑可参考 EVAL_AND_OUTPUT_MODES.md 中的决策流程图。5个核心指标逐项解读评测指标的计算逻辑集中在 opf/_eval/metrics.py。运行结束后终端会打印summary和detection_metrics两张表重点关注以下 5 项1. token_accuracy词元级准确率预测标签与金标标签完全一致的词元占比。这是最直观的整体正确率数值越高说明模型逐词打标签越稳定。2. loss平均词元损失金标标签的负平均对数概率。loss 越低说明模型对正确标签的置信度越高可用来对比不同 checkpoint 的稳定性。3. detection.precision / detection.recall检测精确率与召回率词元级是否处于敏感区域内的混淆统计。精确率回答标出的敏感词元里有多少是真的召回率回答真实的敏感词元漏掉了多少。在脱敏场景中召回率偏低意味着有隐私泄露风险需要重点盯防。4. detection.span.f1跨度级 F1模型不只在词元层面打标签还会用受约束 Viterbi 解码见 opf/_core/decoding.py把相邻词元合并成完整跨度。span F1 衡量的是整段敏感区域的匹配质量预测跨度被金标跨度完整包含才算 precision 命中反之计算 recall 方向。它比词元级指标更贴近实际脱敏效果。5. ground_truth_label_recall金标标签召回untyped 模式专属当你的标注体系与模型不一致时如given_name该指标按原始标签名统计每个源标签的字符文本有多少比例被任一预测跨度覆盖。它回答的核心问题是敏感区域本身找没找到而不是子类型名称是否对得上。让评测结果更可追溯的实用选项opf eval的完整参数定义在 opf/_eval/args.py推荐搭配以下选项选项作用--per-class打印每个类别的 span 级与 token 级 precision/recall/f1/f2typed 模式--metrics-out metrics.json输出机器可读的完整指标 JSON方便归档对比--timings-out timings.json输出各阶段耗时与吞吐tokens/s评估性能--predictions-out pred.jsonl逐条导出预测跨度便于人工复核--preview终端彩色预览单条样例的逐词元标签例如一次指标 性能 预测导出全量评测opf eval examples/data/sample_eval_five_examples.jsonl \ --per-class --metrics-out metrics.json --timings-out timings.json \ --predictions-out predictions.jsonl评测结果如何指导调优召回率不足常见于罕见人名、区域命名习惯等欠采样类别可考虑用自有数据微调opf train流程见 FINETUNING.md 与 examples/scripts/finetuning/。精确率偏低过度脱敏可通过 Viterbi 解码的工作点参数调整精度/召回权衡README.md 的 Operating-Point Calibration 一节有原理说明。span 边界碎裂优先使用默认 viterbi 解码而非 argmax让跨度边界更连贯。记住一条原则上线前务必用自己领域的数据集做 in-domain 评测因为默认标签策略未必匹配所有组织的治理要求详见 README.md 的 Limitations 部分。小结一条命令opf eval dataset.jsonl即可完成数据集评估5 个核心指标token_accuracy、loss、detection.precision/recall、detection.span.f1、ground_truth_label_recalltyped 模式看类别级指标untyped 模式看跨度覆盖与标签召回用--metrics-out/--timings-out固化结果用--predictions-out做人工复核掌握以上流程你就能快速、可复现地量化 OpenAI Privacy Filter 在你业务场景下的真实效果 【免费下载链接】privacy-filterOpenAI Privacy Filter项目地址: https://gitcode.com/gh_mirrors/pr/privacy-filter创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考