一、整体说明以下概念均属于AI驱动的软件测试系统离线评测体系的核心组成部分定义、计算方法与应用规范均参考软件工程国家标准、大模型评测领域权威研究与工业界通用落地实践。所有涉及统计指标、英文术语与方法论的内容均标注可查证的权威来源。二、核心概念逐一解析1. 离线评测集Offline Evaluation Dataset定义也称为黄金基准集Golden Dataset是带有明确真值标注、可在离线环境重复执行的标准化样本集合是AI测试系统定量评估的基础载体用于在模型版本、Prompt版本变更时验证系统能力是否退化是实现“可回归”的核心前提。核心构成每条样本包含「输入素材截图、日志、需求文档等 测试指令 标准真值输出」三部分需覆盖正常场景、缺陷场景、边界场景、易错场景、兼容性场景五类。构建原则场景代表性、真值确定性、样本均衡性、可迭代性。权威参考数据集构建规范参考斯坦福大学HELM大模型整体评估框架的数据集设计准则。2. 人工标注Human Annotation定义由具备对应测试领域资质的专业人员对评测样本的预期输出真值进行标定、交叉复核的过程是保障评测集真值准确性的核心环节直接决定评测结果的可信度。质量控制核心指标标注者间一致性Inter-Annotator Agreement, IAA通用衡量指标为Cohen’s Kappa系数行业合格标准为Kappa≥0.75优秀标准为Kappa≥0.85。落地规范采用「双人独立标注 → 交叉复核 → 争议仲裁」的三级流程标注人员需具备对应业务的测试经验禁止无领域背景的人员标注专业测试样本。权威参考Cohen’s Kappa系数由统计学家Jacob Cohen于1960年提出是分类标注任务一致性衡量的通用标准。3. LLM-as-a-Judge大模型裁判定义采用能力更强、可靠性更高的大语言模型作为自动评判者对AI测试系统的输出进行对错判定、质量打分的评测方法是补充人工标注效率不足、提升评测吞吐量的主流方案。适用场景测试用例合理性评估、缺陷描述质量评分、开放式测试任务的效果评估等非结构化输出场景不适合用于需要精确真值、零误判容忍的CI/CD门禁类核心指标评测。核心局限性存在裁判偏见、对齐偏差、细粒度错误识别不足等问题高风险场景必须以人工标注的真值为最终标准不可完全替代人工。权威参考该方法为当前大模型领域通用自动评测方案代表性权威研究为UC伯克利等机构发布的MT-Bench评测方法论OpenAI、Anthropic等厂商均将其用于模型内部迭代评估。4. 任务成功率Task Success Rate定义端到端测试任务中AI测试系统完整、正确完成指定业务目标的比例是衡量系统整体业务价值的顶层指标关注“最终任务有没有做成”而非单步操作是否正确。计算公式任务成功率 成功完成的任务数量 总执行任务数量 × 100 % 任务成功率 \frac{成功完成的任务数量}{总执行任务数量} \times 100\%任务成功率总执行任务数量成功完成的任务数量​×100%AI测试场景示例UI自动化Agent完成“从首页进入商品详情页并提交订单”全流程的成功比例中间任意一步操作错误、流程中断均计为任务失败。特点最贴近业务价值但定位问题颗粒度粗需配合单步指标定位根因。5. 准确率Accuracy定义分类任务中预测结果正确的样本数占总样本数的比例衡量系统整体判断的正确程度。计算公式准确率 真阳性 ( T P ) 真阴性 ( T N ) 真阳性 ( T P ) 真阴性 ( T N ) 假阳性 ( F P ) 假阴性 ( F N ) × 100 % 准确率 \frac{真阳性(TP) 真阴性(TN)}{真阳性(TP) 真阴性(TN) 假阳性(FP) 假阴性(FN)} \times 100\%准确率真阳性(TP)真阴性(TN)假阳性(FP)假阴性(FN)真阳性(TP)真阴性(TN)​×100%适用场景样本分布均衡的二分类/多分类任务如“页面是否存在UI缺陷”的二分类判定。核心局限性当样本极度不均衡时如正常样本占99%、缺陷样本仅1%准确率会严重失真此时不可单独作为核心指标。权威参考分类任务准确率为统计学习与软件工程度量领域通用标准指标参考IEEE 1061软件质量度量标准与ISO/IEC 25010软件质量模型。6. 召回率Recall / True Positive Rate定义也称为真阳性率指所有真实为正例的样本中被系统正确识别为正例的比例核心衡量系统“不漏报”的能力。计算公式召回率 真阳性 ( T P ) 真阳性 ( T P ) 假阴性 ( F N ) × 100 % 召回率 \frac{真阳性(TP)}{真阳性(TP) 假阴性(FN)} \times 100\%召回率真阳性(TP)假阴性(FN)真阳性(TP)​×100%AI测试场景意义在缺陷识别、风险检测场景中召回率直接对应漏测风险召回率越高真实缺陷被漏掉的概率越低是测试场景的核心保障类指标。权衡说明召回率与误报率通常呈负相关CI/CD接入场景需优先压低误报率再逐步优化召回率避免因频繁误报影响研发效率。权威参考同准确率为信息检索与软件测试领域通用标准度量指标。7. 幻觉率Hallucination Rate定义AI测试系统的输出中存在无中生有、与输入事实不符、虚构不存在元素的样本占总样本的比例是大模型驱动的测试系统特有的核心风险指标。计算公式幻觉率 存在幻觉输出的样本数 总评测样本数 × 100 % 幻觉率 \frac{存在幻觉输出的样本数}{总评测样本数} \times 100\%幻觉率总评测样本数存在幻觉输出的样本数​×100%AI测试常见幻觉类型UI元素幻觉截图中不存在的控件系统虚构其存在缺陷虚构正常页面被判定为存在缺陷步骤编造生成的复现步骤与真实界面逻辑不符。工程意义幻觉率是AI测试系统能否接入CI/CD的刚性约束指标幻觉率过高会直接摧毁研发团队对系统的信任优先级高于准确率与召回率。三、各要素的逻辑关联基建层离线评测集是评测的载体人工标注是真值准确性的保障二者共同构成评测的基础设施方法层LLM-as-a-Judge是人工评测的效率补充用于大规模、低风险场景的快速评测指标层任务成功率是顶层业务指标准确率、召回率是分类任务核心指标幻觉率是大模型特有的风险约束指标多指标配合才能完整评估系统能力。