如何科学评估Agent Skill质量Comet Eval的Rubric评分与Passk方法完全指南【免费下载链接】cometComet: agent skill harness for turning ideas into evaluated workflows项目地址: https://gitcode.com/rpamis/comet 新手入门看这一篇就够了。Comet是一个将想法转化为可评估工作流的 Agent Skill harness技能承载框架它的comet eval命令提供了一套完整的Agent Skill 质量评估方法通过Rubric 评分多维度加权打分和Passk 统计方法能力上限与可靠性下限让 Skill 的好坏从感觉还行变成数据说话。一、为什么你需要科学地评估 Agent Skill很多团队都在写 Agent Skill给 AI 编码助手挂载的能力包但上线前很难回答两个问题它到底能不能把事做对能力问题它每次都能做对吗稳定性问题口头测试和截图看起来不错都不可靠。Comet Eval 的解法是把评估拆成三层评估层回答的问题对应方法行为质量Agent 的执行过程规范吗Rubric 十维加权评分结果正确性任务最终完成了吗任务级验证器validator统计置信度结论可信吗Passk / Pass^k 多次采样这套方法不需要你懂 Docker、pytest 等底层细节用户主入口就是comet eval一条命令详见官方中文文档 EVAL-USAGE-ZH.md。二、Rubric 评分把 Agent 行为拆成 10 个可打分维度Rubric评分量规是教育测量学里的经典方法Comet 把它用在了 Agent 评估上。Comet 的 Rubric 实现位于 rubric.py它分析 Agent 运行中捕获的事件轨迹和留在工作区的产物从 10 个维度打分#维度权重评估什么1主流程 main_flow1.5工作流各阶段是否留下真实证据2质量门 gate_guard1.5是否走了状态转换与质量门控3技能调用 skill_invocation1.0是否真实调用了入口/阶段/依赖 Skill4规格漂移 spec_drift1.0构建中的规格变更是否在归档前对齐5业务完成度 business_completion2.0用户可见的业务验证器通过率6工作流完成度 workflow_completion1.0工作流专属验证器通过率7效率 efficiency0.8轮次、工具调用、耗时越低越好8决策点合规 decision_point1.0是否在关键节点暂停等用户确认9产物质量 artifact_quality1.2提案/设计/任务产物是否有实质内容10恢复韧性 recovery_resilience1.0中断后状态是否正确保留与恢复两个关键设计每个维度内部是二元检查pass/fail维度得分 通过数 / 检查总数0.0–1.0避免主观打分业务完成度权重最高2.0——把用户要的功能做出来永远排第一花哨的流程合规只是加分项。最终得分 各维度得分 × 权重之和权重归一化方法论对齐了 Galileo、Hebbia、τ-bench 等业界最佳实践。独立 LLM-as-Judge评分员和选手不能是同一家人Comet Eval 支持把主执行 Agent和评审 AgentJudge配置成两套独立的模型与凭据——用另一个模型当考官避免自己考自己。Judge 的 API 地址、模型、密钥完全隔离这在 EVAL-USAGE.md 中有完整说明。三、Passk 与 Pass^k能力上限和可靠性下限Rubric 告诉你单次跑得好不好而 Passk 方法实现在 pass_at_k.py回答统计层面的问题。每个任务独立跑 k 次得到两组指标Passk能力上限k 次独立尝试中至少成功一次的概率采用 HumanEval 的无偏估计公式1 - C(n-c, k) / C(n, k)n 为总运行数c 为成功数。回答给它 k 次机会它能不能做出来Pass^k可靠性下限k 次尝试全部成功的概率。回答它是不是每次都靠谱两者之差就是不稳定性指数Passk 高而 Pass^k 低说明 Skill会做但每次结果不可信——这对需要反复运行的工作流型 Skill 是致命的。⚠️诚实的统计报告严格对齐每个任务的task repetition case_hash。某个任务缺一次采样就降低该 k 的 coverage 并列出缺失项绝不会把 pass3 偷换成 pass2。四、快速上手一条命令出评估报告安装 Comet 后评估自己的 Skill 只需要三步# 1. 先做静态检查不启动 Agent、不联网验证配置是否可读 comet eval ./my-skill --collect # 2. 完整评估 生成 HTML 报告 comet eval ./my-skill --html # 3. 低成本冒烟测试固定 smoke 任务几毛钱的事 comet eval ./my-skill --quick --html报告与运行状态写入 Skill 目录下的.comet/eval/.comet/eval/ ├── generated/ # 自动生成任务无 manifest 时自动合成 2–4 个 ├── cache/ # 缓存 ├── locks/ # 并发锁 └── runs/ # summary、events、报告、产物评估时可以选择claude-code、codex、qoder、codebuddy等被测 Agent--agent codex也可以在 Skill 中放一个可选的comet/eval.yaml声明自定义任务与期望产物让评估可复现。五、报告怎么看失败归因 数据质量拿到报告别急着下结论先看这两件事详细说明见 EVAL-USAGE-ZH.md失败归因Failure Attribution报告会把你看到的失败自动归入四个桶直接决定下一步修什么harness→ 评估框架/依赖/环境的问题先修环境workflow→Skill 执行流程没达到预期改 Skilltask→ 任务定义或验证条件有问题model→ 模型行为不稳定换模型或加固提示数据质量Raw Set vs Analysis Set报告保留全部原始运行供审计但主统计headline 指标、passk、成本、verdict只使用去噪后的 analysis setexcludedAPI 超时、限流、容器启动失败等环境噪声不进主统计flagged可疑假设进统计但会标注风险。如果报告显示Insufficient clean data先重跑再下结论不要把当前 verdict 当最终质量判断。把评估结果同步到实验平台comet eval默认用 local 套件在本地出报告加一个参数即可把运行、Rubric 反馈、成本和轨迹同步到实验平台comet eval ./my-skill --suite langsmith --html # 或同步到 Langfuse comet eval ./my-skill --suite langfuse --html同步后可以横向对比多个版本treatment在同一任务集上的表现配合仓库内置的对齐基准脚本 compare_baselines.py 做严格 A/B 比较本地评测体系见 eval/local/README.md。六、小结记住这三条就够用了✅Rubric 管过程验证器管结果Passk 管置信度——三层缺一不可 ✅Passk 高但 Pass^k 低 不稳定这是工作流 Skill 最危险的信号 ✅先看失败归因再动手harness 问题别去改 Skillmodel 问题别去改 harness。科学评估 Agent Skill 不是大团队的专利——comet eval把 Rubric 评分、独立 Judge、Passk 统计和失败归因打包成了一条命令让你的 Skill 在上线前就带上体检报告。【免费下载链接】cometComet: agent skill harness for turning ideas into evaluated workflows项目地址: https://gitcode.com/rpamis/comet创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考