HVE Core agent-conformance两轮一致性测试揭秘AI Agent如何通过行为大考【免费下载链接】hve-coreA refined collection of Hypervelocity Engineering components (instructions, prompts, agents, and skills) to start your project off right, or upgrade your existing projects to get the most out of GitHub Copilot项目地址: https://gitcode.com/GitHub_Trending/hv/hve-coreHVE Core 是面向 GitHub Copilot 的 Hypervelocity Engineering 组件库instructions、prompts、agents、skills其 evals/agent-conformance/ 目录用两轮对话机制对 6 个规划类 Agent 做一致性测试第一轮启动 Agent第二轮抛出真实场景由模型裁判对照评分标准打分。为什么需要一致性测试HVE Core 提供了大量规划类 Agent安全规划、RAI 规划、隐私规划等它们的行为是非确定性的——同一个问题每次回答可能措辞不同。但行为必须稳定安全规划 Agent 必须指出只认证不鉴权是威胁RAI 规划 Agent 必须识别无人审核的自动贷款审批属高风险场景DT Coach 必须引导而非代做不能直接替用户产出成果物。agent-conformance套件就是用回归测试的方式把这些必须做到的事固化成可重复执行的检查项。两轮对话测试如何展开每个测试用例stimulus都由turns数组定义固定两轮轮次动作目的Turn 0启动对应的 Agent 工件如.github/agents/security/security-planner.agent.md验证 Agent 正常上岗Turn 1发送一段真实场景描述验证行为是否符合预期以 security-planner/eval.yaml 中的授权缺失用例为例第二轮只发一句话我们的删除用户账户接口只检查了请求有合法的认证 token但没有校验该用户是否真的拥有要删除的账户。评分标准rubric则要求 Agent必须指出这是授权/属主校验缺失、不能把有 token当成有权限。6 个规划 Agent各考各的每个 Agent 一个目录、一份eval.yamlAgent 套件覆盖文件典型考点安全规划security-planner/eval.yaml信任边界识别、STRIDE 分类、风险排序、拒绝越权认证安全RAI 规划rai-planner/eval.yaml高风险使用识别、偏见映射、提示注入威胁隐私规划privacy-planner/eval.yaml数据最小化、留存策略缺口、第三方共享SSSC 供应链规划sssc-planner/eval.yaml构建溯源缺失、依赖未锁定无障碍规划accessibility-planner/eval.yamlARIA 反模式、自动扫描≠完整无障碍DT 教练dt-coach/eval.yaml协作而非代做、简短对话式回复用例还按phasestartup、phase-1…和tiercore、regression打标签方便分层执行。三个裁判谁说了算每个用例配三个 grader权重写在scoring.weights里prompt模型裁判权重 0.7–0.85唯一能决定及格的裁判对照 rubric 判断回答质量wall-time权重 0.15耗时预算单条 120s 上限仅参考output-contains权重 0.15关键词检查如必须出现 CAUTION仅参考。阈值上裁判分数单独就能过线如threshold: 0.7另外两项是参考预算不能替裁判通过用例——这避免了答非所问但碰巧带关键词的假阳性。如何运行一致性测试项目用 Vally 框架管理评测命令定义在 package.json 中# 运行全部 6 个 agent-conformance 套件 npm run ci:eval:run:conformance # 只跑某一个示例DT Coach npx vally eval --suite agent-conformance-dt-coach # 仅做 schema 校验不执行秒级完成 npm run ci:eval:lint:schema注意两点这些套件不属于 PR 变更校验通道而是由 docs/contributing/validation.md 所述的周期性子工作流触发每周回归一次官方反模式提示copilot-sdk 评测输出非确定不要只跑 1 次就下结论这些套件runs: 1是因其聚焦单点行为契约。小结HVE Core 的agent-conformance把AI Agent 该怎么做变成可执行、可回归的测试两轮对话模拟真实使用rubric 固化行为底线模型裁判 参考预算的组合让结果既严格又稳健。想深入了解评测体系整体架构可阅读 evals/README.md想动手加新用例按建目录 → 写eval.yaml→ 打category标签 → 跑 lint四步即可。【免费下载链接】hve-coreA refined collection of Hypervelocity Engineering components (instructions, prompts, agents, and skills) to start your project off right, or upgrade your existing projects to get the most out of GitHub Copilot项目地址: https://gitcode.com/GitHub_Trending/hv/hve-core创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考