新闻详情

新闻详情

首页 / 资讯中心 / 详情

risky-changes 技能剖析:为什么单元测试全绿,改动仍是坏主意?

发布时间:2026/11/17 19:18:41来源:尧图网络
risky-changes 技能剖析:为什么单元测试全绿,改动仍是坏主意?
risky-changes 技能剖析为什么单元测试全绿改动仍是坏主意【免费下载链接】skillsaccess to david ondrejs personal agent skills项目地址: https://gitcode.com/gh_mirrors/skills46/skills在 skillsDavid Ondrej 的 Agent Skills 仓库中risky-changes 是一个上线前体检技能它提醒 AI 编码代理在改动 API、计费、配额、默认值等高风险功能时先验证假设、再测量真实行为而不是只盯着单元测试跑没跑通。下面拆解它的触发逻辑和五步流程。一个真实教训过滤器通过了所有测试却在线上杀死了功能技能开篇就讲了一个真实案例SKILL.md 第 8 行一个过滤器通过了所有测试但在真实数据上让约 99% 的功能失效了。这句话点出了整个技能的核心观点验证手段回答的问题局限单元测试代码写对了吗不关心数据在真实世界里长什么样调研 真实流量测量改动有用吗成本高但必须做测试检查的是代码正确性而改动是否值得上线取决于它在真实数据、真实用户行为下会不会出事。两者缺一不可。哪些改动算高风险对照这张清单自查技能给出了明确的适用场景SKILL.md 第 12–18 行满足任一条就建议走完整流程 公共 API 的字段、过滤器、响应结构 删除、转换或重排上游数据 计费、定价、上限、配额⚙️ 默认值、阈值、发给供应商的请求参数❓ 任何关于外部数据或用户行为的未经验证的假设技能还有一句兜底话术拿不准这个改动算不算高风险就按流程走一遍。误判安全的代价远高于多花一点验证时间。五步验证流程从假设清单到部署后复查第 1 步列出假设标注证据状态把改动依赖的每条假设写下来并明确标记哪些有证据支撑、哪些还没验证。这一步的价值在于把模糊的我觉得应该没事变成可逐条核对的清单。第 2 步先调研再动手写代码调研至少覆盖三个问题SKILL.md 第 28–33 行头部产品遇到同样的设计决策是怎么处理的真实数据长什么样——频率、形态、边界情况用户或代理真正需要的是什么规则很硬如果证据推翻了假设先改设计再写代码如果查不到结论就如实标注证据缺口而不是把假设当成已验证。只要关键假设没验证完就不发布。第 3 步用 10–20 个真实用例做实测这是最容易省、也最不该省的一步SKILL.md 第 36–46 行用例要基于真实使用场景变换主题、参数、语言、边界条件每个用例定好基准速度、质量、准确率、新行为出现的频率能上硬指标就上硬指标主观质量用盲评 明确评分标准可测量的话对比改动前后只读的生产数据分析也算测量——不必真的动线上数据还有一条容易被忽略的硬性要求用例和结果必须存档到项目的 evals 目录例如docs/evals/YYYY-MM-DD-endpoint-focus.md。技能原话是——没有这份记录就等于改动没有被验证。单元测试不能替代真实测量。第 4 步发布前拿到产品负责人批准凡是客户会看到、会为此付费的决策都要附上调研和实测数据显式地拿到产品负责人批准——不要埋进计划文档或代码默认值里。注意细节如果既有批准已经覆盖了你实际要发布的行为那就直接算数不必重复走流程。第 5 步部署后一天内复查真实流量上线不是终点。技能要求在部署后一天内通过只读的生产分析或一次线上扫描测量改动在真实流量下的表现且结果一旦偏离预期立即上报SKILL.md 第 52–53 行。为什么值得把它用在你的 AI 代理上risky-changes 是典型的流程型技能——没有一行脚本全靠把一套验证纪律写成可执行步骤。结合 effective-agent-skills 中的分类它属于 Pattern B认知纪律类当瓶颈是代理的行为质量而非缺少工具时这类纯流程技能正是解药。它和仓库里其他技能形成互补before-building用户刚提出想法时立刻揪出 1–3 个隐藏的关键决策risky-changes改动进入高风险区域时强制假设 → 调研 → 实测 → 批准 → 复查闭环AGENTS.md全局规则层面也要求修 bug 先从端到端复现开始不许删测试、弱化测试来让任务通过快速上手如何应用这套检查清单给 AI 编码代理或你自己的落地建议改公共接口、数据流、计费、默认值前先问一句这次改动依赖哪些假设假设没证据就停下——先查同行做法、先摸真实数据再写代码用真实用例跑 10–20 个场景结果存档到docs/evals/无记录不算验证影响客户可见行为的决策显式找产品负责人确认上线后一天内回到真实流量上再量一次一句话总结全绿的测试用例只说明代码没写错而一次坏主意式的改动往往错在假设本身没被真实世界检验过。risky-changes 技能做的就是把这道常被跳过的体检变成 AI 代理的标准动作。【免费下载链接】skillsaccess to david ondrejs personal agent skills项目地址: https://gitcode.com/gh_mirrors/skills46/skills创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/17 7:04:08

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/17 5:42:44

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/16 19:23:38

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/17 6:55:04

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/17 5:57:47

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/16 17:28:18

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉