新闻详情

新闻详情

首页 / 资讯中心 / 详情

实测DeepSeek Harness:AI到底能替测试开发做多少工作?

发布时间:2026/9/26 17:56:28来源:尧图网络
实测DeepSeek Harness:AI到底能替测试开发做多少工作?
1. 为什么我要把 dsh 拉进 Node.js 测试开发流程DeepSeek Harness下面统一叫 dsh是一个把大模型能力封装成可交互工作台的命令行工具能读本地代码和文档、生成用例、写测试脚本、跑命令、分析失败日志。它适合谁适合已经在写 Node.js 服务、手里有一堆接口要测、但不想把每个用例都手敲一遍的测试开发同学。我这次没有泛泛地聊AI 能不能替代测试而是把日常测试开发拆成需求解析、用例设计、脚本编写、执行调度、缺陷定位五个环节逐项交给 dsh 做一遍再逐项打分最后算一笔综合替代度的账。先说结论方向dsh 在重复性强的环节接得住在需要判断的环节只能当参谋。下面所有操作都基于 Node.js 环境模型通道我统一走 TaoToken 的 API这样 Key 管理和成本看得清也方便你在同一套配置里切换模型。整篇给的是可复制的配置骨架、可执行的验证动作以及一张结果对照表你照着跑一遍就能得到自己的分数。2. TaoToken 前置统一 Key 与 API 通道dsh 原生接 DeepSeek 模型也支持通过 LLM 适配器接其他模型。不管接哪个你都需要一个 API Key 和一个 base URL。我这次用 TaoToken 作为统一通道原因是它把 Key 和调用入口收敛到一处测试开发场景里经常要在多个模型间对比效果统一通道省得每个模型配一遍。你需要先拿到 Key。打开官网注册后进入控制台在 API Keys 页面创建一个新 Key复制出来形如sk-xxxx的字符串。这个 Key 只显示一次建议直接写进环境变量而不是硬编码进代码。官网入口https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endAPI Keys 管理页https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewriteAPI 基址不加 UTMhttps://taotoken.net/api注意Key 属于凭证不要提交到 Git 仓库也不要贴进公开的 issue 或聊天记录。用环境变量或本地.env并加入.gitignore是更稳的做法。3. 可复制配置dsh 安装与 Node.js 项目接入3.1 安装 dsh求快的一行流需要本机有 Node.js建议 18 以上npx deepseek-ai/dsh web # 默认 Web UIhttp://127.0.0.1:3080想跟着源码跑、方便看它到底怎么调模型的git clone https://github.com/deepseek-ai/deepseek-harness.git cd deepseek-harness pnpm install pnpm run build pnpm dsh webdsh 当前是 developer preview官方明确说会有破坏性变更所以下面的配置和分数只对当前版本有效。运行模式有标准、PTC、极简、创造四种本次打分全程用标准模式口径统一。3.2 配置模型通道把 TaoToken 的 Key 和 base URL 写进环境变量。Linux/macOSexport DEEPSEEK_API_KEYsk-xxxx export DEEPSEEK_BASE_URLhttps://taotoken.net/apiWindows PowerShell$env:DEEPSEEK_API_KEYsk-xxxx $env:DEEPSEEK_BASE_URLhttps://taotoken.net/api如果你用.env文件管理在项目根目录建一个# .env DEEPSEEK_API_KEYsk-xxxx DEEPSEEK_BASE_URLhttps://taotoken.net/api然后在.gitignore里加一行.env。dsh 启动时会读取这些变量模型请求就会走 TaoToken 通道。3.3 准备一个背景项目为了口径统一五个环节用同一个背景项目一个库存管理 API包含录入、查询、出库三个接口文档放./docs代码放./app。目录结构大概这样inventory-api/ ├── docs/ │ ├── create.md │ ├── query.md │ └── outbound.md ├── app/ │ ├── routes/ │ └── services/ └── tests/每个环节单独下发一次任务避免长链路互相干扰。用例设计环节的提示词样例阅读 ./docs 下的接口文档和 ./app 下的代码提取测试需求 输出用例设计要点包含等价类划分、边界值和异常场景逐条列出 每条写清楚前置条件、操作步骤和预期结果。4. 验证请求五个环节逐项跑一遍4.1 需求解析下发任务后dsh 能从文档和代码里提取入参、出参、错误码。文档写得清楚它提取得就齐但库存为零不允许出库这类没写进文档、只存在于业务方脑子里的规则它不会凭空知道。解析的本质是翻译翻译离不开原文——这一项的分数其实有一半是给文档和代码写得够不够清楚的。验证动作把同一任务换到一份只有口头转述、没有文档的项目上重测解析质量明显下滑。这说明输入质量决定输出质量。4.2 用例设计这是最省人的一环。它给的是具体可执行的用例描述不是测试正常流程这种正确的废话边界值会主动凑成对刚好等于阈值、刚过阈值各一条异常场景也知道往负数、超长字符串、缺字段上想。等价类、边界、异常覆盖较全是全链路里最出彩的一环。4.3 脚本编写形态不错会用 fixture、会参数化断言具体到状态码。但它偶尔会编出不存在的接口或者假设错返回结构每一条都要人看。我们的做法是生成完先跑一遍红的先人工分类——是代码错还是用例错——再决定改哪边。一个典型的生成片段pytest 形态Node.js 项目里可对应改成 Jest/Vitest// 生成后需人工评审的示例 describe(outbound, () { it(库存刚好等于出库量时应成功, async () { const res await request(app).post(/outbound).send({ sku: A1, qty: 10 }); expect(res.status).toBe(200); }); it(库存为零时应拒绝出库, async () { const res await request(app).post(/outbound).send({ sku: A2, qty: 1 }); expect(res.status).toBe(409); }); });4.4 执行调度短板很明显响应速度偏慢任务链一长就容易不稳实测中我们遇到过循环打转反复读同一份日志不往前走另外 API 成本随任务长度放大长任务跑下来账单感受明显。建议拆段下发每段有明确产出物人守在旁边。4.5 缺陷定位算是好参谋给它失败日志它能圈出可疑行、给出几种可能原因的排序。但从可疑到确认中间隔着人工复现和验证这一步它替不了。4.6 结果对照表环节评级一句话结论需求解析可用偏上能从文档和代码里提取输入输出与规则隐性规则会漏需要人补用例设计强等价类、边界、异常覆盖较全是全链路里最出彩的一环脚本编写可用偏上形态良好、断言明确偶有臆造接口必须评审执行调度弱能执行命令但响应偏慢、长任务稳定性不足偶发循环打转缺陷定位可用能从日志里圈出可疑点并给假设确认还得靠人5. 本篇常见错排查5.1 启动报错找不到模型或 401先确认DEEPSEEK_API_KEY和DEEPSEEK_BASE_URL在当前终端会话里生效。PowerShell 里$env:只在当前窗口有效新开窗口要重新设。用echo $DEEPSEEK_API_KEYLinux/macOS或echo $env:DEEPSEEK_API_KEYPowerShell检查是否为空。401 通常是 Key 复制时带了空格或换行。5.2 请求走不通或超时确认 base URL 写的是https://taotoken.net/api不要多加路径后缀。如果公司网络有出口限制先确认能正常访问该域名。dsh 响应偏慢是常态单个环节等几分钟很正常不要误判为卡死。5.3 生成脚本臆造接口这是脚本编写环节的高频问题。对策是生成完先跑一遍红的先人工分类是代码错还是用例错。把真实的路由和返回结构喂给 dsh能明显降低臆造率。5.4 长任务循环打转实测中遇到过反复读同一份日志不往前走。对策是拆段下发每段有明确产出物人守在旁边。这既是为稳定也是为省钱——一次打转就多烧一截 token。5.5 成本随任务长度放大环节越多、打转越多API 账单越明显。把任务拆短、一次说清是控制成本最直接的手段。在 TaoToken 控制台可以看用量方便你对照每个环节的实际消耗。6. 算一笔综合替代度的账最后做个加权粗算权重按我们团队的日常工时占比估仅供参考环节权重可替代度需求解析15%约五成用例设计25%约七成脚本编写25%约六成执行调度20%约三成缺陷定位15%约四成加权下来综合替代度大约一半到三分之二。注意两个口径其一这个数指省下的是重复劳动的时间还没扣评审耗时把评审算进去净收益还要打折其二替代度高的恰好是重复性强的环节替代度低的恰好是需要判断的环节——这不是巧合。所以结论很干脆AI 替代的是重复劳动不是判断力。铺用例量、写脚本骨架、跑命令、翻日志这些 dsh 接得住定测试策略、定验收标准、拍板风险依然是人的事。它是强力助手不是无人值守的替代者。如果你想把这条链路跑顺建议先把 Key 和通道固定下来再逐环节验证。模型对话入口可以在这里试https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_contentchatutm_campaignrewrite 长期做编码和 Agent 任务的话Coding Plan 更划算https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding_planutm_campaignrewrite 接入细节看文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

个人AI知识库搭建实战:从碎片信息到智能检索的完整指南 2026/9/26 18:49:36

个人AI知识库搭建实战:从碎片信息到智能检索的完整指南

1. 先搞清楚:我到底想要什么样的知识库先说个背景。我平时的工作流里散落着大量信息:网页书签、PDF论文、产品文档、微信群里的长文、随手记的灵感碎片,还有自己写过的各种复盘和方案。以前这些东西分别躺在浏览器收藏夹、网盘、Notion、备忘…

阅读更多 →
Claude 集成 Xcode 配 TaoToken:三分钟原生 iOS 开发配置与验证 2026/9/26 18:49:36

Claude 集成 Xcode 配 TaoToken:三分钟原生 iOS 开发配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

阅读更多 →
Coze+SQLBot 3分钟让你的智能体学会“读心”问数!TaoToken 统一 Key 配置实战 2026/9/26 18:49:36

Coze+SQLBot 3分钟让你的智能体学会“读心”问数!TaoToken 统一 Key 配置实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

阅读更多 →
2026 混合推理落地:用 TaoToken 统一 Key 打通本地 SLM 与云端大模型 2026/9/26 18:49:36

2026 混合推理落地:用 TaoToken 统一 Key 打通本地 SLM 与云端大模型

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

阅读更多 →
图形化自动判题系统 Scratch OJ 2026/9/26 18:49:36

图形化自动判题系统 Scratch OJ

CCF GESP图形化编程认证已正式采用Scratch OJ(Online Judge)自动测评模式。为帮助师生无缝衔接考试标准,码学堂(mxt.cn)开通了Scratch OJ功能,完整覆盖出题、组卷、答题、学情分析全流程。 一、双模式评测体系 根据题目类型与教…

阅读更多 →
AI辅助编程实战:用Claude推进Paint.NET的Linux移植 2026/9/26 18:49:30

AI辅助编程实战:用Claude推进Paint.NET的Linux移植

1. 一个拖了十二年的移植执念,到底卡在哪 Paint.NET 这个软件,Windows 老用户应该都不陌生。它从 2004 年发布至今,一直是 Windows 平台上最受欢迎的免费图像编辑工具之一,定位介于系统自带的画图程序和 Photoshop 之间&#xff0…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉