新闻详情

新闻详情

首页 / 资讯中心 / 详情

如何用 DeepSeek 配 TaoToken 实现自动化测试:settings.json 骨架与验证动作

发布时间:2026/11/18 13:21:29来源:尧图网络
如何用 DeepSeek 配 TaoToken 实现自动化测试:settings.json 骨架与验证动作
1. 为什么要在 CI 里让 DeepSeek 写测试用例自动化测试最费时间的环节往往不是跑用例而是写用例。接口改一个字段断言要跟着改新加一个业务分支就得补一组参数化数据。DeepSeek 这类模型擅长把「自然语言描述的需求」翻译成 pytest 代码正好补上这块人力。但直接把模型塞进 CI 有两个现实问题一是 Key 散落在各个仓库的 secrets 里轮换一次要改十几个地方二是不同模型、不同供应商的 Base URL 和鉴权格式不统一脚本里到处是 if-else。我这次要搭的闭环是CI 流水线触发 → 调用 DeepSeek 根据接口描述生成测试用例 → 写入临时测试文件 → 执行冒烟脚本 → 断言通过后归档报告。整条链路里模型调用统一走 TaoToken 的 API 通道Key 只维护一份settings.json 作为配置骨架被脚本读取。这样换模型、换供应商只改配置不动测试代码。适合谁看已经在用 GitHub Actions / GitLab CI 跑 pytest想让模型参与用例生成又不想把鉴权逻辑写死的测试或运维同学。下面从配置骨架开始一步步把可运行的验证动作做出来。2. TaoToken 前置统一 Key 与 API 通道TaoToken 在这里扮演的角色是「统一入口」它提供 OpenAI 兼容的 API 格式DeepSeek 的模型通过它调用Base URL 和 Key 都收敛到一处。你不需要在 CI 里分别配置 DeepSeek 官方地址和 TaoToken 地址脚本只认一个base_url。先拿到 Key。访问控制台创建 API Keyhttps://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite创建后复制以sk-开头的字符串存到 CI 的 Secret 里命名建议TAOTOKEN_API_KEY。本地调试可以放到.env但别提交。API 通道地址是https://taotoken.net/api兼容 OpenAI 的/v1/chat/completions路径。也就是说任何支持自定义 Base URL 的 OpenAI SDK 都能直接指向它。模型名填deepseek-chat即可这是 DeepSeek 的对话模型标识。如果你更习惯用现成的编码 Agent 来生成测试可以看 Coding Plan 的接入方式它把模型调用和代码生成串好了https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite接入文档里有各语言 SDK 的 Base URL 填法遇到 401 或路径 404 时对照排查https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite注意Key 只放环境变量不要写进 settings.json 提交到仓库。settings.json 里用占位符引用环境变量名。3. 可复制的 settings.json 配置骨架settings.json 的定位是「测试生成器的配置中心」模型参数、输出路径、超时、重试都在这里脚本读它CI 也读它。下面这份骨架可以直接复制字段按注释替换。{ llm: { provider: taotoken, base_url: https://taotoken.net/api, api_key_env: TAOTOKEN_API_KEY, model: deepseek-chat, temperature: 0.2, max_tokens: 2048, timeout_seconds: 60, max_retries: 3 }, generation: { prompt_template: prompts/gen_tests.md, output_dir: tests/generated, overwrite: true, language: python, framework: pytest }, smoke: { target_file: tests/generated/test_smoke_generated.py, run_command: pytest -q tests/generated/test_smoke_generated.py, report_path: reports/smoke.xml } }几个关键点说明。temperature设 0.2 是为了让生成的测试代码稳定别太发散max_retries配合下面的脚本做指数退避CI 网络抖动时不至于直接失败。prompt_template指向一个 Markdown 文件里面写清楚「根据以下接口描述生成 pytest 用例必须包含断言」这类约束比把提示词硬编码在脚本里好维护。output_dir和target_file分开是为了让生成的文件名可预测冒烟脚本能直接定位。report_path用 JUnit XML 格式CI 平台大多能直接解析。读取配置的 Python 片段import json import os def load_settings(pathsettings.json): with open(path, r, encodingutf-8) as f: cfg json.load(f) api_key os.environ.get(cfg[llm][api_key_env]) if not api_key: raise RuntimeError(f缺少环境变量 {cfg[llm][api_key_env]}) cfg[llm][api_key] api_key return cfg这样 Key 从环境变量注入settings.json 本身可以安全地进版本库。4. 生成到断言的完整验证动作先写提示词模板prompts/gen_tests.md把接口描述和输出要求讲清楚你是一个测试工程师。根据下面的接口描述生成 pytest 测试用例。 要求 1. 使用 requests 库调用接口base_url 从环境变量 API_BASE 读取。 2. 每个用例必须有 assert 断言覆盖正常返回和至少一个异常入参。 3. 只输出 Python 代码不要解释不要 Markdown 代码块标记。 接口描述 {{INTERFACE_DESC}}生成脚本gen_tests.py调用 TaoToken 的兼容接口import json import time import requests from pathlib import Path from settings_loader import load_settings def build_prompt(cfg, interface_desc): tpl Path(cfg[generation][prompt_template]).read_text(encodingutf-8) return tpl.replace({{INTERFACE_DESC}}, interface_desc) def call_llm(cfg, prompt): url cfg[llm][base_url].rstrip(/) /v1/chat/completions headers { Authorization: fBearer {cfg[llm][api_key]}, Content-Type: application/json, } payload { model: cfg[llm][model], messages: [{role: user, content: prompt}], temperature: cfg[llm][temperature], max_tokens: cfg[llm][max_tokens], } last_err None for attempt in range(cfg[llm][max_retries]): try: resp requests.post( url, headersheaders, jsonpayload, timeoutcfg[llm][timeout_seconds], ) resp.raise_for_status() return resp.json()[choices][0][message][content] except Exception as e: last_err e time.sleep(2 ** attempt) raise RuntimeError(f调用失败: {last_err}) def main(): cfg load_settings() desc Path(interface_desc.txt).read_text(encodingutf-8) code call_llm(cfg, build_prompt(cfg, desc)) out Path(cfg[generation][output_dir]) out.mkdir(parentsTrue, exist_okTrue) target out / test_smoke_generated.py target.write_text(code, encodingutf-8) print(f已生成 {target}) if __name__ __main__: main()interface_desc.txt里写你要测的接口比如GET /api/v1/users/{id} 返回 JSON: {id: int, name: str, email: str} id 不存在时返回 404。跑一次生成export TAOTOKEN_API_KEYsk-你的key python gen_tests.py生成的tests/generated/test_smoke_generated.py大致长这样import os import requests BASE os.environ[API_BASE] def test_get_user_ok(): r requests.get(f{BASE}/api/v1/users/1, timeout5) assert r.status_code 200 body r.json() assert isinstance(body[id], int) assert isinstance(body[name], str) def test_get_user_not_found(): r requests.get(f{BASE}/api/v1/users/999999, timeout5) assert r.status_code 404执行冒烟export API_BASEhttp://localhost:8000 pytest -q tests/generated/test_smoke_generated.py --junitxmlreports/smoke.xml成功时输出类似2 passed in 0.42s到这里从「接口描述」到「断言通过」的闭环就跑通了。CI 里把gen_tests.py和pytest串成两个 step 即可生成失败会因重试机制自动兜底。5. 本篇常见错排查401 Unauthorized九成是 Key 没注入。检查 CI Secret 名是否和 settings.json 里的api_key_env一致本地确认echo $TAOTOKEN_API_KEY有值。别把 Key 直接写进 settings.json。404 Not FoundBase URL 拼错。正确是https://taotoken.net/api脚本里再拼/v1/chat/completions。如果 SDK 自己会补/v1就别重复加否则变成/v1/v1/...。生成的代码带 Markdown 围栏模型偶尔会输出 python 包裹。提示词里已经要求「不要 Markdown 标记」若仍出现在写入前加一层清洗def strip_fence(code: str) - str: lines code.strip().splitlines() if lines and lines[0].startswith(): lines lines[1:] if lines and lines[-1].startswith(): lines lines[:-1] return \n.join(lines)断言太弱或没有断言把提示词里的「必须有 assert」写得更具体比如「至少一个状态码断言和一个字段类型断言」。temperature 再降到 0.1 也有帮助。超时CI 网络慢时把timeout_seconds调到 90max_retries保持 3。重试间隔用指数退避别固定 1 秒猛打。生成文件覆盖了手写用例output_dir单独放tests/generated别和手写测试混在一起。overwrite设 true 只影响生成目录。6. 把闭环接进 CI 与后续动作GitHub Actions 里两个 step 就够- name: Generate tests env: TAOTOKEN_API_KEY: ${{ secrets.TAOTOKEN_API_KEY }} run: python gen_tests.py - name: Run smoke env: API_BASE: http://localhost:8000 run: pytest -q tests/generated/test_smoke_generated.py --junitxmlreports/smoke.xml想验证模型本身是否正常可以先用模型对话页面发一条消息确认通道通https://taotoken.net/model-chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel-chatutm_campaignrewrite长期在 CI 里跑生成任务Key 用量和并发会上去Coding Plan 更适合这种持续编码场景https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewriteKey 管理和轮换在控制台完成新 Key 建好后只改 CI Secretsettings.json 不用动https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite接口路径或鉴权格式有疑问时翻接入文档里面有各语言示例https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite实测下来这套骨架最省心的地方是配置和代码分离换模型只改 settings.json 的model字段换供应商只改base_url测试脚本一行不动。生成目录独立也避免了模型输出污染手写用例。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/18 21:21:17

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/18 14:20:46

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/18 20:01:42

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/18 11:04:06

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/18 15:55:22

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/18 21:21:16

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉