新闻详情

新闻详情

首页 / 资讯中心 / 详情

test-guard - llm-app-testing

发布时间:2026/10/2 16:40:56来源:尧图网络
test-guard - llm-app-testing
Test Guard — LLM 应用规则为调用 LLM API、使用智能体/工作流框架LangGraph、CrewAI、自定义状态机或接入可观测性/遥测Langfuse、LangSmith、OpenTelemetry的项目增加的三条规则。在九条核心规则之上应用这些。规则 10提示词测试——测试契约而非内容提示词文本不断变化钉住措辞的测试一周内就会腐烂。不要断言具体的措辞。要测试的提示词模板存在且能无错加载冒烟测试模板变量被正确替换——没有遗留的{placeholder}标记提示词包含所需的结构标记如果调用方解析它们例如 JSON 模式块、解析器分割的分隔符规则 11可观测性是基础设施不要单元测试遥测接线。违规模式是断言追踪/分析 mock 的调用参数# Violation — tests wiring, not behaviormock_tracer.assert_called_once_with(session_id...,tags[...])在测试期间 mock 可观测性调用以防止副作用是可以的而且往往是必要的。只是不要断言 mock 的调用参数。如果遥测坏了仪表板会显示断言接线的单元测试只会破坏重构。规则 12智能体和流程测试测试转换对于智能体框架和状态机测试给定状态加事件流程是否到达正确的下一个状态并设置了正确的字段。Mock LLM 调用以返回受控响应。测试状态进 → 状态出。不要测试传给 LLM 的确切提示词字符串、LLM 调用的次数或内部重试逻辑——这些是实现细节规则 1每次模型升级都会改变。一个有用的模式是转换用例表数据驱动规则 3起始状态、mock 的 LLM 响应、预期的结果状态。严重程度必须修复断言提示词字符串或调用次数的规则 12 违规——它们每次模型/提示词更改都会破坏应该修复规则 10 的措辞断言值得注意规则 11——标记它但不要因为小改动而阻塞
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

YOLOv8源码级入门:从下载到图片识别的完整实践 2026/10/2 19:13:28

YOLOv8源码级入门:从下载到图片识别的完整实践

1. 为什么“下载源码并识别第一张图片”是YOLOv8入门真正的分水岭 很多人以为装好 ultralytics 包、跑通一行 model YOLO(yolov8n.pt) 就算入了门——其实那只是站在YOLOv8的观光台上远远看了一眼。真正踩进门槛的第一步,从来不是调用预训练模型,而…

阅读更多 →
COSCon‘25产研开源协同论坛全解析:从论文到产业落地的协同之路 2026/10/2 19:13:28

COSCon‘25产研开源协同论坛全解析:从论文到产业落地的协同之路

1. 为什么这场论坛值得你关注:从“代码自由”到“产业共赢”做了这么多年开源社区和开发者关系相关的工作,我对“产研协同”这四个字一直有种又爱又恨的感觉。爱的是它代表着开源最健康、最可持续的形态,恨的是这个词很容易被讲成空话。很多高…

阅读更多 →
模型精度与硬件选型:FP16/INT8量化部署避坑指南 2026/10/2 19:13:28

模型精度与硬件选型:FP16/INT8量化部署避坑指南

模型选型和部署走到一定阶段,所有人都会撞上同一个问题:同一个模型,到底该用多少位精度跑,又该配什么样的硬件?前阵子我在做一个人脸检测模型的下发时,FP32版本在服务器上跑得好好的,一搬到边缘…

阅读更多 →
YOLOv8源码级入门:从环境配置到推理链路全解析 2026/10/2 19:13:28

YOLOv8源码级入门:从环境配置到推理链路全解析

1. 这不是“跑个demo”那么简单:YOLOv8源码级入门的真实门槛与价值 你搜“YOLOv8 下载源码并识别你的第一张图片”,点开一堆标题写着“超详细”“0基础小白友好”的教程,结果照着步骤走,卡在 pip install ultralytics 报错、 t…

阅读更多 →
Gemini桌面版Agent工作台:Computer Use与本地文件自动化实战 2026/10/2 19:13:28

Gemini桌面版Agent工作台:Computer Use与本地文件自动化实战

1. 桌面端 AI 工具的定位正在发生什么变化1.1 从“聊天窗口”到“本地执行体”的转变过去两年,大多数人对桌面版 AI 工具的认知还停留在一个对话框上:你问它答,偶尔帮你写段代码、润色一段文字。但如果你最近关注过 Gemini 桌面版的更新方向&…

阅读更多 →
气液固三相反应工程:传质瓶颈、反应器选型与放大避坑指南 2026/10/2 19:13:21

气液固三相反应工程:传质瓶颈、反应器选型与放大避坑指南

说实话,只要碰过加氢小试、放大过浆态床,或者被滴流床压降折磨过的人,听到“气液固三相反应工程”这几个字都会先皱一下眉。气体、液体、固体催化剂挤在同一个反应器里,表面上只是“多了一相”,实际上传质路径、反应器…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉