新闻详情

新闻详情

首页 / 资讯中心 / 详情

Comet × LangSmith集成指南:把Agent Skill评估与Trace追踪带入企业生产环境

发布时间:2026/11/19 14:56:35来源:尧图网络
Comet × LangSmith集成指南:把Agent Skill评估与Trace追踪带入企业生产环境
Comet × LangSmith集成指南把Agent Skill评估与Trace追踪带入企业生产环境【免费下载链接】cometComet: agent skill harness for turning ideas into evaluated workflows项目地址: https://gitcode.com/rpamis/cometComet是一个面向 Agent 的 Skill 评估与运行框架agent skill harness for turning ideas into evaluated workflows内置的comet eval评估系统自带LangSmith 集成套件一次评估运行即可把 Skill 评估结果、Rubric 分数、Token 成本与 Claude Code 完整 Trace 轨迹同步到你的 LangSmith 项目让 Agent Skill 的质量评估从本地跑个报告升级为企业级的可观测、可对比、可回溯的生产实践。一、为什么要把 Comet 评估接入 LangSmithComet 的comet eval默认使用local 套件报告写在项目本地的.comet/eval/runs/里适合日常开发。但进入团队协作或生产环境后你通常需要评估数据集中存储按项目/团队统一审计对比不同 Skill 版本、不同模型、有无 Skill 注入CONTROL对照的效果差异出问题时逐轮查看 Agent 的工具调用轨迹而不只是一张汇总表。这正是 Comet 的langsmith套件要解决的问题它复用与 local 套件完全相同的任务集、treatment 组合与 Rubric 判据只把结果上报层切换到 LangSmith无需重写任何评估定义。官方说明见 docs/operations/EVAL-USAGE.md中文版本docs/operations/EVAL-USAGE-ZH.md。二、集成后你的 LangSmith 项目里会有什么LangSmith 概念Comet 映射你能看到什么Dataset example每个评估任务任务输入 预期产物、必需 Skill、Rubric 判据Experiment每个 treatmentSkill 组合CONTROL与注入 Skill 的实验并排对比Run outputs每次运行轮次数、工具调用数、耗时、Token、成本、调用的 SkillFeedback scoresRubric 各维度 检查通过率rubric.*分项分数与checks_pass_rate嵌套 TraceClaude Code 完整轨迹逐轮对话、工具调用细节三、三步完成集成第 1 步获取仓库并配置 API Keygit clone https://gitcode.com/rpamis/comet cd comet/eval uv sync --extra langsmith然后在eval/.env或eval/langsmith/.env中配置三个变量即可LANGSMITH_API_KEYlsv2_pt_... LANGSMITH_PROJECTcomet-skill-eval LANGSMITH_TRACINGtrue Comet 会从这组LANGSMITH_*配置自动派生Claude Code 官方轨迹插件所需的TRACE_TO_LANGSMITH、CC_LANGSMITH_API_KEY、CC_LANGSMITH_PROJECT通常你不需要手动设置任何CC_*变量见 eval/langsmith/README.md。第 2 步运行 LangSmith 评估套件最简方式——直接用 CLI 的--suite langsmith它会读取上述环境变量、准备轨迹插件并写入项目本地报告comet eval ./my-skill --suite langsmith --html也可以走 pytest 路径做实验对比一个 treatment 对应一个 experiment用LANGSMITH_EXPERIMENT命名便于在对比页并排查看LANGSMITH_EXPERIMENTCOMET_FULL_040_BETA \ uv run pytest langsmith/tests/tasks/test_tasks.py \ --taskcomet-fix-median --treatmentCOMET_FULL_040_BETA -v LANGSMITH_EXPERIMENTCONTROL \ uv run pytest langsmith/tests/tasks/test_tasks.py \ --taskcomet-fix-median --treatmentCONTROL -v套件默认通过BENCH_TASKS_DIR等环境变量复用 eval/local/ 中的任务、treatment 与 Skill 库机制定义在 eval/langsmith/tests/conftest.py所以你在 LangSmith 里看到的评估口径与本地报告完全一致。CLI 侧的实现入口是 app/commands/eval.ts。第 3 步可选启用 Claude Code 全链路轨迹只需保持LANGSMITH_TRACINGtrue。首次运行时套件会用node:20容器把官方langsmith-tracing插件一次性构建到eval/.cache/langsmith-cc-plugin缓存目录之后运行直接复用并只读挂载进任务容器。轨迹会通过CC_LANGSMITH_PARENT_DOTTED_ORDER嵌套在对应的 run 下。几点行为保证便于生产环境放心使用轨迹追踪是best-effort插件缺失或构建失败时只跳过轨迹Rubric 与 treatment 对比照常上报不会弄挂评估想固定版本或关闭自动构建可设置CC_LANGSMITH_PLUGIN_DIR指向宿主机插件目录或CC_LANGSMITH_PLUGIN_AUTO_BUILDfalse。四、如何在 LangSmith 里读结果先看实验对比页同一任务下CONTROL与注入 Skill 的实验并排放置rubric.*分数与checks_pass_rate一眼可见优劣再看单 run 详情轮次数、工具调用、Token 与成本异常时下钻到嵌套的 Claude Code Trace 定位具体哪一步走偏失败归因本地 HTML 报告同时会给出 harness / workflow / task / model 四级 failure attribution可用来区分评估环境问题和Skill 真实能力问题。五、常见问题速查现象原因与处理环境里开了 tracingLangSmith 却没有任何 experiment未加--suite langsmith。Local 套件不会创建 LangSmith 实验必须显式选择 langsmith 套件运行被跳过、提示凭据缺失套件对非单元测试运行强制校验LANGSMITH_API_KEY配置到eval/.env即可只有分数没有轨迹轨迹插件未就绪。等待首次自动构建完成或用CC_LANGSMITH_PLUGIN_DIR指定已构建插件目录只想低成本冒烟comet eval ./my-skill --quick --html使用固定 smoke 任务不消耗完整评估六、延伸资料评估套件总览与排错指引docs/operations/EVAL-USAGE-ZH.mdLangSmith 套件安装、运行与轨迹插件细节eval/langsmith/README.md套件环境装配与插件自动构建逻辑eval/langsmith/tests/conftest.py上报封装inputs / outputs / feedback实现eval/langsmith/tests/tasks/test_tasks.py可复用的任务与 treatment 语料库eval/local/LangSmith CLI 命令实现app/commands/eval.ts按这套流程走下来你的 Agent Skill 评估就同时拥有了本地 HTML 报告快速反馈与LangSmith 集中观测生产审计双通道——同一套任务、同一套 Rubric数据口径完全一致可以直接支撑版本回归与模型选型的量化决策。【免费下载链接】cometComet: agent skill harness for turning ideas into evaluated workflows项目地址: https://gitcode.com/rpamis/comet创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/18 21:21:17

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/18 14:20:46

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/18 20:01:42

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/18 11:04:06

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/18 15:55:22

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/18 21:21:16

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉