新闻详情

新闻详情

首页 / 资讯中心 / 详情

150+次真实测试:@shadcn/lint如何让AI Agent违规率趋近于零(附成本数据)

发布时间:2026/10/1 13:24:01来源:尧图网络
150+次真实测试:@shadcn/lint如何让AI Agent违规率趋近于零(附成本数据)
150次真实测试shadcn/lint如何让AI Agent违规率趋近于零附成本数据【免费下载链接】lintAn agent-first linter for Tailwind design systems. Write design system rules that agents can verify.项目地址: https://gitcode.com/gh_mirrors/lint3/lintshadcn/lint 是一个面向 Tailwind v4 项目的AI Agent 设计系统 Linter它读取你的组件、变体和主题把设计系统规则变成 Agent 能看懂的诊断信息。官方用 5 个主流模型做了 150 次真实任务测试——反馈后每个模型的违规数从 42~117 降到 0修正成本降低 10%~48%。这篇文章完整拆解它的测试方法、违规率数据和成本数据。什么是 shadcn/lint为 Agent 而生的设计系统 Linter传统 Linter 只会告诉 Agent「这里不允许 padding」而 shadcn/lint 会接着说「Button 自己管理间距用 size 属性sm、lg或者用 margin 控制外部空间——变体定义在 components/ui/button.tsx」。它提供 6 条内置规则覆盖设计系统最常见的「违规姿势」规则抓什么no-restyle用 className 重新覆盖组件外观no-raw-colorsbg-pink-500这类原始色板颜色no-arbitrary-valuesp-[13px]这类任意值no-inline-styles内联 style 和style元素no-unknown-classesTailwind 生成不了的拼写错误require-static-classesbg-${color}这类 Linter 读不到的类关键点是规则可配置、建议来自你自己的设计系统——不需要引入 shadcn/ui也支持 React、Vue、Svelte兼容 ESLint 和 Oxlint。规则细节见 docs/rules.md 和 docs/how-it-works.md。测试设计150 次真实 Agent 任务是怎么跑的评测框架在 packages/evals每个任务跑在一套全新、无上下文的 Agent 上分三组条件对照BeforeAgent 直接生成组件全程没有任何 LinterAfter新 Agent 从上一阶段的原始输出开始拿到任务描述 规则说明 Linter 诊断最多 3 轮修正Rules only对照组同样拿到规则文本但没有诊断信息让 Agent 自查由隐藏的 lint 检查决定是否给下一轮。任务分两类提示词见 packages/evals/tasks/temptation.json 和 packages/evals/tasks/neutral.json诱惑任务8 个故意要求系统外的样式——「粉色圆角胶囊按钮」「精确复刻设计稿13px 内边距」「品牌色 #FF6B35」「让卡片真正跳出来」中性任务8 个完全不带样式语言——「搭建账号设置页」「做一个发票表格」「登录页」考验 Agent 会不会「顺手」改样式。违规率数据从 69 条到 0 条一轮修正先看每个模型各一次代表性运行完整数据见 docs/evals.md模型完成任务反馈前错误反馈后错误Sonnet 58/8690Haiku 4.58/8660Opus 58/8420GPT 5.6 Terra8/81170GPT 5.6 Sol6/8980跨 150 次任务运行只有2 次反馈后违规数非零——而那 2 次是 Linter 自身的 3 个漏洞v3 渐变类误判、原始色经过查找表传递当天修复并补了测试。没有 Agent 使用eslint-disable、内联样式或style元素来「作弊过关」。中性任务同样收敛Sonnet 5 从 14 条违规到 08/8 任务全绿1 轮Haiku 4.5 从 21 条到 0。更值得注意的结论不加强制的模型也会漂移。没有 Linter 时Sonnet 5 单次生成 50~80 条违规、Haiku 4.5 差不多、Opus 5 约 40 条——模型不是不会写样式而是「你要求的东西不在系统里它就照做」。成本数据Linter 诊断省下 10%~48% 修正成本对照组是本文最有说服力的部分同样的起点、同样的规则文本、同样 3 轮机会唯一变量是有没有 Linter 诊断指标Sonnet 5Haiku 4.5Opus 5任务全绿仅规则文本8/87/88/8任务全绿有诊断8/88/88/8平均修正轮数仅规则1.251.571.00平均修正轮数有诊断1.001.001.00修正成本仅规则$3.57$1.41$4.35修正成本有诊断$2.47$0.74$3.93Sonnet 5 省31%Haiku 4.5 省48%Opus 5 省10%一次完整运行生成 修正 8 个任务的成本Haiku 4.5 约 $1.7Sonnet 5 约 $3.6~5.2Opus 5 约 $5.7~8.4弱模型收益最大Haiku 在纯规则模式下有 1 个任务三轮自查都修不好字体 token 声明到了错误命名空间拿到点名指出问题类的诊断后1 轮修好。Linter 的价值不是「强模型做不到」而是结果是自动的、可验证的、便宜的——你不用把规则贴进每条提示词。视觉保真度修好了但没有「修没了」违规清零不等于把设计也删掉了。框架用 Playwright 渲染修复前后的截图由裁判模型打分3 轮取中位数运行意图保留评分Sonnet 52026-09-048/89–10Haiku 4.52026-09-047/89–10Opus 52026-09-107/89–10未判定的 2 对是测试工具限制组件没导出任何页面两边都渲染成空盒子不是设计损失。典型修复长这样bg-[#FF6B35] text-white被改写成组件自己的brand变体——样式落进了组件 API 里而不是消失。官方也诚实地划了边界新 token 和新变体仍需人工评审「lint 通过 ≠ 设计批准」。长期漂移与红队测试模拟一周的真实工作漂移实验8 个中性任务在一个项目里按顺序跑模拟一周开发Sonnet 5 各跑 3 组序列不强制 lint 的项目结束时剩18~23 条违规词汇表从未增长强制 lint 的项目每次都结束于 0变体比开始时更多24 个任务无一使用绕过手段。红队沙盒7 种对抗策略CSS 变量透传原始色、变量里动态拼类、SVGfill属性、组件转导出——5 种被拦截2 种「逃逸」globals.css里的纯 CSS、新造 theme token前者属于 CSS Linter 的职责后者按定义就属于系统内。另外每次发版还会扫描 485 个文件的注册表快照违规数超过 基线当前 602 条就直接构建失败。如何复现这 150 次真实测试完整方法、运行编号和局限性都写在 docs/evals.md运行器是 packages/evals/run.mjs。复现需要模型 CLIClaude 或 Codex并已登录每次运行都是真实付费调用git clone https://gitcode.com/gh_mirrors/lint3/lint cd lint pnpm build node packages/evals/run.mjs --model claude-sonnet-5 # 诱惑任务配对运行 node packages/evals/run.mjs --model claude-sonnet-5 --control # 加规则对照 node packages/evals/fidelity.mjs packages/evals/results/run-id/results.json # 保真度评分预算参考一次配对诱惑运行 Haiku 4.5 约 $2Sonnet 5 约 $4~5Opus 5 约 $6~9加--control大约再多一半。上手与延伸阅读如果你只想在项目里启用它把 SETUP.md 交给你的编码 Agent 即可也可以按 README.md 的 Get started 章节手动配置React/Vue/Svelte × ESLint/Oxlint 共 6 种组合都有示例。装好后在AGENTS.md里写一句「提交前运行npm run lint并修复所有错误」闭环就完成了。想深入的话评测完整数据与运行 IDdocs/evals.mdLinter 如何读取组件、主题与变体docs/how-it-works.md6 条规则的全部选项docs/rules.md合同contracts与自定义消息docs/design-systems.md评测框架入口packages/evals/【免费下载链接】lintAn agent-first linter for Tailwind design systems. Write design system rules that agents can verify.项目地址: https://gitcode.com/gh_mirrors/lint3/lint创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

前序中序构造二叉树:递归分治与哈希表优化 2026/10/1 14:09:53

前序中序构造二叉树:递归分治与哈希表优化

1. 题目到底在问什么:先搞懂前序和中序的关系 很多朋友第一次看到“从前序与中序遍历序列构造二叉树”这个题目,第一反应是:两个序列摆在这儿,怎么就能把一棵树拼回来?其实这个题的核心不是“怎么拼”,而是…

阅读更多 →
深度学习回归实战:从数据预处理到物理约束建模 2026/10/1 14:09:53

深度学习回归实战:从数据预处理到物理约束建模

简介:本资源是一套面向Python深度学习初学者与进阶实践者的回归建模专项学习包,聚焦神经网络在连续值预测任务中的应用,涵盖时间序列预测、汇率走势分析、气候趋势建模等典型场景,适用于高校学生、数据科学入门者及需快速落地回归…

阅读更多 →
Kali Linux中文输入法配置指南:IBus-Pinyin实战调优 2026/10/1 14:09:33

Kali Linux中文输入法配置指南:IBus-Pinyin实战调优

1. 为什么Kali默认不带中文输入法?这不是疏忽,而是设计选择刚装好Kali Linux图形界面的那一刻,你点开终端敲下gedit或firefox,想输入“渗透测试”四个字——光标在那儿一动不动,键盘敲出来的全是英文字母。你下意识去右…

阅读更多 →
Anthropic Claude API实战:从Nice Play到稳定交付的交互设计 2026/10/1 14:09:33

Anthropic Claude API实战:从Nice Play到稳定交付的交互设计

1. 从“Nice Play”说起:一个被低估的交互设计信号 第一次看到“Nice Play Anthropic”这个组合,我脑子里蹦出来的不是某个具体产品,而是一种交互反馈的节奏感。Anthropic这家公司做的东西,圈内人都知道,核心产品是Cla…

阅读更多 →
TensorFlow生产部署核心指南:SavedModel、安装避坑与2024工业落地实践 2026/10/1 14:09:33

TensorFlow生产部署核心指南:SavedModel、安装避坑与2024工业落地实践

1. 这不是“又一个深度学习框架”:TensorFlow 的真实定位与误用重灾区 很多人第一次听说 TensorFlow,是在某篇“2024年最值得学的AI工具”榜单里,和 PyTorch 并列排在前两位;也有人是在安装时被 pip install tensorflow 卡在凌…

阅读更多 →
2024年TensorFlow实战:环境配置避坑与最小项目快速搭建 2026/10/1 14:09:33

2024年TensorFlow实战:环境配置避坑与最小项目快速搭建

2024 年,如果你还在纠结要不要学 TensorFlow,或者已经在 PyTorch 的声浪里犹豫不决,我想以这些年实际做项目的经验先给你交个底:TensorFlow 依然是工程化落地里最靠谱的选择之一。这篇文章不打算做任何新框架的推销,而…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉