新闻详情

新闻详情

首页 / 资讯中心 / 详情

Jev :Agent 又慢又贵的根因,是决策环节的冗余调用?

发布时间:2026/11/8 19:05:25来源:尧图网络
Jev :Agent 又慢又贵的根因,是决策环节的冗余调用?
Agent 每走一步都在做判断这条消息紧急吗、这个工单转给哪个部门、这条命令该直接执行还是先问人。这些题的答案就是个结构化结论——是/否、A 还是 B——模型根本不需要写一段话来推理。 Agent每做一次判断就得把整段上下文喂给大模型、等它生成一整段文本进行一次完整的 LLM 调用。一个 agent 跑几十步就有几十次这种冗余。Jev 和 JevHarness 要做的就是给这层判断单独造一个便宜的引擎。 一、Jev 是什么一个只做判断、不说话的模型 Jev 是 TypeSafe AI 九月发布的模型官方叫System One 模型。名字借自 Kahneman 的「快慢系统」聊天大模型是慢思考系统二边想边逐字生成Jev 是快思考系统一不生成文本只给结构化判断。它怎么用——你给它一个state当前上下文和一组questions关于这个 state、你事先定义好的问题它返回类型化答案加概率。 一次请求里三种问题可以混着问、并行评估加问题几乎不增加延迟。三种问题类型Noul这句话为真的概率0~1。例这条消息紧急吗 → 0.999。Choice从你给的选项里挑一个返回每个选项概率加置信度最多 255 个选项。例工单转哪个部门 → {账单 0.92, 技术 0.05, 销售 0.03}。Score按你定的有序等级打分返回连续分数。例紧急程度低/中/高 → 0.78 偏「高」。关键设计输出结构是你事先定义的。statequestions进去模型只能在你列的 A/B/C 里选。它不可能凭空编个 D也不可能突然吐一段小作文。为什么快又便宜非自回归传统 LLM 一个 token 一个 token 往外蹦每步依赖前一步Jev 一次前向计算并行输出所有决策的概率分布端到端 70~500ms。RLCD 训练用「面向校准决策的强化学习」替代 RLHF优化目标不是「人类更喜欢」而是「校准过的概率」——它说 70% 把握真实准确率就约 70%。这点是自动化工作流的关键因为你敢按置信度分流高置信自动、低置信人工。定价输入 $0.042 / 百万 token输出免费输出是概率分布不值得计费。官方称同类任务比前沿 LLM 快 40~200 倍、便宜约两个数量级。二、Jev 怎么接进你的 Agent 接 Jev 不用重做你的 Agent只在那些「规则写不死、又不想为它再调一次 LLM」的判断点上用官方 SDK typesafe_sdk把当前上下文塞进state把要判断的题列进questions拿回带概率的答案直接进if。code-snippet__jsfrom typesafe_sdk import Choice, Noul, Score, TypeSafeClientclient TypeSafeClient() # 读 TYPESAFE_API_KEY默认 jev-latestticket “我连 Stripe 三天了还失败急”resp client.system_one(stateticket,questions{“is_urgent”: Noul(instructions“这条消息是否表达了紧急或时效压力”),“department”: Choice(instructions“该转给哪个团队”,criteria{“billing”: “支付/发票/退款”,“technical”: “Bug/故障/对接”,“sales”: “报价/升级/新开”},),“frustration”: Score(instructions“客户有多生气”,criteria[“平静陈述”, “不满但克制”, “暴怒”],),},)总结 Agent 运行时真正烧钱的大头是决策环节的冗余调用。Jev 把决策层从执行层剥开便宜的做便宜的判断贵的只在真要深想时出场。这层以前被大厂闭源藏起来现在成了谁都能装的开源件。未来 Agent 架构会分层——规则、决策Jev、推理LLM、执行、复核各司其职而不是一个万能 LLM 硬扛。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/7 13:27:02

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/8 2:22:29

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/8 8:25:50

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/7 22:37:56

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/8 3:02:34

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/8 3:02:33

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉