新闻详情

新闻详情

首页 / 资讯中心 / 详情

Jev02:为什么又快又便宜

发布时间:2026/11/17 7:23:22来源:尧图网络
Jev02:为什么又快又便宜
Jev 为什么又快又便宜单次前向传播、并行评估与强类型输出“快 193 倍、便宜 444 倍”是官方给的上限值。真正的价值不在这个数字本身而在它背后的架构选择把判断从“逐字生成”改成“一次算完”。一、先看那组数字TypeSafe 官方在偏高端工作流上给出的对比项目Jev当红旗舰模型输入价格每百万 token$0.042约 $10输出价格每百万 token$0免费约 $50端到端延迟70~500 毫秒3~329 秒这里要保留一个前提这是上限值不是所有任务都能拿到同样的提升。输出为什么免费因为 Jev 不生成文字。LLM 的输出要逐 token 解码生成越多收费越高Jev 的输出本质是前向传播的中间结果就是一个选项编号、一个分数、一个概率。二、传统 LLM 做判断慢在哪里、贵在哪里LLM 做一次判断通常有四步步骤在干什么成本来源1. 理解输入读取状态数据输入 token 费用2. 内部推理组织判断逻辑耗时间3. 组织语言把判断写成一段话输出 token 费用4. 逐字生成一个字一个字输出主要时间开销业务上只需要一个“A 还是 B”模型却要生成 100 字解释。真正拖慢速度的是自回归上一个 token 生成完才能生成下一个 token。真正推高成本的是输出计费解释越长费用越高。一组第三方实测同一段客服文本分类DeepSeek V4.1 Flash 平均 11.3 秒Jev 平均 1.0 秒快约 11 倍。LangChain 的 100 次智能体评测里Claude Sonnet 4.6 当裁判总成本 $28.17Jev 当裁判总成本 $0.34差约 83 倍。还有一个隐性成本输出不可控。要 JSON 可能包 Markdown要 A/B/C 可能多一句“我认为……”这些都要在应用侧付出解析和容错代价。三、Jev 的三件事1. 架构放弃自回归生成传统 LLM 是生成式先输出文本再从文本里解析结果。Jev 是判别式直接在预定义选项上算概率分布。# 传统 LLM先生成再解析responsellm.generate(这封邮件该分给哪个部门售前/售后/技术/账务)# response 我认为应该分给售后部门因为用户提到了退款问题...categoryparse_from_text(response)# Jev直接得到结构化结果resultjev.ask(state这封邮件说我被扣了两次钱想要退款,questions[{type:choice,question:该分给哪个部门,options:[售前,售后,技术,账务]},],)categoryresult[该分给哪个部门][choice]官方宣称 0% 类型错误率。这是结构保证不是经验统计输出空间从一开始就被限定在定义的 schema 内。2. 并行评估一次问完所有问题传统做法是串行一个问题接一个问题。Jev 在同一个请求内并行评估所有问题。官方 cookbook 给出一组数据做法耗时成本13 次顺序调用基准基准1 次并行调用13 个问题快 10 倍便宜 12.2 倍因为 Jev 不生成 token所有问题在同一次前向传播中同时得出。工程上应尽量把相关问题打包resultjev.ask(statecustomer_message,questions[{type:choice,question:该分给哪个部门,options:[售前,售后,技术,账务]},{type:score,question:客户情绪有多愤怒,scale:[1,2,3,4,5,6,7,8,9,10]},{type:noul,question:用户是否明确要求退款},{type:choice,question:紧急程度,options:[低,中,高,紧急]},],)3. 输出强类型免解析对比传统 LLMJev输出形式自由文本选项 / 分数 / 概率是否需要解析需要不需要格式错误风险经常出现结构保证 0%额外开发成本解析 错误处理几乎没有四、第三方实测用数据说话苹果年报召回判定测试设计20 份 Apple 年报、25 个按年份锚定的问题、79 个样本对对比生产环境的 DeepSeek V4.1 Flash。指标Baseline LLMJev对比准确率92.2%92.2%打平平均时延11.3 秒1.0 秒快 11 倍单次成本$0.0006~0.001约 $0.000177便宜 3.5~5.6 倍一个反直觉的细节Jev 输入 token 反而更多但总价更低因为它没有 reasoning 输出这条计费线。LangChain 官方 Jev-as-a-Judge裁判与人工基准一致率单次成本平均时延Jev100%$0.000350.44 秒GPT 5.6 Terra99.8%$0.002892.83 秒GPT 5.6 Luna96.4%$0.000392.50 秒Claude Sonnet 4.680.0%$0.028112.16 秒Jev 不只便宜质量评分方差也远低于 LLM 裁判意味着它在评估任务中更稳定。五、五条工程纪律一次问完所有问题并行评估13 个问题一次调用比 13 次顺序调用便宜 12.2 倍、快 10 倍。组合评分权重握在自己手里把大问题拆成多个 Score用业务系数加权调阈值不重写提示词。置信度三段治理高置信自动执行、中置信请用户确认、低置信转人工。state 只放问题需要的内容塞入无关信息会导致准确率下降。数字、日期、计数留在代码里算Jev 不擅长精确算术和日期比较。六、快和便宜的真正前提快是因为不逐字生成便宜是因为输出不收费且并行摊薄成本。但这一切都有前提问题必须是“有限解空间、高实时要求、结构化输出”的判断。放对位置Jev 是 Agent 的加速器放错位置它只是个会更快犯错的分类器。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/17 7:04:08

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/17 5:42:44

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/17 19:43:34

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/17 6:55:04

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/17 5:57:47

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/17 19:43:32

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉