新闻详情

新闻详情

首页 / 资讯中心 / 详情

Bert回顾与Jev初探

发布时间:2026/11/13 10:45:51来源:尧图网络
Bert回顾与Jev初探
最近Jev非常火我看了一下似乎是炒冷饭。好像是决策树校正。有的人提到的很像Bert我看确实有点像。很久没碰到Bert这里简单回顾并探讨一下与Jev的关系。Bert 简单回顾BERT 是一种基于 Transformer Encoder 的双向预训练语言模型通过大规模文本预训练获得通用语言表示再通过微调解决各种自然语言理解任务。BERT 的整体结构基于 Transformer 的 Encoder编码器。与传统从左到右或从右到左读取文本的语言模型不同BERT 能同时利用一个词左右两侧的上下文信息因此被称为**“双向”语言模型**。例如在句子“我去银行办理业务”和“河流两边都有银行”中BERT 可以结合上下文学习“银行”在不同语境下的含义。BERT 的输入通常由三类 Embedding 相加得到Input Embedding Token Embedding Segment Embedding Position Embedding其中Token Embedding 表示词或子词本身Segment Embedding 用于区分不同句子Position Embedding 用于表示词在句子中的位置。输入序列中还会使用一些特殊符号例如 [CLS] 通常放在句首可用于文本分类[SEP] 用于分隔两个句子[MASK] 用于预训练阶段的词语遮盖。BERT 的重要特点是采用“预训练 微调”的范式。预训练完成后只需要在 BERT 后增加一个较简单的任务层并使用少量标注数据进行微调就可以应用到很多 NLP 任务例如文本分类、情感分析、命名实体识别、机器阅读理解、问答系统、文本匹配和信息抽取等。两个预训练任务MLMMasked Language Model是对输入中的一部分 Token 做掩码然后让 BERT 预测原来的 Token 是什么。NSPNext Sentence Prediction用于判断句子 B 是否为句子 A 的真实下一句帮助 BERT 学习句子之间的关系。后来研究发现原始 NSP 任务较简单、收益有限因此 RoBERTa 等后续模型直接取消了这一训练目标。一个简单的Bert 项目复现Mini-BERT-PyTorchJev 初探Jev 是 TypeSafe AI 在 2026 年 9 月 15 日发布的首个 System One Model。它的定位不是聊天或生成文本而是做快速、结构化的判断输入一段状态或文本再给出你希望模型回答的结构化问题Jev 直接输出选择、分数或概率。TypeSafe 把它概括为“非结构化状态输入类型化概率决策输出”。例如给 Jev输入“用户说信用卡被重复扣款两次。”问题这个工单属于哪个类别候选A. 登录问题B. 支付问题C. 产品咨询D. 其他输出支付问题0.96产品咨询0.02其他0.015登录问题0.005目前 Jev API 主要提供三类判断Choice 是从预定义候选项中选择Score 是按照给定等级进行评分Noul 则是对一个是/否判断返回概率。官方 API 直接把这些作为结构化类型而不是要求模型生成 JSON 字符串再解析。下面这张表更直观地看 Jev 适合做什么、不适合做什么场景输入示例Jev 输出典型用途二分类判断“这笔交易是否可疑”Yes 96% / No 4%风控、审核、反欺诈多分类“这封邮件属于什么类型”退款 82%、技术 12%、其他 6%客服工单分类、邮件路由优先级判断“这个工单有多紧急”High / Medium / Low客服、运维、事故处理内容审核“这段内容是否违反规则”Violation 91%社区审核、UGC 平台Agent 路由“下一步应该调用哪个工具”Search 70%、Database 25%、Human 5%AI Agent 工作流线索筛选“这个客户是否值得销售跟进”Qualified 87%CRM、销售线索筛选文档判断“这份合同属于哪种类型”NDA 94%法务文档分类异常检测辅助“这个日志是否需要人工检查”Review 78%运维、安全监控决策置信度“应该自动批准还是人工审核”Approve 55%、Review 45%设置自动化阈值结构化 AI 决策给定业务状态和几个固定选项每个选项的概率替代复杂的 AIif/else逻辑Jev 更像一个 “决策模型”特别适合这种问题输入一堆上下文然后从有限选项里做选择并给出置信度。比如“要不要批准”“应该走哪个流程”“这个请求属于哪一类”“下一步调用哪个工具”。Jev相关实践项目Awesome JEVBert 与 Jev 对比BERT 擅长“理解后做固定任务”Jev 想做的是“理解后根据你临时给出的标准直接做决策”。模型主要输出典型用途BERTToken /[CLS]向量分类、NER、文本理解GPT 类 LLM下一个 Token对话、写作、代码、生成Jev选项 / 分数 / 概率分类、路由、评分、决策比较有意思的地方它站在 LLM 和传统 ML 之间——保留了对自然语言和复杂上下文的理解能力但输出方式更像传统决策模型。TypeSafe 还特别强调其输出的类型约束以及概率/置信度校准不过目前这些性能主张主要来自 TypeSafe 自己发布的评测。以上仅供参考。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/13 0:43:49

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/12 23:59:09

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/13 10:09:00

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/12 9:25:38

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/12 15:57:44

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/13 0:02:27

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉