新闻详情

新闻详情

首页 / 资讯中心 / 详情

用GLiNER2.5-Multi做命名实体识别完全实操:从定义实体标签到置信度调优

发布时间:2026/11/18 14:50:27来源:尧图网络
用GLiNER2.5-Multi做命名实体识别完全实操:从定义实体标签到置信度调优
用GLiNER2.5-Multi做命名实体识别完全实操从定义实体标签到置信度调优【免费下载链接】gliner2.5-multi-v1项目地址: https://ai.gitcode.com/hf_mirrors/fastino/gliner2.5-multi-v1做命名实体识别NER还要写规则、调标注不一定。GLiNER2.5-Multi 是一个开箱即用的多语言命名实体识别模型你只需要用一句标签定义就能告诉它要找什么——人名、药品名、甚至公司内部的黑话都能直接抽取出来。本文带你从零实操一遍安装、定义实体标签、跑通第一次抽取最后重点讲置信度调优让结果敢上线。一、先认识 GLiNER2.5-Multi它为什么适合新手GLiNER2.5-Multi 属于 GLiNER2.5 系列中的多语言边界架构boundary检查点基于 mDeBERTa-v3-base 编码器约287M 参数支持跨语言的信息抽取。相比老式 NER 管线它有几个对新手很友好的特点无需固定标签体系每次调用时临时传入实体标签列表换业务场景不用重新训练无需标注数据标签可以只给名字也可以附上一句中文/英文描述模型靠语义理解去匹配本地推理即可CPU、CUDA、MPS 都能跑不依赖外部 API不止 NER同一个模型还能做文本分类、关系抽取、结构化记录抽取一个模型干多件事你可以把它的定位理解成给一句标签说明它帮你从文本里划出实体。二、快速安装一条命令搞定环境要求 Python 3.10 及以上。安装时带上[local]后缀会自动引入本地推理所需的依赖pip install gliner2[local]安装完成后模型检查点即本仓库的核心文件如下理解它们的作用能帮你排查加载问题文件作用model.safetensors模型权重文件约 594 MBFP16 为主config.json主配置声明boundary架构、最大长度 4096 等encoder_config/config.json编码器mDeBERTa-v3-base的独立配置tokenizer.json分词器词表与 SPM 规则tokenizer_config.json分词器行为配置含结构化专用特殊标记README.md模型卡含全部任务示例三、第一步定义实体标签最核心的一步GLiNER2.5-Multi 用AutoExtractor加载——检查点里的architecture: boundary字段会自动选对加载器from gliner2 import AutoExtractor model AutoExtractor.from_pretrained(fastino/gliner2.5-multi-v1)⚠️ 新手最容易踩的坑不要用GLiNER2.from_pretrained(...)那是旧版 span 架构的加载器无法加载这个检查点。标签定义有两种写法难度从低到高写法 1纯标签列表适合通用实体标签是常见概念时直接给词就行result model.extract_entities( Apple CEO Tim Cook announced iPhone 15 in Cupertino yesterday., [company, person, product, location], include_confidenceTrue, include_spansTrue, )输出会按标签分组每个实体带有文本、起止偏移和置信度{ entities: { company: [{text: Apple, start: 0, end: 5, confidence: 0.98}], person: [{text: Tim Cook, start: 10, end: 18, confidence: 0.97}], product: [{text: iPhone 15, start: 29, end: 38, confidence: 0.96}], location: [{text: Cupertino, start: 42, end: 51, confidence: 0.95}], } }注意偏移量是半开字符区间text[start:end] entity[text]回标原文时直接切片即可。写法 2标签 描述适合垂直领域强烈推荐当标签是业务黑话时比如适应症剂量把定义换成字典值为一句自然语言描述。模型靠语义匹配描述写得越准抽取越准result model.extract_entities( Patient received 400mg ibuprofen for severe headache at 2 PM., { medication: Names of drugs or pharmaceutical substances, dosage: Amounts such as 400mg, 2 tablets, or 5ml, symptom: Reported symptoms or conditions, time: Clock times or relative times, }, include_spansTrue, )一次就能正确抽到ibuprofenmedication、400mgdosage、severe headachesymptom、2 PMtime。这就是定义实体标签的精髓不是教模型规则而是给它一个查得懂的定义。 实操建议描述用一句话写清这个标签指什么 举一两个例子比堆砌同义词效果好得多。四、第二步跑通完整抽取流程把上面串起来一个可复用的 NER 小工具就诞生了from gliner2 import AutoExtractor model AutoExtractor.from_pretrained(fastino/gliner2.5-multi-v1) def ner(text, labels, top_n20): 简易 NER 封装按置信度过滤后输出 result model.extract_entities( text, labels, include_confidenceTrue, include_spansTrue ) for label, items in result[entities].items(): for e in items: if e[confidence] 0.7: # 置信度门槛 print(f[{label}] {e[text]} ({e[confidence]:.2f})) ner(Google hired Jane Doe in London., [company, person, location])多语言是它的招牌能力之一同样一句中文、法文、日文文本换一套标签就能跑无需为每种语言单独换模型。批量文本可用batch_extract_entities(texts, labels, batch_size8, ...)一次送入吞吐量更好。五、第三步置信度调优让结果敢上线的关键置信度confidence是 0~1 的概率分默认输出里并不带需要显式加include_confidenceTrue。调优分三个层次层次 1按标签类型分档设阈值不同实体的难抽程度差别很大。经验值可参考标签类型建议起步阈值说明通用person / location / organization0.7 ~ 0.8模型擅长阈值可提高压误报专业实体药品、产品型号0.5 ~ 0.7边界模糊先放宽再人工抽查关系 / 结构化字段0.5 左右关系抽取天然更难见下层次 2在 schema 里按标签单独设 threshold走 schema 路径时可以给每个标签单独配阈值而不是全局一刀切schema model.create_schema().relations( {works_for: {threshold: 0.6}, located_in: {threshold: 0.6}} ) result model.extract(Alice works for Acme in Paris., schema, include_spansTrue)实体侧同理entities({...})中每个标签都可以附带阈值配置。细粒度阈值是调优的主战场通用标签收严、长尾标签放宽整体质量立刻上一个台阶。层次 3分类任务的 cls_threshold如果你顺手用classify_text做多标签分类比如商品方面情感多标签场景的召回靠cls_threshold控制model.classify_text( Great camera quality, decent performance, but poor battery life., {aspects: { labels: [camera, performance, battery, display, price], multi_label: True, cls_threshold: 0.4, # 阈值越低召回越高、误报越多 }}, )调优心法按顺序做先不加阈值跑一遍看各类标签的置信度分布长什么样抽 50~100 条真实数据人工核对分别统计高分但错和漏掉的用高分误报定上限、用漏检案例定下限按标签微调上线前对新领域文本再回归一次防止分布漂移另外模型默认用flat重叠策略加权区间调度处理实体重叠特殊场景可用overlap_policy参数覆盖一般新手无需动它。六、进阶玩法一个模型顺便把其他任务也干了GLiNER2.5-Multi 训练时开启了 relations 与 records 能力同一个检查点还能做关系抽取extract_relations(text, [works_for, located_in], ...)直接抽出 Alice → Acme 这样的头尾实体对联合信息抽取JointIE实体 关系一次出且保证关系端点类型合法person 不能 located_in 一个 location适合知识图谱场景结构化记录structure(purchase, modenatural, anchorbuyer)能保留谁买了什么的实例归属而不是把字段打散成列表长文档extract_entities_long(text, labels, chunk_size384, chunk_overlap64)自动分块扫描并把偏移映射回全文注意跨块边界的实体会被丢弃约束分类Classifier需要意图删除 ⇒ 影响必含 delete这类跨任务硬约束时用Classifier而非普通classify_text更完整的示例都在 README.md 中可以直接对照着抄。七、新手避坑清单加载器只用AutoExtractor.from_pretrained旧版GLiNER2.from_pretrained不认这个检查点长文本单次extract超出max_len4096会截断长文记得用*_long系列方法GPU 提速加载时传map_locationcuda、quantizeTrueFP16 权重、compileTrue吞吐明显提升独立抽取 ≠ 类型校验单独跑extract_relations不保证头尾实体类型正确强约束场景请上JointIE可行性检查JointIE结果记得看result.feasibleFalse代表硬约束无法满足而不是文本没内容八、总结回顾一下这条实操路径pip install gliner2[local]一行装好用AutoExtractor加载先给标签列表再升级为标签描述开include_confidenceTrue按标签分档调阈值用真实数据回归验证需要关系、结构化、长文档时同一个模型原地扩展不另换模型GLiNER2.5-Multi 把 NER 从标注-训练-评估的长流程压缩成了写标签描述-调阈值的短流程对新手和快速验证场景非常友好。 本文基于 README.md模型卡与 config.json架构配置整理权重文件为 model.safetensors。模型采用 Apache 2.0 许可证可自由用于商业场景。【免费下载链接】gliner2.5-multi-v1项目地址: https://ai.gitcode.com/hf_mirrors/fastino/gliner2.5-multi-v1创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/17 7:04:08

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/18 14:20:46

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/17 19:43:34

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/18 11:04:06

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/17 5:57:47

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/17 19:43:32

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉