新闻详情

新闻详情

首页 / 资讯中心 / 详情

Marco-Bench-MIF: On Multilingual Instruction-Following Capability of Large Language Models

发布时间:2026/10/2 2:12:27来源:尧图网络
Marco-Bench-MIF: On Multilingual Instruction-Following Capability of Large Language Models
文章主要内容和创新点主要内容本文针对现有指令遵循能力评估数据集多为单语(以英语为中心)或仅经机器翻译、缺乏多语言场景适用性的问题,提出了一个多语言指令遵循基准测试集Marco-Bench-MIF。该数据集扩展自IFEval,涵盖30种语言,通过“自动翻译+两轮人工验证”的混合流程实现本地化,解决了语言约束(如修改中文的大小写要求)和文化参考(如替换特定地区的公司名称)等问题。通过对20多个大语言模型(LLMs)的评估,发现以下关键结论:高资源语言与低资源语言的准确率差距为25-35%;模型规模对性能影响显著(70B+模型比8B模型准确率高45-60%),但仍存在脚本特定挑战(如阿拉伯语等);机器翻译数据比本地化数据低估7-22%的准确率。创新点构建了首个涵盖30种语言的细粒度本地化多语言指令遵循基准Marco-Bench-MIF,考虑语言和文化多样性;提出系统化的本地化框架,结合自动翻译与人工调整,解决多语言指令适配中的语言约束和文化适配问题;对20多个LLMs进行全面评估,揭示了模型规模、资源可用性、机器翻译数据局限性对多语言指令遵循能力的影响。翻译部分(摘要、引言、结论)摘要指令遵循能力已成为大型语言模型(LLMs)的核心评估能力之一(Brown等人,202
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

SpringBoot日志文件配置实战:滚动策略、磁盘清理与traceId全解析 2026/10/2 3:05:42

SpringBoot日志文件配置实战:滚动策略、磁盘清理与traceId全解析

上周五临下班,我把一个 SpringBoot 服务部署到测试环境,第二天早上一看磁盘告警:/data/logs/app.log 已经占了 28GB。检查之后发现不是什么业务 bug——是我的日志配置太粗放,一个线程池满的 WARN 日志每秒钟刷几百条,…

阅读更多 →
YOLO火灾火焰检测数据集:VOC/COCO/YOLO格式转换与训练全流程 2026/10/2 3:05:42

YOLO火灾火焰检测数据集:VOC/COCO/YOLO格式转换与训练全流程

简介:本资源为面向目标检测初学者与算法工程师的YOLO火灾火焰检测数据集,聚焦真实场景下的火焰目标识别任务,可用于安防监控、消防预警等方向的模型训练与课程实践。压缩包共2000个文件,约103.66MB,包含1000张高质量标…

阅读更多 →
bqStudio+EV2400 电池管理芯片参数配置与 Golden Image 实战 2026/10/2 3:05:42

bqStudio+EV2400 电池管理芯片参数配置与 Golden Image 实战

第一次把 EV2400 插上电脑,打开 bqStudio,界面右下角的进度圈转了十几秒,最后弹出一句 "Device not found"——这大概是很多人和这款软件的第一次见面。它不是那种装完就能用的通用串口调试助手,而是 TI 为自家电池管理…

阅读更多 →
B2165括号匹配:用栈解决括号顺序合法问题 2026/10/2 3:05:42

B2165括号匹配:用栈解决括号顺序合法问题

洛谷 B2165 括号匹配,我印象里是很多新手第一次接触“栈”这道坎。题目本身只有十几行代码,但 AC 率和改错难度一点也不低,因为很多人根本没弄懂它到底在考什么,直接凭感觉写了个计数器就交了。这篇东西我就把这道题的考点、原理、…

阅读更多 →
OpenShell 命令行框架实战:模块化、依赖管理与团队协作指南 2026/10/2 3:05:42

OpenShell 命令行框架实战:模块化、依赖管理与团队协作指南

1. 从零认识 OpenShell:它到底解决什么问题第一次听到 OpenShell 这个名字,很多人会下意识以为它是某个操作系统的内核模块,或者是一个远程终端工具。实际上,OpenShell 是一个面向命令行环境的开源框架,核心目标是把散…

阅读更多 →
SpringBoot+Vue+MyBatis+MySQL:从0到1搭建网站管理系统 2026/10/2 3:05:23

SpringBoot+Vue+MyBatis+MySQL:从0到1搭建网站管理系统

SpringBootVue这套前后端分离的组合,到今天依然是中小型网站管理系统的主流选择。不是因为它最时髦,而是因为它省钱、省心、能落地——SpringBoot把后端服务的配置复杂度降下来了,Vue把页面的交互响应速度提上去了,再配上MyBatis的…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉