新闻详情

新闻详情

首页 / 资讯中心 / 详情

MAC: A Live Benchmark for Multimodal Large Language Models in Scientific Understanding

发布时间:2026/9/30 2:19:50来源:尧图网络
MAC: A Live Benchmark for Multimodal Large Language Models in Scientific Understanding
MAC相关研究总结与核心部分翻译一、文章主要内容本文聚焦多模态大型语言模型(MLLMs)在科学理解能力评估方面的挑战,提出了一个动态演进的基准测试集MAC(Multimodal Academic Cover benchmark),并针对MLLMs跨模态科学推理能力不足的问题,设计了轻量级推理方法DAD(Description and Deduction)。1. 现有基准测试集的局限性静态基准测试集(如MMMU)随着MLLMs能力提升逐渐饱和,例如Gemini-2.5-pro在MMMU的pass@1设置下准确率已达81.7%,失去对模型发展的指导意义。现有动态基准测试集(如LiveBench)仅关注单一语言模态,且依赖互联网快速变化的内容,在科学理解评估的数据质量上存在隐患。2. MAC基准测试集的构建与特点数据来源:从Nature、Science、Cell、美国化学学会(ACS)等顶级科学期刊中收集超过25,000个图文对,涵盖分子细胞生物学、材料科学、医学、化学等多个学科领域。核心快照:2025年快照MAC-2025包含2024年1月至2025年2月期间的2287个期刊封面-封面故事对,用于当前MLLMs的评估。任务设计:包含Image2Text(给定封面图选对应封面故事)和Text2Image(给定
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

企业级RAG落地:从Demo到生产的工程化重构指南 2026/9/30 9:16:41

企业级RAG落地:从Demo到生产的工程化重构指南

我先问你一个很直接的问题:你手里的RAG知识库,敢不敢把Demo现场用的那套方案,原封不动地直接挪到生产环境? 我最近两年做了3个企业级RAG落地项目,分别涉及制造业设备手册问答、金融行业合规条款检索、以及企业内部政策…

阅读更多 →
Java仓库管理系统毕设实战:Spring Boot+Vue全栈开发与避坑指南 2026/9/30 9:16:34

Java仓库管理系统毕设实战:Spring Boot+Vue全栈开发与避坑指南

简介:这份资源是一篇基于Java的仓库管理系统毕业设计论文文档,面向计算机相关专业学生及需要完成课程设计或毕业设计的开发者。论文围绕电子商务背景下传统仓储人工操作效率低、错误率高的痛点,采用Spring Boot后端、Vue前端与MySQL数据库&am…

阅读更多 →
AnythingLLM本地优先AI智能体搭建实战:从部署到制度问答助手 2026/9/30 9:16:34

AnythingLLM本地优先AI智能体搭建实战:从部署到制度问答助手

最近有不少朋友在问,本地优先的 AI 智能体工具到底怎么选,尤其是想把企业内部的制度文档、技术手册变成能“听懂人话”的问答机器人时,市面上的 SaaS 产品往往卡在数据隐私和定制成本上。我自己在对比了多家方案之后,长期留下的就…

阅读更多 →
Agent/LLM技术日报:知识库建设、框架选型与落地排障实践 2026/9/30 9:16:34

Agent/LLM技术日报:知识库建设、框架选型与落地排障实践

今天这份Agent/LLM技术日报,我给自己定的选题标准只有一条:能让你下一个项目少踩坑、多落地的内容才进日报。搜了一圈这两天的热词,发现几个信号非常集中:llm wiki知识库、本体RAG、Agent框架与编排、Agent记忆与安全、本地ERP结合…

阅读更多 →
从零构建生产级记忆型 AI Agent:AgentScope 架构、记忆机制与 SSE 实战 2026/9/30 9:16:27

从零构建生产级记忆型 AI Agent:AgentScope 架构、记忆机制与 SSE 实战

记忆型 AI Agent 这个词这两年快被用烂了,但真正落到生产环境里,能稳定跑起来、能记住上下文、能在多轮对话里不丢状态的,其实没几个。大部分 demo 级别的 Agent 聊上三五轮就开始胡言乱语,要么把用户十分钟前说的话忘得一干二净&…

阅读更多 →
TensorFlow 2.16 LTS工业部署实战:从安装到端侧推理的全链路解析 2026/9/30 9:16:27

TensorFlow 2.16 LTS工业部署实战:从安装到端侧推理的全链路解析

1. 这不是“又一个深度学习框架”——TensorFlow的本质定位与它被误读十年的真相 很多人第一次听说TensorFlow,是在2015年谷歌开源那天;更多人真正接触它,是在2018年Kaggle比赛里看到别人用tf.keras写模型;而到了2024年&#xff…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉