新闻详情

新闻详情

首页 / 资讯中心 / 详情

EgoCross: Benchmarking Multimodal Large Language Models for Cross-Domain Egocentric Video Questio...

发布时间:2026/10/1 2:31:34来源:尧图网络
EgoCross: Benchmarking Multimodal Large Language Models for Cross-Domain Egocentric Video Questio...
EgoCross相关总结与翻译一、文章主要内容本文聚焦多模态大型语言模型(MLLMs)在跨领域第一视角视频问答(EgocentricQA)中的泛化能力评估问题。现有相关基准和研究多局限于烹饪、清洁等日常活动场景,而现实应用中模型常面临视觉风格与语义内容差异显著的领域迁移挑战。为此,研究团队提出EgoCross基准,该基准涵盖手术、工业、极限运动和动物视角四个多样化且具有挑战性的领域,对应798个视频片段,包含约1000个问答对,覆盖预测、识别、定位和计数四大核心QA任务,且每个问答对均提供开放式问答(OpenQA)和封闭式问答(CloseQA)两种格式,支持精细化评估。研究通过对8个最先进的MLLMs(包括通用型、第一视角专用型)进行实验,发现多数模型在跨领域场景下表现不佳,CloseQA准确率低于55%(随机概率为25%),OpenQA准确率低于35%,且从日常场景基准EgoSchema迁移到EgoCross时性能显著下降(降幅达1.6倍)。同时,团队开展提示学习、监督微调(SFT)和强化学习(RL)等初步研究,发现RL在提升跨领域性能方面效果最显著,平均准确率提升22%,为后续领域自适应、稳健的第一视角视频理解研究提供了方向。二、文章创新点首次定义并推动跨领域第一视角视频问答任务:指出该任务在现实应用中的重要性却未被充分探索,填补了现有研究在领域迁移评估方面的空白。构建首个跨领域第一视角视频问答基准EgoCross:选取四个高实用性且与日常
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

基于22600张YOLO数据集的驾驶员行为检测实战:从数据体检到边缘部署 2026/10/1 6:18:58

基于22600张YOLO数据集的驾驶员行为检测实战:从数据体检到边缘部署

驾驶员行为检测这几年在智能驾驶和车队安全管理里出现的频率越来越高,但真正动手做过的人都知道,这类项目最卡脖子的往往不是模型结构,而是数据。算法选型、训练调参、部署优化这些环节,网上资料一抓一大把,可当你手里…

阅读更多 →
内存取证工程化指南:采集、Volatility 分析与 CTF 实战拆解 2026/10/1 6:18:51

内存取证工程化指南:采集、Volatility 分析与 CTF 实战拆解

内存取证这个方向,很多人的第一印象是"玄学"——同一份镜像,换个人、换个工具版本、换一套符号表,跑出来的结果能差出一大截。但真正把它做扎实的人知道,内存取证其实是一条非常工程化的链路:保存要保证证据…

阅读更多 →
火焰烟雾目标检测实战:数据集清洗与YOLOv8训练全攻略 2026/10/1 6:18:51

火焰烟雾目标检测实战:数据集清洗与YOLOv8训练全攻略

简介:面向深度学习目标检测方向的火焰烟雾识别数据集,包含一千张已经过精确标注的图片,边界框清晰标出火焰与烟雾具体位置,可直接用于主流目标检测算法的训练与验证,有效解决数据采集和人工标注环节耗时耗力的问题。压…

阅读更多 →
YOLOv5目标检测实战:苹果橘子梨数据集格式与训练全流程解析 2026/10/1 6:18:51

YOLOv5目标检测实战:苹果橘子梨数据集格式与训练全流程解析

简介:这是一份面向目标检测入门与实战的YOLOv5格式水果检测数据集,涵盖苹果、橘子、梨三个类别,已划分好训练集与验证集,解压后即可直接用于模型训练。资源共2000个文件,以1397个txt标注标签和602张jpg图像为主体&…

阅读更多 →
VMware物理内存不足报错排查与内存调优指南 2026/10/1 6:18:50

VMware物理内存不足报错排查与内存调优指南

1. 报错背后的真相:别被"物理内存不足"这五个字带偏很多人第一次看到 VMware 弹窗提示"物理内存不足,无法使用此虚拟机"的时候,第一反应是打开任务管理器看主机内存,结果发现还剩好几个 G,于是整个…

阅读更多 →
内存取证实战:镜像采集、Volatility分析与CTF破题 2026/10/1 6:18:49

内存取证实战:镜像采集、Volatility分析与CTF破题

1. 内存取证的核心逻辑与整体方案设计内存取证(Memory Forensics)说白了就是给计算机的"短期记忆"做一次现场勘查。磁盘取证拿到的是"硬盘上留下来的痕迹",而内存取证拿到的是"系统此刻正在想什么"。进程列表、…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉