新闻详情

新闻详情

首页 / 资讯中心 / 详情

基准对决:LensVLM-9B相比基座Qwen3.5-9B在长文档理解上究竟强了多少?

发布时间:2026/11/17 0:59:24来源:尧图网络
基准对决:LensVLM-9B相比基座Qwen3.5-9B在长文档理解上究竟强了多少?
基准对决LensVLM-9B相比基座Qwen3.5-9B在长文档理解上究竟强了多少【免费下载链接】LensVLM-9B项目地址: https://ai.gitcode.com/hf_mirrors/apple/LensVLM-9BLensVLM-9B是 Apple 开源的一款 9B 参数长文档理解视觉语言模型VLM。它基于 Qwen3.5-9B 基座微调而来核心能力是把长文档渲染成压缩版页面图片让模型扫一眼再按需展开真正相关的页面——这正是它与普通基座模型在长文档问答上的关键差距。 一分钟认识 LensVLM-9B先说结论LensVLM-9B 不是更大的模型而是更聪明的读者。维度说明模型规模9B 参数bfloat16 精度基座模型Qwen/Qwen3.5-9BApache 2.0 许可的衍生作品核心机制选择性上下文扩展Selective Context Expansion上下文长度最长支持262,144256Ktokens论文《LensVLM: Selective Context Expansion for Compressed Visual Representation of Text》arXiv:2605.07019仓库中的模型权重文件为 model.safetensors架构细节定义在 config.json 中。从配置可以看到它沿用了 Qwen3.5 的 32 层 Transformer 结构并采用线性注意力与全注意力交替的混合设计每 4 层插入一次全注意力这是其能高效处理超长上下文的关键。 核心升级它到底比基座强在哪基座 Qwen3.5-9B 阅读长文档的方式和传统 VLM 一样把文档逐页塞进上下文。100 页的合同就吃掉 100 页的完整 token。而 LensVLM-9B 引入了**两阶段先粗读、后精读**机制压缩扫描整本文档先按 5x、10x 或 15x 的比例压成缩略图式页面模型快速翻一遍定位哪些页面可能包含答案选择性展开只有被判定相关的少数页面才通过模型学习到的工具调用被恢复成无压缩原图进行精细阅读。可以把它想象成人类读论文的方式先扫目录和图表定位章节再精读目标段落而不是从头到尾逐字读。 基准对比长文档理解上的实际差距由于页面按需展开两者在长文档问答上的差异主要体现在三个维度1️⃣ Token 成本数量级级别的节省以 10x 压缩为例扫描 100 页文档时模型初始只需要阅读约 10 页的视觉 token 量。若问题只涉及其中 3 页最终实际精读的仍是 3 页原图——总消耗远低于基座模型动辄几十倍的全量读取。文档越长这个优势越明显。2️⃣ 上下文占用从装不下到装得下基座模型受上下文窗口限制面对超长的技术手册、法律卷宗、年报时可能直接截断。LensVLM-9B 的 256K 上下文见 config.json 中的max_position_embeddings参数配合压缩机制让原本超出窗口的文档变得读得完。3️⃣ 答案质量不牺牲准确率这是强了多少问题的另一半答案压缩扫描不是简单的有损压缩。模型通过训练学会了判断哪些页面值得展开在长文档问答基准上它能在 token 成本大幅下降的同时保持与全量读取相近的准确率——即用更低的成本换取同等或更好的理解效果。 简单概括基座 Qwen3.5-9B 赢在通用能力LensVLM-9B 赢在单位 token 的阅读量。 三步上手跑通你的第一个长文档问答第一步克隆模型仓库git clone https://gitcode.com/hf_mirrors/apple/LensVLM-9B仓库文件说明可见 README.md其中列出了完整的依赖与运行方式。第二步准备长文档与问题把待理解的文档如合同、论文、年报准备好并写一个明确的问题例如这份协议的主要风险点是什么第三步运行推理按照 README 指引安装代码后一条命令即可对自定义文档提问并通过--compression 10x参数选择 5x / 10x / 15x 三档压缩率——压缩率越高扫描成本越低适合篇幅特别长的文档。推理时的图像预处理参数如最大像素数 1,572,864已在 processor_config.json 中配置好开箱即用解码默认行为定义于 generation_config.json。⚙️ 你应当知道的几个关键参数混合注意力架构config.json 中layer_types显示 32 层中每 4 层一次全注意力其余为线性注意力兼顾速度与长程依赖视觉编码器独立的 27 层 ViTvision_config段把页面图片转成语言模型可理解的视觉 token工具调用能力对话模板 chat_template.jinja 内建了函数调用格式展开页面正是通过这种工具调用实现的词表tokenizer.json 与基座保持逐字节一致248,320 词未新增或重映射 token。⚖️ 许可证科研免费商用受限模型权重遵循Apple Machine Learning Research Model License仅限非商业科研用途详见 LICENSE基座 Qwen3.5-9B 部分的 Apache 2.0 许可全文保留在 ACKNOWLEDGEMENTSApple 对model.safetensors、配置文件等所做的修改明细明确列于 NOTICE 文件中。如果你的团队有商用需求需注意这一许可边界纯研究与教学场景则可放心使用。✅ 总结值不值得换使用场景建议通用对话、短文本任务基座 Qwen3.5-9B 足够无需换长文档问答合同/论文/年报LensVLM-9B成本优势明显文档动辄数百页、超出上下文窗口LensVLM-9B256K 上下文 压缩扫描是刚需商业产品落地先确认 Apple 研究许可证边界一句话回答标题的问题LensVLM-9B 在长文档理解上不是强一点而是用选择性上下文扩展把成本降了一个量级同时保持理解质量——这就是它相比基座 Qwen3.5-9B 最大的差距所在。【免费下载链接】LensVLM-9B项目地址: https://ai.gitcode.com/hf_mirrors/apple/LensVLM-9B创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/15 4:54:16

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/15 2:04:12

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/16 19:23:38

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/16 6:47:19

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/14 16:35:50

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/16 17:28:18

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉