新闻详情

新闻详情

首页 / 资讯中心 / 详情

DeepSeek-OCR-2 Transformers推理教程:flash_attention_2 + bfloat16如何加速单卡OCR

发布时间:2026/11/16 19:48:55来源:尧图网络
DeepSeek-OCR-2 Transformers推理教程:flash_attention_2 + bfloat16如何加速单卡OCR
DeepSeek-OCR-2 Transformers推理教程flash_attention_2 bfloat16如何加速单卡OCR【免费下载链接】DeepSeek-OCR-2Visual Causal Flow项目地址: https://gitcode.com/gh_mirrors/de/DeepSeek-OCR-2本教程带你用Transformers在单张显卡上跑通DeepSeek-OCR-2的 OCR 推理并通过flash_attention_2注意力后端 bfloat16半精度两项关键配置实现显存减半、推理提速。DeepSeek-OCR-2 是 DeepSeek 推出的多模态 OCR 模型主打Visual Causal Flow视觉因果流能把扫描文档转成结构化 Markdown支持动态分辨率和自由 OCR 两种模式。一、DeepSeek-OCR-2 是什么与传统 OCR 不同DeepSeek-OCR-2 将语言模型LM当作视觉编码器右侧的 DeepEncoder V2 使用 Qwen2 500M 作为LM as Vision Encoder配合可学习的因果查询learnable query生成新的阅读顺序比左侧基于 CLIP ViT 的初代 DeepEncoder 更贴近人类阅读逻辑。更多技术细节可参考官方论文 DeepSeek_OCR2_paper.pdf 与 README.md。二、一键安装单卡推理环境搭建官方环境为CUDA 11.8 PyTorch 2.6.0Python 3.12.9git clone https://gitcode.com/gh_mirrors/de/DeepSeek-OCR-2 conda create -n deepseek-ocr2 python3.12.9 -y conda activate deepseek-ocr2安装 PyTorch、模型依赖与 FlashAttention 核心组件pip install torch2.6.0 torchvision0.21.0 torchaudio2.6.0 --index-url https://download.pytorch.org/whl/cu118 pip install -r requirements.txt pip install flash-attn2.7.3 --no-build-isolation 其中flash-attn是flash_attention_2的底层依赖缺少它会导致注意力后端报错。依赖清单见 requirements.txt。三、Transformers 推理核心 10 行代码仓库提供了现成的 HF 推理脚本 run_dpsk_ocr2.py核心逻辑如下from transformers import AutoModel, AutoTokenizer import torch model_name deepseek-ai/DeepSeek-OCR-2 tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) model AutoModel.from_pretrained( model_name, _attn_implementationflash_attention_2, # ⚡ 注意力加速 trust_remote_codeTrue, use_safetensorsTrue ) model model.eval().cuda().to(torch.bfloat16) # ⚡ 半精度加速 prompt image\n|grounding|Convert the document to markdown. res model.infer( tokenizer, promptprompt, image_fileyour_image.jpg, output_pathyour/output/dir, base_size1024, image_size768, crop_modeTrue, save_resultsTrue )运行方式cd DeepSeek-OCR2-master/DeepSeek-OCR2-hf python run_dpsk_ocr2.py两个加速参数在 run_dpsk_ocr2.py 中只占两行却是单卡跑动的关键。四、加速原理两项配置为什么有效1️⃣ flash_attention_2更快的注意力计算默认注意力实现需要显式存下完整的 N×N 注意力矩阵长序列下显存占用高、速度慢。_attn_implementationflash_attention_2启用 FlashAttention-2 内核分块计算tiling注意力矩阵不落显存显存占用从 O(N²) 降到 O(N)IO 感知设计减少显存读写次数单卡吞吐显著提升动态分辨率友好DeepSeek-OCR-2 一张图可产生数百至上千个视觉 token序列越长FlashAttention 收益越大2️⃣ bfloat16显存与计算双减半.to(torch.bfloat16)将模型权重从 32 位浮点压缩为 16 位模型显存占用近乎减半让单卡如 16GB 显存从容加载A100/RTX 30 系及以上 GPU 对 bf16 有硬件加速矩阵运算速度翻倍bf16 动态范围与 fp32 相同比 fp16 更不易溢出推理结果稳定两者叠加典型场景下可节省约一半显存并获得明显的端到端提速。五、Prompt 怎么选两种模式对比模式Prompt适用场景文档 → Markdownimage\n|grounding|Convert the document to markdown.论文、扫描件等结构化文档自由 OCRimage\nFree OCR.纯文字提取不保留版面布局六、infer 关键参数速查base_size1024/image_size768动态分辨率的两个基准尺寸。默认方案为 (0-6)×768×768 1×1024×1024对应 (0-6)×144 256 个视觉 token图文越长 token 越多这正是启用flash_attention_2的原因crop_modeTrue启用区域裁切适合版面复杂的长文档save_resultsTrue自动保存识别结果到output_path七、常见问题 FAQQ报flash_attn相关错误怎么办确认已安装匹配版本pip install flash-attn2.7.3 --no-build-isolation且 PyTorch 为 cu118 构建的 2.6.0。Q想同时跑 vLLM 和 Transformers 代码可以共用一个环境遇到vllm requires transformers4.51.1的告警可忽略见 README.md Install 章节的说明。vLLM 推理入口在 DeepSeek-OCR2-master/DeepSeek-OCR2-vllm/run_dpsk_ocr2_image.py配置项在 config.py。Q显存还是不够优先确认已启用 bf16必要时通过CUDA_VISIBLE_DEVICES指定空闲 GPU并减小输入图片尺寸。总结DeepSeek-OCR-2 的 Transformers 推理只需三步装好 CUDA 11.8 flash-attn 环境 → 加载模型时指定flash_attention_2→ 转成bfloat16上卡。两项加速配置合计仅两行代码却能显著降低显存占用并提升单卡 OCR 速度是新手低成本跑通 DeepSeek-OCR-2 的完整路径。【免费下载链接】DeepSeek-OCR-2Visual Causal Flow项目地址: https://gitcode.com/gh_mirrors/de/DeepSeek-OCR-2创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/15 4:54:16

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/15 2:04:12

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/16 19:23:38

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/16 6:47:19

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/14 16:35:50

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/16 17:28:18

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉