新闻详情

新闻详情

首页 / 资讯中心 / 详情

DeepSeek-OCR-2环境搭建教程:如何三步用Conda + CUDA 11.8 + vLLM 0.8.5跑通GPU文档OCR

发布时间:2026/11/12 12:13:25来源:尧图网络
DeepSeek-OCR-2环境搭建教程:如何三步用Conda + CUDA 11.8 + vLLM 0.8.5跑通GPU文档OCR
DeepSeek-OCR-2环境搭建教程如何三步用Conda CUDA 11.8 vLLM 0.8.5跑通GPU文档OCR【免费下载链接】DeepSeek-OCR-2Visual Causal Flow项目地址: https://gitcode.com/gh_mirrors/de/DeepSeek-OCR-2DeepSeek-OCR-2 是 DeepSeek 团队推出的新一代视觉文档 OCR光学字符识别模型基于 Visual Causal Flow视觉因果流思路能把扫描版文档、PDF 页面一键转换为 Markdown 或纯文本。本教程带你用Conda CUDA 11.8 vLLM 0.8.5三步搭好 GPU 环境并快速跑通第一次文档 OCR。DeepSeek-OCR-2 是什么为什么值得折腾环境相比第一代方案只靠 CLIP 这类非因果视觉编码器DeepSeek-OCR-2 的DeepEncoder V2直接用 Qwen2500M语言模型当视觉编码器并引入可学习 query 建立新阅读顺序让模型像人一样按因果顺序读文档版面更乱也稳。官方技术细节见 DeepSeek_OCR2_paper.pdf。上手收益图片 OCR流式输出识别结果run_dpsk_ocr2_image.pyPDF OCR高并发批处理速度与第一代 DeepSeek-OCR 持平run_dpsk_ocr2_pdf.py基准评测支持 OmniDocBench 批量评测脚本一键安装前的软硬件清单动手前先对照这张清单避免装到一半才发现缺东西项目版本 / 要求GPUNVIDIA 显卡驱动兼容CUDA 11.8Python3.12.9Conda 环境PyTorch2.6.0cu118 版本vLLM0.8.5cu118 whl 包flash-attn2.7.3其他依赖见 requirements.txttransformers 4.46.3、PyMuPDF 等 显存建议推理脚本默认gpu_memory_utilization在 0.75 ~ 0.9 之间显存偏紧的卡可以适当调低并发数。环境搭建教程三步跑通 GPU OCR第一步获取项目代码git clone https://gitcode.com/gh_mirrors/de/DeepSeek-OCR-2 cd DeepSeek-OCR-2第二步创建并激活 Conda 虚拟环境conda create -n deepseek-ocr2 python3.12.9 -y conda activate deepseek-ocr2固定 Python 3.12.9 很重要——它是官方验证过的组合能最大程度减少兼容性问题。第三步安装 PyTorch、vLLM 0.8.5 与依赖包# 1) CUDA 11.8 版 PyTorch pip install torch2.6.0 torchvision0.21.0 torchaudio2.6.0 --index-url https://download.pytorch.org/whl/cu118 # 2) vLLM 0.8.5 的 cu118 whl 包从 vLLM 官方 Releases 下载 v0.8.5 对应 whl 后安装 pip install vllm-0.8.5cu118-cp38-abi3-manylinux1_x86_64.whl # 3) 项目依赖 pip install -r requirements.txt # 4) FlashAttention pip install flash-attn2.7.3 --no-build-isolation⚠️ 如果看到类似vllm 0.8.5cu118 requires transformers4.51.1的版本冲突报错不用管官方已确认该环境下 vLLM 与 transformers 代码可共存。最快验证方法跑通第一次文档 OCR环境装好后进入 vLLM 推理目录cd DeepSeek-OCR2-master/DeepSeek-OCR2-vllm打开 config.py把INPUT_PATH/OUTPUT_PATH改成你自己的路径然后按场景选择脚本图片流式输出python run_dpsk_ocr2_image.pyPDF并发批处理python run_dpsk_ocr2_pdf.py基准批量评测python run_dpsk_ocr2_eval_batch.py如果你更习惯 HuggingFace Transformers 方式也可以直接运行 run_dpsk_ocr2.py。模型加载与自定义核心实现在 deepseek_ocr2.py图片预处理逻辑在 image_process.py。两种常用 Prompt 怎么选Prompt效果image\n\|grounding\|Convert the document to markdown.文档转 Markdown带版式还原image\nFree OCR.自由 OCR只提取文字内容常见问题 FAQQ1安装 vLLM 时提示 transformers 版本冲突忽略即可官方环境即如此transformers 4.46.3 vLLM 0.8.5 混用无碍。Q2PDF 批量处理时显存不足OOM调低 config.py 中的MAX_CONCURRENCY默认 100它直接决定并发请求数同时可下调各脚本里的gpu_memory_utilization。Q3识别结果有重复短语项目内置了NoRepeatNGramLogitsProcessor见 ngram_norepeat.py做去重采样保持SKIP_REPEAT True即可。Q4动态分辨率是什么模型默认按 (0~6)×768×768 1×1024×1024 的切片方式编码图像对应 (0~6)×144 256 个视觉 tokenBASE_SIZE/IMAGE_SIZE/CROP_MODE等参数同样在 config.py 中可调。到这里Conda CUDA 11.8 vLLM 0.8.5 的 DeepSeek-OCR-2 GPU 环境就算彻底跑通了——接下来把你的 PDF 丢进INPUT_PATH享受文档进、Markdown 出的流畅体验吧 【免费下载链接】DeepSeek-OCR-2Visual Causal Flow项目地址: https://gitcode.com/gh_mirrors/de/DeepSeek-OCR-2创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/13 0:43:49

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/12 23:59:09

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/12 9:50:02

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/12 9:25:38

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/12 15:57:44

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/13 0:02:27

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉