简介这份 docx 教程面向具备一定技术背景、希望在本机运行大模型的开发者与研发团队系统讲解 DeepSeek R1 的本地部署路径与私有知识库搭建方法。内容围绕 Ollama 的下载安装、模型拉取与运行展开覆盖 1.5b 至 70b 不同规格模型的命令差异并给出对应硬件配置建议同时说明如何通过 Cherry Studio 构建个人专属知识库以及借助 API 键连接云端服务、在资源不足时选用替代方案保障服务稳定。资源包共 1 个 docx 文件约 2.8MB以图文步骤形式组织便于按章节对照操作。目前已有 16375 人学习下载适合想低成本体验本地大模型、按自身算力合理选型或为企业内部搭建定制化问答与咨询系统的读者参考。1. 从一台离线机器说起DeepSeek 本地部署到底解决什么问题很多人第一次动本地部署的念头不是因为好奇而是被现实逼的内网机器不能连外网、合同和代码不能出本地、API 调用量一大成本就失控或者单纯是 ollama 下载太慢、chatbox 下载完发现要充值入口却找不到。DeepSeek 本地部署Ollama ChatBox 私有知识库cherry studio这套组合解决的正是这条链路用 Ollama 把 DeepSeek 模型跑在自己机器上用 ChatBox 当日常对话前端用 cherry studio 挂私有知识库做检索增强。它适合三类人手里有 16GB 以上显存的开发者、需要在内网做文档问答的团队、以及想把 deepseek api 如何调用这件事彻底换成离线方案的人。下面按「装什么、怎么连、知识库怎么喂、坑在哪」四步走全部给可复现命令。2. Ollama 安装与 DeepSeek 模型拉取从下载慢到跑通第一条推理2.1 为什么选 Ollama 而不是 vllm 部署大模型先把选型说清楚不然后面全是玄学。Ollama 的定位是「单机、开箱、模型管理一体化」它把模型权重、量化格式、推理后端llama.cpp和 HTTP 服务打包成一个二进制装完就能ollama run。vllm 部署大模型走的是另一条路面向多并发、高吞吐的服务端场景需要自己配 CUDA、显存调度、张量并行适合有 GPU 集群的团队。对个人和内网小团队Ollama 的启动成本低一个数量级代价是并发能力弱、长上下文显存占用偏高。DeepSeek 在 Ollama 上的常见形态是蒸馏版和量化版参数量从 1.5B 到 70B 不等。选型原则很简单显存 8GB 以下跑 7B 量化16GB 跑 14B 量化24GB 以上再考虑 32B。别一上来就拉最大的先跑通再升级这是血泪经验。2.2 安装 Ollama 与国内镜像源加速Linux 和 macOS 用官方脚本Windows 用安装包。国内网络环境下ollama 下载慢是高频问题解决办法是走镜像源或离线安装包。# Linux 一键安装官方脚本 curl -fsSL https://ollama.com/install.sh | sh # 验证安装 ollama --version # 如果下载慢改用国内镜像源拉取安装脚本示例按实际可用镜像替换 # 或者直接下载 ollama 离线安装包拷贝到目标机器手动安装安装完成后Ollama 默认监听127.0.0.1:11434。这个端口后面 ChatBox 和 cherry studio 都要连先记住。# 启动服务Linux systemd 安装后通常已自动启动 systemctl status ollama # 手动前台启动方便看日志 ollama serve参数说明ollama serve默认绑定本地回环如果要让局域网其他机器访问需要设置环境变量OLLAMA_HOST0.0.0.0:11434但注意这会把服务暴露到网络内网使用也要配合防火墙。2.3 拉取 DeepSeek 模型并跑通推理# 拉取 DeepSeek 蒸馏版按显存选这里以 7B 量化为例 ollama pull deepseek-r1:7b # 查看已下载模型 ollama list # 交互式运行 ollama run deepseek-r1:7b # 非交互式单次推理便于脚本调用 ollama run deepseek-r1:7b 用一句话解释什么是量化逻辑说明pull负责下载权重run会先检查本地是否有该模型没有则自动拉取。推理时 Ollama 会加载模型到显存首次加载慢是正常的第二次命中缓存会快很多。参数说明模型名后的:7b是 tag不同 tag 对应不同参数量和量化等级。如果ollama run qwen3.5:2b报error: 500 internal server error: llama-server process大概率是模型文件损坏或显存不足先ollama rm删掉重新 pull再检查显存占用。# 查看模型运行时的资源占用 ollama ps # 删除损坏模型重拉 ollama rm deepseek-r1:7b ollama pull deepseek-r1:7b到这里本地推理链路已经通了。下一步是给它配一个顺手的对话前端。3. ChatBox 接入 Ollama把命令行换成图形界面3.1 ChatBox 的定位与安装方式ChatBox 是一个跨平台的桌面对话客户端支持 OpenAI 兼容接口、Ollama、以及自定义 API。它的价值在于不用记命令、支持多会话管理、能保存历史记录、可以切换不同模型。chatbox 下载渠道以官方发布页为准Windows、macOS、Linux 都有对应安装包。安装后第一次启动会让你选模型来源这里选 Ollama。3.2 配置 Ollama 作为 ChatBox 的模型提供方打开 ChatBox 设置找到模型提供方选择 Ollama填入 API 地址。API 地址http://127.0.0.1:11434 模型名称deepseek-r1:7b如果 ChatBox 和 Ollama 不在同一台机器把127.0.0.1换成 Ollama 所在机器的内网 IP同时确认 Ollama 已设置OLLAMA_HOST0.0.0.0:11434且防火墙放行 11434 端口。配置完成后在 ChatBox 里发一条消息测试。如果报连接失败按顺序排查Ollama 服务是否在跑、端口是否被占用、地址是否写错、模型名是否和ollama list一致。3.3 chatbox 中怎么获取 api 与自定义模型参数ChatBox 支持在设置里调整温度、最大 token、上下文长度等参数。这些参数直接透传给 Ollama。温度temperature0.7创意任务调高代码任务调低到 0.2 最大 token2048显存紧张时降到 1024 上下文长度4096长文档问答时调高但会吃显存关于 chatbox 充值入口ChatBox 本身是客户端如果用的是它内置的云端 API 才涉及充值接本地 Ollama 不产生任何费用。很多人搜 chatbox 充值入口其实是想用云端模型但既然做本地部署这条路径可以完全绕开。提示ChatBox 的会话历史默认存在本地涉及敏感内容时确认存储路径是否在加密盘上。到这里对话前端已经能用。但 ChatBox 本身不做知识库检索要让 DeepSeek 回答你自己的文档需要引入 cherry studio。4. cherry studio 挂私有知识库让 DeepSeek 回答你自己的文档4.1 cherry studio 与 ChatBox 的分工差异cherry studio 和 ChatBox 都是对话客户端但 cherry studio 多了知识库RAG能力可以导入 PDF、Word、Markdown、TXT做向量化后挂到对话上。cherry studio 和 workbuddy 的区别也常被搜到简单说 workbuddy 偏团队协作和任务管理cherry studio 偏个人知识库和多模型聚合。做私有知识库选 cherry studio 更直接。4.2 在 cherry studio 中配置 Ollama 模型与嵌入模型知识库检索需要两个模型一个对话模型DeepSeek一个嵌入模型把文档转成向量。嵌入模型同样可以用 Ollama 拉。# 拉取嵌入模型 ollama pull nomic-embed-text # 确认模型列表 ollama list在 cherry studio 设置里模型提供方选 Ollama分别指定对话模型和嵌入模型。对话模型deepseek-r1:7b 嵌入模型nomic-embed-text API 地址http://127.0.0.1:11434参数说明嵌入模型的维度决定了向量库的存储结构nomic-embed-text是 768 维换模型要重建知识库否则检索结果会错乱。4.3 导入文档并验证检索效果在 cherry studio 里新建知识库导入文档等待向量化完成。文档格式建议优先 Markdown 和 TXTPDF 要确认是可选中文本的扫描件需要先 OCR。知识库配置建议 分块大小500-800 字符 重叠长度50-100 字符 检索条数3-5 条 相似度阈值0.6 起步检索不准时下调验证方法问一个只有文档里才有的细节看回答是否引用了正确内容。如果答非所问先检查分块是否把关键信息切断了再检查嵌入模型是否和建库时一致。注意知识库检索质量高度依赖分块策略。合同、代码这类结构化文档按标题层级切比按固定长度切效果好得多。4.4 把 ChatBox 和 cherry studio 串成一条工作流实际使用中我一般这样分工ChatBox 做日常快速问答和代码片段生成cherry studio 做需要查文档的深度问答。两者都连同一个 Ollama 服务模型只加载一份显存不浪费。如果机器显存够可以同时开显存紧张就只开一个。# 查看当前显存占用和已加载模型 ollama ps # 手动卸载不用的模型释放显存 ollama stop deepseek-r1:7b到这里DeepSeek 本地部署 ChatBox 对话 cherry studio 私有知识库的完整链路已经跑通。下面集中说踩过的坑。5. 避坑与排查本地部署最常见的 5 个翻车现场5.1 模型拉取到一半失败重试又从头开始现象ollama pull进度条卡住或报错重新执行发现进度归零。 原因Ollama 的下载分片没有断点续传保证网络抖动会导致整个 blob 重下。 解决优先用离线安装包方式获取模型文件或配置稳定的镜像源。拉取前确认磁盘剩余空间大于模型体积的两倍。5.2 Ollama 服务在跑但 ChatBox 连不上现象ChatBox 报连接超时或 404。 原因地址写成了localhost但服务只绑了 IPv4或者端口被其他程序占用或者模型名拼写和ollama list不一致。 解决统一用http://127.0.0.1:11434用curl http://127.0.0.1:11434/api/tags确认服务可达再核对模型名。# 确认服务可达 curl http://127.0.0.1:11434/api/tags # 确认端口占用 ss -tlnp | grep 114345.3 知识库检索答非所问现象cherry studio 挂了知识库但回答还是通用内容没引用文档。 原因分块太大导致关键信息被稀释或相似度阈值设太高导致没召回或嵌入模型和建库时不一致。 解决把分块降到 500 字符左右阈值从 0.6 往下调重建知识库时确认嵌入模型没换。5.4 显存不足导致推理中断或报 500现象ollama run报llama-server process相关错误或推理到一半卡死。 原因模型参数量超过显存或上下文长度设太大或同时加载了多个模型。 解决换更小的量化版本降低上下文长度用ollama ps确认没有多余模型常驻必要时ollama stop卸载。5.5 内网其他机器访问不了 Ollama现象本机能用局域网另一台机器连不上。 原因Ollama 默认只绑127.0.0.1没有对外监听。 解决设置OLLAMA_HOST0.0.0.0:11434后重启服务并在防火墙放行端口。注意这会扩大暴露面内网也要做访问控制。# Linux 下设置环境变量并重启 export OLLAMA_HOST0.0.0.0:11434 systemctl restart ollama6. 进阶技巧用 API 把本地 DeepSeek 接进自己的脚本跑通界面只是第一步真正提升效率的是把本地模型接进自动化流程。Ollama 暴露的是 OpenAI 兼容接口deepseek api 如何调用这件事在本地场景下就是换个 base_url。import requests # Ollama 的 OpenAI 兼容端点 url http://127.0.0.1:11434/v1/chat/completions payload { model: deepseek-r1:7b, messages: [ {role: system, content: 你是一个严谨的技术助手}, {role: user, content: 解释一下 RAG 的检索流程} ], temperature: 0.3, max_tokens: 1024 } resp requests.post(url, jsonpayload, timeout120) print(resp.json()[choices][0][message][content])逻辑说明Ollama 的/v1/chat/completions兼容 OpenAI 的请求体结构model字段填本地模型名messages是标准对话数组。这样任何支持 OpenAI SDK 的工具都能直接指向本地。参数说明timeout要设大本地推理首 token 延迟可能到十几秒temperature做代码和文档问答时建议 0.2-0.3max_tokens按显存调别超过模型上下文上限。如果想批量处理文档可以配合 cherry studio 导出的知识库做离线问答或者直接用脚本遍历文件调用上面的接口。deepseek 导出功能在 ChatBox 和 cherry studio 里都有导出格式一般是 Markdown 或 JSON方便二次处理。验证方法写一个包含 10 个已知答案的问题集跑一遍看命中率。低于 80% 就回去调分块和阈值别急着换模型。我自己的习惯是任何本地部署方案先跑通最小链路再压测显存边界最后才调效果参数。顺序反了就会在玄学问题里打转。希望帮到你。本文还有配套的精品资源点击获取