不少团队在建设内部知识库时最先遇到的不是“模型不够聪明”而是“文档怎么安全地喂给大模型”。直接把几万份资料塞进提示词既浪费 token效果也差。正确做法是先做 RAG检索增强生成把文档向量化再根据用户问题实时检索片段交给大模型生成答案。LangFlow Ollama 是这套思路中非常省心的组合LangFlow 负责可视化编排流程Ollama 负责在本地运行开源大模型。整个过程不需要手写复杂代码只需要在网页上拖动节点、填写配置就能搭出一个面向健康档案的私有知识库问答应用。本文将围绕健康档案这个场景完整演示如何用 LangFlow 和 Ollama 搭建本地知识库 RAG 应用包含环境安装、模型加速下载、文档切块、向量检索、LangFlow 可视化流程、常见报错处理和工程化建议。1. 本地知识库 RAG先理清概念和边界1.1 RAG 解决什么问题RAG 全称是 Retrieval-Augmented Generation检索增强生成。它先把文档切分成小段用 Embedding 模型转成向量并存入向量数据库用户提问时系统先从向量库检索最相关的片段再把“问题 检索结果”一起交给大模型生成答案。简单来说RAG 相当于给大模型配了一个“可随时翻书”的记忆外挂。对于健康档案这类场景文档内容敏感、格式分散、更新频繁。如果每次都在提示词里塞全部档案既不现实也无法保证回答准确。使用 RAG 之后模型只在检索到的片段中寻找答案既能追踪来源也方便后续更新知识。1.2 LangFlow 是什么LangFlow 是一个开源的 LLM 应用编排工具核心优势是“可视化拖拽”。你可以把文档加载、文本切分、向量化、检索、提示词构造、模型调用等步骤都做成节点在画布上连线完成整个流程。对于不熟悉代码的业务人员LangFlow 可以极大地降低上手门槛对于开发者LangFlow 保存的流程可以直接导出为 API方便集成到现有系统。1.3 Ollama 是什么Ollama 是一个本地大模型运行工具。它把模型下载、模型管理、模型调用封装成了非常简单的命令。开发者只需要执行ollama pull qwen2.5:7b就能在本地启动一个可用的开源大模型并通过 HTTP API 被其他应用调用。Ollama 和 LangFlow 的结合方式很清晰LangFlow 负责业务编排Ollama 负责提供本地模型推理能力。两者都部署在内网或本机数据不需要出域。1.4 RAG、Agent、MCP 的区别很多朋友会把这几个概念放在一起比较LLM 是“大脑”负责理解和生成文本比如 Qwen、Llama、DeepSeek。AI 模型是更大的概念包含文本、图像、语音等多模态模型。Agent 是在 LLM 之上增加“规划、调用工具、记忆”等能力使其能完成多步骤任务。RAG 是一种让 LLM 获取外部知识的机制本质是“先检索再回答”。MCP 是一种模型上下文协议用于让 LLM 标准化地调用外部工具和数据源。本文聚焦 RAG。健康档案问答场景不需要复杂 Agent也不一定要接入 MCP先把检索链路跑通后续再扩展工具调用也不迟。2. 健康档案知识库的整体流程设计在动手搭建之前建议先明确整体数据流健康档案文档 - 文档加载 - 文本切块 - Embedding 向量化 - 向量数据库存储 用户提问 - 问题向量化 - 向量数据库检索 - 拼接 Prompt - 本地 LLM 生成回答这个流程可以拆成三个阶段离线索引阶段把健康档案文档转换成向量并存储。在线检索阶段把用户问题向量化到向量库中查找最相关的文档片段。生成回答阶段把检索结果和问题一起交给本地大模型生成有依据的答案。在 LangFlow 中离线索引和在线检索不是两条独立流程而是通过向量数据库节点串联在一起的。你需要先把文档向量化并写入向量库之后每次提问都会自动走检索和生成链路。3. 环境准备安装 Ollama 与 LangFlow3.1 安装 OllamaOllama 支持 Windows、macOS、Linux。安装方式如下# Linux / macOS 安装脚本 curl -fsSL https://ollama.com/install.sh | shWindows 用户可以到 Ollama 官网下载安装包也可以通过 winget 安装winget install --id Ollama.Ollama安装完成后在终端执行版本检查ollama --version如果能看到版本号说明 Ollama 已经安装成功。3.2 拉取模型与国内加速方案Ollama 默认从官方模型仓库拉取模型。国内网络环境下ollama pull可能会特别慢甚至长时间卡住。解决方案有以下几种直接使用国内镜像站下载 GGUF 文件再通过 Modelfile 导入 Ollama。配置 Hugging Face 镜像等加速环境后手动下载模型并转换。如果公司有内部模型仓库也可以把已有模型文件放到离线环境。下面演示手动导入模型的方式。假设你已经从可访问的镜像站下载了 Qwen2.5 的 GGUF 文件例如qwen2.5-7b-instruct-q4_k_m.gguf文件放在本机某个目录。在同级目录创建ModelfileFROM ./qwen2.5-7b-instruct-q4_k_m.gguf然后执行导入命令ollama create qwen2.5-local -f ./Modelfile创建成功后你可以直接使用qwen2.5-local这个模型标签。文件名一定要替换成实际下载的文件名不同量化格式的模型大小和效果也不一样。如果你机器内存有限建议选择 3B 或 1.5B 参数量的模型。本文示例以qwen2.5:7b为默认模型。拉取一个轻量级 Embedding 模型ollama pull nomic-embed-textEmbedding 模型负责把文本转成向量不参与最终回答生成。拉取对话模型ollama pull qwen2.5:7b如果拉取成功可以执行一次简单的 API 测试curl http://127.0.0.1:11434/api/generate \ -H Content-Type: application/json \ -d {model:qwen2.5:7b,prompt:你好请简要介绍你自己,stream:false}返回内容中会包含模型生成的文本说明 Ollama 推理服务已经可用。3.3 安装 LangFlowLangFlow 基于 Python推荐使用虚拟环境安装避免污染系统 Python。python -m venv .venv source .venv/bin/activate # Windows 下执行 .venv\Scripts\activate pip install langflow安装完成后启动 LangFlowlangflow run也可以使用 Python 模块方式启动python -m langflow run默认情况下LangFlow 会监听在127.0.0.1:7860。浏览器打开http://127.0.0.1:7860即可看到可视化界面。如果你使用 Docker 部署 LangFlow需要注意容器内访问宿主机 Ollama 时地址不能写localhost而应该写成http://host.docker.internal:11434。如果 LangFlow 和 Ollama 在同一个容器网络里则直接使用容器服务名。4. 准备健康档案知识库数据4.1 示例数据目录为了让演示可复现建议在本地创建如下目录结构health-rag/ └── data/ ├── 张三_健康档案.md ├── 李四_体检报告.md └── 王五_慢病随访记录.md其中张三_健康档案.md的内容可以是这样的脱敏示例# 健康档案张三示例数据已脱敏 - 年龄58 - 基础病高血压、2型糖尿病 - 最近一次体检2025-01-15 血压 145/95 mmHg空腹血糖 8.2 mmol/L - 用药记录 氨氯地平 5mg 每日一次 二甲双胍 500mg 每日两次 - 医生建议 控制钠盐摄入适量运动定期复查糖化血红蛋白。特别提醒实际业务中不要使用真实患者数据做教程演示。建议先使用虚构数据验证流程确认链路稳定后再接入脱敏后的生产数据。4.2 文档切块策略RAG 效果好坏很大程度取决于切块策略。如果切块太大检索结果可能包含大量无关内容如果切块太小单个片段信息不完整。健康档案通常条目清晰建议把chunk_size设置在 300 到 500 之间chunk_overlap设置 50 到 100。重叠区域的作用是保留上下文衔接。比如文档在“血压”和“用药建议”之间截断时重叠部分可以让检索结果同时覆盖两个关键信息。4.3 向量化与存储LangFlow 中有专门的 Embedding 节点和向量数据库节点。本地场景下常用组合是Embedding 模型nomic-embed-text向量数据库Chroma向量数据库负责保存文档向量并提供相似度检索。Chroma 支持持久化目录存储对于本地知识库足够轻量。5. 在 LangFlow 中零代码搭建 RAG 流程5.1 创建空白项目打开 LangFlow 界面后点击新建 Flow选择空白模板。你会看到左侧是一批可选节点右侧是画布。本案例需要用到以下核心节点Directory读取文件夹下的多个文档。Recursive Character Text Splitter把大文档切块。Ollama Embeddings调用 Ollama 的 Embedding 模型。Chroma向量存储与检索。Ollama调用本地大模型生成回答。Prompt构造提示词。Chat Input和Chat Output与用户对话的入口和出口。不同版本节点名称可能略有差异请以界面实际显示为准。5.2 添加文档加载与文本切块节点从左侧拖入Directory节点配置文件夹路径./data这里的路径可以写绝对路径或相对于 LangFlow 工作目录的路径。再拖入Recursive Character Text Splitter配置切块参数chunk_size400chunk_overlap80把Directory的输出连接到 Splitter 的输入。为什么需要切块因为大模型上下文窗口有限同时只有在切块后检索才能精确命中文档中的某个片段。如果没有切块整个档案会被当作一个整体向量检索精度会很差。5.3 配置 Embedding 与向量存储节点拖入Ollama Embeddings配置model_namenomic-embed-textbase_urlhttp://127.0.0.1:11434拖入Chroma配置collection_namehealth_ragpersist_directory./chroma_dbembedding选择上一步的 Ollama Embeddings 输出连接关系为Directory - Text Splitter - Ollama Embeddings - Chroma在 LangFlow 中你可以把 Chroma 节点视为“向量库写入器”。运行一次这条链路后文档向量就被写入本地 Chroma 目录。5.4 构建检索问答链路知识库建好后还需要把用户提问和检索结果连接起来。拖入以下节点并完成连线Chat Input - Prompt - Ollama ^ | Vector Store Retriever - Chroma更直观一点Chat Input接收用户问题。Vector Store Retriever从Chroma中检索相关片段。Prompt节点把“用户问题 检索片段”拼成提示词。Ollama节点调用本地模型生成回答。Chat Output把回答返回给用户。在Vector Store Retriever中配置search_typesimilaritysearch_kwargs{k: 4}这里的k4表示每次检索返回 4 个最相关的文档片段。k值太大会增加提示词长度太小则可能漏掉关键信息。Prompt节点模板可以写成你是健康档案助手。请根据以下资料回答用户问题。 资料 {context} 问题 {question} 请给出明确结论并指出资料中涉及的指标值。Ollama节点配置model_nameqwen2.5:7bbase_urlhttp://127.0.0.1:114345.5 运行流程并验证在 LangFlow 右上角点击运行然后打开 Playground 对话页面输入一个问题测试张三最近一次体检的血压是多少正常情况下系统会检索到健康档案中关于体检结果的分块并通过大模型生成如下类型回答根据健康档案记录张三最近一次体检的血压是 145/95 mmHg。如果回答为空或答非所问先检查向量库是否写入成功再检查nomic-embed-text模型是否拉取成功。6. 将 LangFlow 流程导出并接入代码虽然标题强调“零代码”但落地到生产环境时开发团队往往需要把流程封装成 API 或脚本。LangFlow 的流程本质上是一个 DAG所有节点关系都可以序列化。6.1 导出流程文件在 LangFlow 界面中点击导出按钮可以保存一个 JSON 文件。该文件包含所有节点配置、连接关系、模型名称和提示词模板。导出后你可以在外部环境中通过 LangFlow CLI 运行该流程。具体命令以你当前安装版本的帮助信息为准langflow run --path health_flow.json如果 CLI 不支持直接传路径也可以通过 LangFlow 提供的 API 接口来触发流程。你可以在界面右上角打开 API 面板里面会给出 endpoint 和请求体示例。6.2 通过 Python 调用 Ollama 生成接口为了验证 Ollama 服务是否正常下面给一个独立可运行的 Python 示例不依赖 LangFlowimport requests url http://127.0.0.1:11434/api/chat payload { model: qwen2.5:7b, messages: [ {role: user, content: 两型糖尿病患者日常饮食需要注意什么} ], stream: False } resp requests.post(url, jsonpayload) data resp.json() print(data[message][content])这段代码用来验证模型本身没问题。真正接入 LangFlow 后你不需要单独写这套调用逻辑LangFlow 的Ollama节点会自动帮你调接口。7. 常见问题与排查思路问题现象常见原因解决思路ollama pull下载特别慢网络环境导致官方仓库访问不稳定使用国内镜像站下载 GGUF 文件再通过 Modelfile 导入 OllamaLangFlow 启动失败Python 版本不兼容或依赖冲突使用独立虚拟环境安装检查 Python 版本是否符合 LangFlow 要求Ollama 节点报连接拒绝base_url 写错或 Ollama 未启动确认本机curl http://127.0.0.1:11434能访问向量库检索结果为空Chroma 中没有写入向量或 Embedding 模型加载失败重新运行一次文档加载链路查看节点日志模型生成内容与文档无关切块过大或检索k值过小调小chunk_size适当增加k值内存不足导致推理卡死模型参数量过大改用 3B 或 1.5B 量化模型或增加物理内存排查时建议按照“数据链路”逐层验证先看文档是否加载再看切块是否输出再看向量是否写入最后看检索是否有结果。哪一层没有输出问题就出在哪一层。8. 多轮对话、安全边界与生产化建议8.1 多轮对话怎么设计基础 RAG 每次提问都是独立的不携带历史上下文。如果需要实现多轮追问例如“那他的用药需要调整吗”系统需要知道“他”指的是张三。LangFlow 中可以通过历史消息节点实现也可以把多轮历史拼接到 Prompt 中。提示词模板可以扩展为请结合对话历史和检索资料回答问题。 历史对话 {history} 资料 {context} 当前问题 {question}关键点是控制历史长度。历史过长会占用大量上下文空间还可能导致模型混淆。建议只保留最近 3 到 5 轮对话。8.2 安全边界与密钥管理健康档案属于高度敏感数据必须做到涉及真实患者数据时先做脱敏处理再进入知识库。使用本地 Ollama 模型避免调用云 API 导致数据外泄。向量库、日志、数据库需要设置访问权限。LangFlow 如果有 API Key 功能生产环境务必启用。不要在生产环境使用弱口令访问管理界面。如果未来接入云端大模型 API不要把密钥写在 Prompt 或代码里。建议通过环境变量或 LangFlow 的凭据管理功能注入export OPENAI_API_KEYyour-key-here8.3 性能与可维护性实际项目中健康档案会持续更新。建议把“文档入库”和“在线问答”分成两个独立任务。文档入库是一个定时批处理在线问答是面向用户的实时服务。还可以引入版本管理。当一份健康档案被修改后只删除并重新写入该档案对应的文档片段而不是整库重建。这样能大幅减少 Embedding 的计算量。另外Chroma 的持久化目录需要定期备份。如果向量库损坏整个 RAG 链路就不可用。8.4 从 0 到 1 的落地节奏第一次做本地知识库不建议一开始就追求功能大而全。你可以按以下顺序逐步推进先用 10 份虚构健康档案跑通 LangFlow 流程。验证检索准确性调整切块大小和重叠值。接入真实脱敏数据完善权限和审计日志。配置定时更新任务打通运维流程。再考虑多轮对话、Agent 工具调用等进阶能力。9. 动手建议从跑通到优化如果现在还没安装环境可以先从 Ollama 和 LangFlow 的最小链路开始。把一份健康档案切成几个小文档调用nomic-embed-text写入 Chroma再用qwen2.5:7b生成回答。整个流程跑通后再补充更多文档和更复杂的提示词。遇到模型下载慢的问题优先尝试镜像站或手动导入 GGUF遇到检索不准的问题优先调整切块参数和检索返回条数遇到内存不足的问题换小模型是最快解法。RAG 的完整链路并不神秘先是文档切块再是向量检索最后是本地大模型生成答案。LangFlow 把这三个环节可视化Ollama 把模型部署简化成一条命令。你可以在本地用这套组合快速验证知识库效果也可以按照生产要求逐步加上安全、备份和监控。如果你搭一个其他领域的私有知识库比如设备档案、合同归档或规章制度问答流程完全一致。把数据准备好拖好节点剩下的就是反复调优提示词和检索参数。