有同事问我本地大模型能不能直接读公司的产品文档别张嘴就瞎编。我前阵子用 AnythingLLM 搭过一套本地知识库能用但中间踩了三个坑今天把过程和调参的地方写下来。先说这套东西在干嘛。让模型回答文档里的问题靠的是 rag把文档切成小段算成向量存进向量库你提问时先捞出最相关的几段再交给模型拼答案。AnythingLLM 就是把这些环节串起来另外带个网页界面省得自己写胶水代码。它跑在本地文档不出机器这也是我选它的原因。两条命令把它拉起来我用 Docker 跑的桌面版应该更省事但我习惯容器。docker run -d -p 3001:3001 -v anythingllm:/app/server/storage --name anythingllm mintplexlabs/anythingllm镜像名是 mintplexlabs/anythingllm端口映射到本机 3001浏览器打开 localhost:3001 就能见到界面。那个 -v 参数别省工作区、文档、向量库都落在里面容器删了重装数据还在。界面起来先接模型。设置里 LLM 选 Ollama地址填 http://host.docker.internal:11434聊天模型我用的 qwen2.5:7b。这里跟容器里找不到 Ollama 是同一个老问题容器里的 localhost 指它自己不是你的电脑得用 host.docker.internal 这个别名。坑一光配聊天模型不够我配完聊天模型就直接传文档点 Save and Embed 报错提示大意是 embedding 失败。愣了一会儿才想起来向量模型是单独一份得自己拉。ollama pull nomic-embed-text然后在 AnythingLLM 的 Embedder 那一栏选 Ollama模型名填 nomic-embed-text地址还是上面那个。这一步没做文档永远进不了库。坑二传上去不等于进了库这是最容易懵的地方。AnythingLLM 里的文档先落在暂存区我理解它是个草稿箱你还要点 Move to Workspace 挪进工作区再点 Save and Embed 才真正切片入库。我第一步只做了上传提问时它回我一句工作区里没有文档。界面上文件明明躺着我盯着看了半分钟才反应过来是没挪进去。坑三回答不准多半是切片切坏了前两个坑解决完能问答了但答案不对味。我那份手册里有两章内容很像模型回答时把两边的说法揉在一起讲还编了个中间版本的参数出来。问题在切片长度。工作区设置里的 Text Splitter 有两项chunk size 和 overlap。默认切得偏长一个片段里混了好几个主题检索出来就是一堆夹生料。我把它调成 chunk size 700、overlap 100重新 embed 了一遍同样的问题再问它只引用该引用的那一章不再串台。overlap 的含义是相邻片段的重叠字数留一点能防止一句话被从中间切断。这个值给太大片段会重复给 0 又容易丢上下文100 上下我觉得够用。召回这块还能再调两个地方工作区设置里 Search Preference 我选的 Accuracy Optimized下面的 TopN 从 4 调到 6。TopN 是一次捞几个片段给模型给少了信息不够给多了噪声进来反而答偏。还有个相似度阈值这个得拿自己的文档试。设低了不相关的片段也会被捞进来答非所问设高了经常一条都匹配不上模型回你一句没找到相关内容。我现在的值是 0.25你的文档得自己磨。现在的效果我日常工作区里放了十几份文档问具体条款、问参数含义基本能答到点上答的时候会带上引用的片段方便我核对。要一句能转给同事的话先把 nomic-embed-text 拉下来配上 Embedder再确认文档 Move to Workspace 后 Save and Embed最后把 chunk size 压到 700 附近八成的答不准都在这三步里。本地部署还有一层安心是文档不出门但别把端口随手开到公网那是另一个话题了。这篇是本地大模型系列第三篇前两篇写了怎么给命令行套网页界面、怎么按显卡选模型。后面我打算写 Ollama 部署 gguf 报兼容性错误怎么排查还有 AnythingLLM 里向量库换成 Chroma 的差别都是自己踩过的。想看后续关注一下账号。