1. 企业知识问答为什么总在“胡说八道”你问 AI“我们公司年假有几天”它给你编一个“满一年 15 天”你问“产品退换货流程”它说的和官网完全对不上。这不是模型笨而是它压根没见过你企业的内部文档——大模型的参数里只有公开语料没有你那份《员工手册》和《退换货政策》。RAGRetrieval-Augmented Generation检索增强生成就是解决这个问题的标准做法先从你的文档库里检索出相关片段再把片段和问题一起交给模型生成答案。这样 AI 的每句话都能追溯到具体文档回答有据可查不再凭空编造。这篇面向企业知识问答场景从零搭一套可跑的 RAG 知识库用向量数据库存企业文档用 Hermes Agent 做检索增强生成同时把模型调用统一走 TaoToken 的 API 通道一个 Key 打通对话与向量化。适合正在做内部知识助手、客服机器人、文档问答的开发者也适合刚接触 RAG 想跑通第一条链路的小白。全程给可复制的配置骨架和验证命令跟着做就能看到“有来源”的回答。2. 前置准备TaoToken 统一 Key 与 Hermes Agent 环境2.1 为什么把模型通道统一到 TaoTokenRAG 链路里其实有两处要调模型一是把文档和问题转成向量embedding二是把检索结果拼成上下文后生成答案chat。如果这两处分别对接不同厂商Key 管理、计费、限流都要各管一套排障时很难定位是检索问题还是生成问题。TaoToken 提供统一的 API 通道对话模型和向量模型走同一个入口Key 也只需要一个。对 RAG 这种“多模型协作”的场景统一通道能省掉大量对接成本。官网入口在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 基址是 https://taotoken.net/api 这个地址不加 UTM 参数配置里直接填。2.2 拿 Key 与安装 Hermes Agent先到控制台创建 API Key路径是 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 在 API Keys 页面新建一个复制出来备用。Key 的详细管理说明在 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。接着装 Hermes Agent它内置了 RAG 支持不用自己拼检索和拼接逻辑curl -fsSL https://raw.githubusercontent.com/NousResearch/hermes-agent/main/scripts/install.sh | bash hermes skills install hermes-rag装完确认版本能打印出来就说明环境没问题hermes --version hermes skills list2.3 把 TaoToken 写进 Hermes 配置Hermes 的模型通道通过配置文件指定。编辑~/.hermes/config.yaml把 base_url 指向 TaoTokenkey 填刚才复制的llm: provider: openai-compatible base_url: https://taotoken.net/api api_key: sk-你的TaoToken密钥 chat_model: gpt-4o-mini embedding_model: text-embedding-3-small rag: enabled: true vector_store: chroma top_k: 5 min_score: 0.7 show_source: true这里 chat_model 负责生成embedding_model 负责向量化两者都走同一个 base_url。如果你更习惯用命令行改也可以hermes config set llm.base_url https://taotoken.net/api hermes config set llm.api_key sk-你的TaoToken密钥 hermes config set rag.embedding_model text-embedding-3-small注意base_url 结尾不要多加/v1之类的路径Hermes 会自己拼接。填错最常见的表现是 404排障时先看这一项。3. 可复制配置建库、导文档、调检索参数3.1 准备知识库目录按业务把文档分目录检索时按 collection 隔离避免客服问题和内部制度互相污染/knowledge/ ├── internal/ # 内部文档问答 │ ├── 员工手册.md │ ├── 技术文档.pdf │ └── 内部制度.md └── faq/ # 客服知识库 ├── 退换货政策.md └── FAQ问答对.json支持 Markdown、PDF、Word、TXT、JSON 五种格式。JSON 适合放结构化的问答对检索命中率通常比纯文本高。3.2 创建向量库并导入向量数据库这里选 Chroma本地优先、零额外部署小团队够用。如果你的文档量到千万级再换 Milvus# 创建两个知识库 hermes rag create --collection internal-docs --label 内部文档问答 hermes rag create --collection customer-support --label 客服知识库 # 递归导入 hermes rag import /knowledge/internal/ --collection internal-docs --recursive hermes rag import /knowledge/faq/ --collection customer-support --recursive导入过程会调 embedding 模型把每段文本转成向量写入库。文档多的时候这一步耗时主要在向量化可以观察日志里的进度。3.3 检索参数怎么调参数直接决定“找得准不准”几个关键项参数作用建议值embedding_model决定向量质量中文场景选中文优化模型top_k返回片段数3–5太多会稀释上下文min_score相似度阈值0.7 起步检索不到再降hybrid_search关键词向量混合建议开启enable_rerank重排序文档多时开启配置命令hermes config set rag.top_k 5 hermes config set rag.min_score 0.7 hermes config set rag.hybrid_search true hermes config set rag.enable_rerank true hermes config set rag.show_source trueshow_source打开后回答末尾会带上来源文件名和章节这是“有据可查”的关键企业场景强烈建议开。3.4 多知识库分流不同业务线走不同 collection用关键词触发路由hermes config set rag.internal.collection internal-docs hermes config set rag.customer.collection customer-support hermes config set rag.route_keyword_enabled true这样用户问“退货”时自动命中客服库问“年假”时命中内部库不用手动切换。4. 验证请求从检索到生成看到真实结果4.1 先单独验证检索生成之前先确认检索这一环是通的否则答案不准你分不清是检索没召回还是模型没用好hermes rag search 年假怎么计算 --collection internal-docs --limit 3 hermes rag status正常输出会列出命中的片段、相似度分数和来源文件。如果分数普遍低于 0.5说明文档切分或 embedding 模型不合适先解决检索再谈生成。4.2 验证完整问答链路用模型对话入口跑一次端到端看回答是否带来源hermes chat --collection internal-docs 我们公司年假是怎么计算的预期回答形如根据《员工手册》第三章第七条 - 工作满 1 年年假 5 天 - 工作满 2 年年假 7 天 - 工作满 3 年及以上年假 10 天 来源员工手册.md 第 3 章客服场景同理hermes chat --collection customer-support 产品坏了可以退货吗回答会引用《退换货政策.md》并给出 7 天无理由、15 天质量问题换货等条款。到这里一条“检索—拼接—生成—带来源”的链路就跑通了。你也可以在模型对话页面直接体验多轮问答效果https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。4.3 增量更新与重建文档改了不用全量重导用 upsert 增量更新hermes rag import /knowledge/faq/ --collection customer-support --upsert hermes rag rebuild --collection customer-support--upsert按文档 ID 覆盖适合日常更新rebuild是完整重建切分策略变了才用。5. 本篇常见错排查5.1 检索不到内容先看hermes rag status里 collection 的文档数是否为 0为 0 说明导入失败。再检查文件格式是否在支持列表内PDF 如果是扫描件没有文字层需要先做 OCR。最后把min_score从 0.7 降到 0.5 试一次能召回说明是阈值卡太死。5.2 回答还是编造如果检索明明命中了模型却不用通常是上下文拼接没生效。检查rag.enabled是否为 true以及 chat 时有没有指定--collection。另一个原因是 top_k 太小关键片段没进上下文调到 5 再试。5.3 报 401 或 404401 是 Key 无效回控制台确认 Key 没被删、没多复制空格。404 基本是 base_url 写错确认是https://taotoken.net/api不要自己加/v1。接入细节和错误码对照可以看接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。5.4 向量库占空间异常正常情况下向量数据约为原始文档的 1/101GB 文档约 100MB 向量。如果远超这个比例多半是切分粒度过细导致片段数暴涨调整 chunk 大小即可。5.5 中文检索效果差embedding 模型没选对是主因。中文场景换成中文优化的向量模型同时开启hybrid_search让关键词匹配兜底专有名词产品型号、制度编号的召回会明显改善。6. 长期跑 RAG 服务通道和 Agent 怎么配知识库搭起来只是第一步真正上线后你会遇到文档持续更新、多业务线分流、并发调用这些事。这时候模型通道的稳定性比单次效果更重要——检索和生成都依赖同一个 API 入口一旦限流或抖动整条链路都会受影响。把对话和向量化统一走 TaoTokenKey 和配额集中管理排障时能快速区分是通道问题还是检索问题。如果你打算把 RAG 接到编码助手或 Agent 工作流里长期跑比如让 Hermes 在写代码时自动查内部技术文档可以看下 Coding Plan 的额度方案https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。Claude Code 这类工具接入同一通道的配置在 https://taotoken.net/claudecode-anthropic?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 思路和上面 Hermes 一样改 base_url 和 key 即可。最后留一个我踩过的坑文档切分不要按固定字数硬切按标题层级切效果更好因为检索命中的片段本身就是语义完整的段落模型用起来也更准。把show_source一直开着每次回答都能点回原文这才是企业知识库该有的样子。