1. 为什么要在 DB-GPT V0.6.1 里折腾 RAG 召回评测DB-GPT V0.6.1 这次更新里最值得动手试的不是界面而是两个偏工程的能力RAG 召回评测和 Agent 答案评测。简单说它把「知识库答得好不好」从玄学变成了可量化的指标——召回阶段有命中率、MRR、相似度答案阶段有相关性打分。适合谁正在用 OceanBase 做向量库、用 Qwen 做本地知识库问答却总被「明明文档里有答案模型就是答偏」折磨的开发者。我这次的目标很明确搭一套本地知识库问答链路向量库用 OceanBase 4.3.3模型用 Qwen2.5-7b-instruct然后跑通 V0.6.1 新增的召回评测和 Agent 答案评测。模型服务这一层我用 TaoToken 统一 Key 和 API 通道来接入好处是 DB-GPT 的 config.toml 里只维护一个 base_url 和一把 Key换模型不用改一堆代理配置。下面把可复制的配置骨架和验证步骤都摊开讲。2. TaoToken 前置统一 Key 与 API 通道DB-GPT 支持 OpenAI 兼容的 proxyllm所以只要有一个 OpenAI 格式的 endpoint 就能接。TaoToken 提供的就是这种统一通道模型对话、Coding Plan、控制台、API Keys 都有对应入口。你需要先拿到一把 Key再去控制台确认要用的模型名。这一步的核心产物是两个东西一把 API Key一个 base_url。DB-GPT 里所有模型调用都指向它Qwen、评测用的 judge 模型都走同一条通道省得每个模型配一套凭证。注意Key 只放在本地 config.toml 或环境变量里别提交到 Git。评测接口里的Authorization: Bearer dbgpt是 DB-GPT 自己的服务鉴权和模型 Key 是两回事别混。3. 可复制配置config.toml 与 settings.json 骨架DB-GPT 的模型配置在configs/dbgpt-proxy-openai.toml这类文件里。下面是我实测能跑通的骨架重点是[[models]]段把 Qwen 指向 TaoToken 的 API 地址。# configs/dbgpt-proxy-openai.toml [system] language zh [models] [[models.llms]] name qwen2.5-7b-instruct provider proxy/openai api_base https://taotoken.net/api api_key sk-你的TaoTokenKey model_name qwen2.5-7b-instruct [[models.embeddings]] name text-embedding-v3 provider proxy/openai api_base https://taotoken.net/api api_key sk-你的TaoTokenKey model_name text-embedding-v3向量库这边OceanBase 4.3.3 通过 pyobvector 客户端接入DB-GPT 侧配置向量存储类型和连接串[rag.storage] vector_type OceanBase [rag.storage.vector.oceanbase] uri obclientpyobvector://root127.0.0.1:2881/testsettings.json主要管前端和评测相关开关把知识图谱和评测入口打开{ app: { scene: chat_knowledge }, evaluate: { enabled: true, default_top_k: 5, metrics: [RetrieverHitRateMetric, RetrieverMRRMetric, RetrieverSimilarityMetric] }, knowledge_graph: { triplet_graph_enabled: true, document_graph_enabled: true, chunk_search_top_size: 5 } }对应的.env里把 GraphRAG 开关补上Markdown 文档的结构检索效果最好GRAPH_COMMUNITY_SUMMARY_ENABLEDTrue TRIPLET_GRAPH_ENABLEDTrue DOCUMENT_GRAPH_ENABLEDTrue KNOWLEDGE_GRAPH_CHUNK_SEARCH_TOP_SIZE5 LLM_MODELqwen2.5-7b-instruct4. 验证请求召回率与 Agent 答案质量怎么测配置好之后先起服务再上传一份 Markdown 文档建知识空间拿到SPACE_ID。召回评测直接打评测接口scene_key用recallSPACE_ID你的空间ID curl --location --request POST http://localhost:5670/api/v2/serve/evaluate/evaluation \ --header Content-Type: application/json \ -d { scene_key: recall, scene_value: $SPACE_ID, context: {top_k: 5}, evaluate_metrics: [RetrieverHitRateMetric,RetrieverMRRMetric,RetrieverSimilarityMetric], datasets: [{query: what awel talked about, doc_name: awel.md}] }Python 方式更适合批量跑数据集from dbgpt.client import Client from dbgpt.client.evaluation import run_evaluation from dbgpt.serve.evaluate.api.schemas import EvaluateServeRequest client Client(api_keydbgpt) request EvaluateServeRequest( scene_keyrecall, scene_value你的空间ID, context{top_k: 5}, evaluate_metrics[RetrieverHitRateMetric, RetrieverMRRMetric, RetrieverSimilarityMetric], datasets[{query: what awel talked about, doc_name: awel.md}], ) data await run_evaluation(client, requestrequest) print(data)Agent 答案评测换scene_key为app指标用AnswerRelevancyMetriccontext 里带上 prompt 和模型名APP_ID你的应用ID PROMPT_ID你的提示词ID curl --location --request POST http://localhost:5670/api/v2/serve/evaluate/evaluation \ --header Authorization: Bearer dbgpt \ --header Content-Type: application/json \ -d { scene_key: app, scene_value: $APP_ID, context: {top_k: 5, prompt: $PROMPT_ID, model: qwen2.5-7b-instruct}, evaluate_metrics: [AnswerRelevancyMetric], datasets: [{query: what awel talked about, doc_name: awel.md}] }成功的结果是返回里能看到每个指标的具体分值命中率是 0 到 1 的比例MRR 越接近 1 说明最相关文档排得越靠前相似度是召回内容和预测内容的匹配度。Agent 答案相关性同样给一个分数低于阈值就说明 prompt 或召回需要调。5. 本篇常见错排查报错一评测接口 401。大概率是Authorization头没带或写错。召回评测示例里没带鉴权头Agent 评测带了Bearer dbgpt按你 DB-GPT 服务实际配置来别把模型 Key 填进去。报错二OceanBase 连接失败。确认 pyobvector 客户端版本和 4.3.3 匹配uri 里的用户名、端口、库名逐项核对。filters 查询是新版本才支持的旧客户端会直接报语法错。报错三召回指标全是 0。先看doc_name是否和知识空间里实际文件名一致大小写和扩展名都要对上。再看top_k是不是太小文档切块太碎时 top_k5 可能压根没覆盖到答案所在块。报错四模型调用超时。检查 config.toml 里api_base是否指向https://taotoken.net/apiKey 是否有效。Qwen2.5-7b-instruct 的模型名要和通道里登记的完全一致差一个字符就 404。报错五知识图谱构建卡住。上传 Markdown 后构建要等一段时间别中途取消。名称不能纯数字TuGraph 不接受不合规命名。6. 把评测接进日常迭代跑通一次评测只是开始真正有用的是把它变成固定动作每次改切块策略、换 embedding、调 top_k都重跑一遍召回指标用数字判断改动是变好还是变坏。Agent 答案相关性则用来盯 prompt 质量。模型通道统一走 TaoToken 之后换 Qwen 版本或临时切别的模型做对比只改 config.toml 一行评测脚本不用动。如果你主要在做长期编码和 Agent 类任务可以顺带看下 Coding Plan 的额度方案单纯验证模型效果模型对话入口就够用接入和排障细节都在接入文档里。把 Key 管好、把评测跑成习惯RAG 系统才不会越调越玄。