DeepEval Langfuse 构建高自定义 RAG 评测体系核心定位与角色分工DeepEval 是一款高度可定制的 LLM 应用评测框架和 RAGAS 相比核心优势是支持自定义业务规则、多维度扩展、灵活的评分 Prompt 配置、原生兼容安全合规类评测。搭配 Langfuse 全链路可观测底座可实现「业务定制化分层评测 全链路可追溯 质量闭环运营」尤其适合有强业务规则、合规要求高的企业级 RAG 场景。工具分工工具推荐版本核心定位核心职责Langfusev2.42.0可观测与数据资产底座全链路 Trace 埋点、数据集管理、Bad Case 沉淀、性能成本采集、权限审计DeepEvalv0.22自定义评测执行引擎分层指标计算、LLM-as-Judge 评分、自定义业务指标、安全合规评测、版本对比核心数据流业务RAG系统 → Langfuse全节点Span埋点 → Trace落库 → 数据清洗提取 ↓异步非侵入不影响业务 DeepEval分层评测引擎 ↓ 标准指标计算 自定义业务规则校验 ↓ 结果回写Langfuse ↓ 看板 → 质量门禁 → Bad Case闭环 → 版本对比一、前置准备埋点规范与数据打通1. Langfuse 全节点埋点复用标准规范和 RAGAS 方案的埋点规范完全通用严格按「查询预处理→混合检索→上下文拼装→答案生成→输出校验→最终输出」全节点打独立 Span每个节点完整记录输入输出全程透传版本三元组。核心要求hybrid_retriever检索节点必须记录完整召回片段内容answer_generation生成节点必须记录输入上下文与输出回答是分层评测的数据基础。2. 数据字段映射从 Langfuse 导出/拉取的 Trace 数据只需做简单字段映射即可转换为 DeepEval 评测数据集DeepEval 数据集字段Langfuse 对应位置说明input根 Trace.input /query_preprocess输出用户问题/预处理后查询actual_outputanswer_generation输出 /final_output输出模型生成回答expected_outputLangfuse Dataset 中标注的标准答案可选仅正确率/召回率需要retrieval_contexthybrid_retriever节点输出召回上下文片段列表contextanswer_generation节点输入上下文生成层固定上下文3. 裁判模型配置与校准和 RAGAS 方案一致LLM-as-Judge 必须先校准再批量使用用 Langfuse Dataset 管理 50~100 条人工标注校准集DeepEval 配置裁判模型能力显著强于被测模型推荐 Qwen3-Max、GPT-4otemperature0.1计算加权 Cohen’s Kappa 系数≥0.75 为合格低于则优化评分 Prompt、补充 Few-shot 边界案例DeepEval 原生支持自定义评分 Prompt可针对中文场景、业务场景做本地化适配灵活度高于 RAGAS二、核心三层分层评测实现严格遵循分层解耦原则自下而上逐层验证每层控制单一变量精准归因。1. 检索层评测量化召回质量控制变量固定检索策略与索引版本独立评测检索效果排除生成模型干扰。对应 DeepEval 指标指标类核心指标计算逻辑业务意义ContextPrecisionMetric上下文精确率LLM 实时判断每条召回片段是否与问题相关计算相关片段占比衡量检索噪音水平精确率越低噪音越多越易引发幻觉ContextRecallMetric上下文召回率计算召回片段覆盖答案所需关键信息的比例衡量漏检率是回答质量的上限数据来源Langfusehybrid_retriever节点的输入query 输出召回片段列表零标注即可算精确率有标注/伪标注可算召回率。代码示例fromdeepevalimportevaluatefromdeepeval.metricsimportContextPrecisionMetricfromdeepeval.test_caseimportLLMTestCasefromlangfuseimportLangfuse# 1. 从Langfuse拉取生产环境检索数据langfuseLangfuse(public_keyyour-key,hosthttps://your-langfuse-host)traceslangfuse.fetch_traces(tags[prod,rag],limit100)# 2. 转换为DeepEval标准测试用例test_cases[]trace_ids[]fortraceintraces.data:retrieval_spannext(sforsintrace.spansifs.namehybrid_retriever)ifnotretrieval_span.output:continuetest_cases.append(LLMTestCase(inputtrace.input,retrieval_contextretrieval_span.output))trace_ids.append(trace.id)# 3. 初始化检索评测指标precision_metricContextPrecisionMetric(modelqwen3-max,model_kwargs{base_url:https://your-model-endpoint/v1,temperature:0.1})# 4. 执行批量评测resultevaluate(test_casestest_cases,metrics[precision_metric],print_resultsFalse)# 5. 输出整体结果print(f上下文精确率:{result.overall_score:.2f})2. 生成层评测量化忠实度与幻觉控制变量固定输入召回上下文独立评测生成效果排除检索质量干扰。对应 DeepEval 指标指标类核心指标计算逻辑业务意义FaithfulnessMetric生成忠实度原子声明拆解法逐条判断事实是否有上下文支撑直接对应幻觉率幻觉率 1 - 忠实度AnswerRelevancyMetric回答相关性判断回答与用户问题的语义匹配度衡量有没有答非所问、跑题HallucinationMetric幻觉专项检测专门针对无中生有、事实错误的深度检测高风险场景强化校验铁则必须使用固定的标准上下文禁止接入实时检索接口否则变量不唯一结果无法归因。代码示例fromdeepeval.metricsimportFaithfulnessMetric,AnswerRelevancyMetric# 构造生成层测试用例上下文固定不变generation_cases[]fortraceintraces.data:gen_spannext(sforsintrace.spansifs.nameanswer_generation)ifnotgen_span.outputorcontextsnotingen_span.input:continuegeneration_cases.append(LLMTestCase(inputtrace.input,actual_outputgen_span.output,contextgen_span.input[contexts]# 固定输入上下文))# 初始化指标faithfulness_metricFaithfulnessMetric(modelqwen3-max)relevancy_metricAnswerRelevancyMetric(modelqwen3-max)# 执行评测gen_resultevaluate(test_casesgeneration_cases,metrics[faithfulness_metric,relevancy_metric])print(f生成忠实度:{gen_result.overall_score:.2f})print(f估算幻觉率:{1-gen_result.get_metric_score(faithfulness):.2f})3. 端到端评测量化整体效果 自定义业务规则DeepEval 核心优势支持自定义业务指标可将企业专属的业务规则、合规要求嵌入评测这是标准 RAGAS 难以灵活实现的。标准指标AnswerCorrectnessMetric对比最终回答与标准答案的事实一致性、完整性衡量端到端正确率。进阶自定义业务指标通过继承BaseMetric实现自定义评测逻辑支持规则引擎 LLM 评分混合模式典型场景格式校验回答必须包含指定字段、符合固定结构业务规则禁止承诺收益、必须提示风险、必须包含免责声明合规校验敏感词拦截、行业规范匹配体验要求语气友好、分点作答、符合客服规范自定义业务指标代码示例fromdeepeval.metricsimportBaseMetricfromdeepeval.test_caseimportLLMTestCaseclassBusinessComplianceMetric(BaseMetric):业务合规校验必须包含风险提示禁止保本承诺def__init__(self):super().__init__()self.threshold1.0defmeasure(self,test_case:LLMTestCase):answertest_case.actual_output has_risk风险提示inanswer has_forbiddenany(wordinanswerforwordin[保本,固定收益,稳赚])self.successhas_riskandnothas_forbidden self.score1.0ifself.successelse0.0self.reason符合业务规则ifself.successelse违反合规要求缺失风险提示或存在禁止表述returnself.score三、组合归因与结果回写 Langfuse1. 三维组合归因和 RAGAS 方案逻辑完全对齐根据三层指标得分组合自动定位根因输出优化方向检索精确率生成忠实度端到端正确率自动根因标签优化优先级 0.7≥ 0.85低bottleneck:retrievalP0≥ 0.85 0.7低bottleneck:generationP0≥ 0.85≥ 0.85低bottleneck:knowledge/businessP12. 结果回写与链路溯源评测完成后通过 Langfuse API 将指标、评分、根因标签回写到对应 Trace 中检索节点 Span写入context_precision得分、retrieval_level等级标签生成节点 Span写入faithfulness得分、generation_level等级标签根 Trace写入综合质量分、bottleneck_type根因标签链路溯源在 Langfuse 控制台按根因标签筛选点击即可跳转对应 Trace逐层回放 Span 输入输出人工复核确认无需复现问题。3. Bad Case 沉淀闭环自动筛选低得分 Trace一键导入 Langfuse Dataset人工复核标注根因与标准答案补充进评测集每次优化后自动回归验证形成「发现→定位→沉淀→验证」的质量飞轮四、工程化落地自动化评测体系1. 定时线上质量巡检每日/每周自动从 Langfuse 拉取线上真实流量抽样批量评测监控核心指标趋势跌破阈值自动告警附带 Trace 跳转链接输出质量周报包含分层指标、根因分布、Top 问题类型2. 版本迭代自动回归知识库更新、Prompt 迭代、模型升级时通过 Webhook 自动触发评测智能增量选例仅变更对应层级的测试集评测效率提升 60% 以上自动对比基线版本输出优化收益报告核心指标劣化≥2% 自动拦截3. CI/CD 三级质量门禁嵌入交付流水线逐级管控MR 阶段生成层忠实度、检索精确率校验测试环境全量分层评测 业务合规校验灰度发布端到端正确率 线上抽样验证4. 多维度质量看板基于 Langfuse 原生看板 DeepEval 导出数据搭建核心质量大盘分层指标实时值与趋势根因分布看板各瓶颈类型占比合规专项看板业务规则通过率、违规类型分布版本对比看板新旧版本指标对比量化优化收益五、DeepEval vs RAGAS 选型建议两者底层埋点规范、Langfuse 底座、归因逻辑完全通用可平滑切换按需选择维度DeepEvalRAGAS自定义程度极高支持自定义指标、业务规则、评分Prompt标准框架自定义灵活度低指标覆盖全标准RAG指标安全合规自定义扩展以标准RAG三层指标为主中文适配需自行优化Prompt灵活度高原生适配一般调整空间小上手难度稍高适合定制化场景简单标准流程快速落地Agent 支持原生支持工具调用、任务规划评测支持较弱适用场景企业级、强业务规则、高合规要求、Agent扩展场景标准RAG分层评测、快速落地、通用场景六、最佳实践与避坑最佳实践埋点规范统一和 RAGAS 方案共用一套埋点规范数据同源评测引擎可平滑切换先校准后批量LLM-as-Judge 必须先校准Kappa ≥ 0.75 再批量使用业务规则前置把核心业务规则做成自定义指标纳入质量门禁比事后排查效率高分层优先永远先分层定位问题再端到端验证排查效率提升数倍异步非侵入评测链路异步消费 Trace不影响线上业务性能与可用性常见避坑❌ 自定义指标过多过杂核心指标不超过5个避免指标冗余、重点失焦❌ 裁判模型能力不足用小模型判大模型再怎么校准都偏差极大❌ 用实时检索测忠实度变量不唯一结果无法归因❌ 只看总分不看个案自定义规则场景必须抽样复核异常案例避免误判❌ 评测结果不回写只评测不沉淀无法形成质量闭环