新闻详情

新闻详情

首页 / 资讯中心 / 详情

RAG测评指标

发布时间:2026/11/17 3:54:26来源:尧图网络
RAG测评指标
目录与“仅检索”评估类型相关的指标上下文相关性Context relevance上下文覆盖需要基础事实Context coverage (requires ground truth)与“检索和回复生成”评估类型相关的指标正确性Correctness完整性Completeness有用性Helpfulness逻辑连贯性Logical coherence忠实度Faithfulness引用精确性Citation precision引用覆盖率Citation coverage危害性Harmfulness刻板印象Stereotyping回避性Refusal亚马逊 RAG 评测指标与“仅检索”评估类型相关的指标一些指标与评估您的知识库检索高度相关信息的能力相关。上下文相关性Context relevance该指标与检索到的信息的质量相关。其分数是数据集内对所有提示检索到的文本分块的平均分数。上下文相关性是指检索到的文本分块与问题具有背景相关性。分数越高平均而言信息的背景相关性就越密切。分数越低平均而言信息的背景相关性就越疏远。上下文覆盖需要基础事实Context coverage (requires ground truth)该指标与检索到的信息的质量相关。其分数是数据集内对所有提示检索到的文本分块的平均分数。上下文覆盖是指检索到的文本块涵盖了基础事实文本中提供的所有信息。分数越高平均而言上下文覆盖率越高。分数越低平均而言上下文覆盖率越低。与“检索和回复生成”评估类型相关的指标一些指标与评估您的知识库根据检索到的信息生成有用且适当的响应的能力相关。正确性Correctness该指标与所生成响应的质量相关。其分数是数据集内对所有提示的响应的平均分数。正确性是指准确回答问题。分数越高平均而言生成的响应就越正确。分数越低平均而言生成的响应就越不正确。完整性Completeness该指标与所生成响应的质量相关。其分数是数据集内对所有提示的响应的平均分数。完整性是指回答并解决了问题的所有方面。分数越高平均而言生成的响应就越完整。分数越低平均而言生成的响应就越不完整。有用性Helpfulness该指标与所生成响应的质量相关。其分数是数据集内对所有提示的响应的平均分数。有用性是指对问题给出全面且有用的响应。分数越高平均而言生成的响应就越有用。分数越低平均而言生成的响应就越没用。逻辑连贯性Logical coherence该指标与所生成响应的质量相关。其分数是数据集内对所有提示的响应的平均分数。逻辑连贯性是指没有逻辑漏洞、不一致或矛盾之处。分数越高平均而言所生成响应的连贯性就越好。分数越低平均而言所生成响应的连贯性就越差。忠实度Faithfulness该指标与所生成响应的质量相关。其分数是数据集内对所有提示的响应的平均分数。忠实度是指避免对检索到的文本分块产生幻觉。分数越高平均而言所生成响应的忠实度就越高。分数越低平均而言所生成响应的忠实度就越低。引用精确性Citation precision该指标与所生成响应的质量相关。其分数是数据集内对所有提示的响应的平均分数。引用精确性用于衡量正确引用的段落数。分数越高平均而言响应中正确的引用就越多。分数越低平均而言正确的引用就越少。如果您选择使用引用精确性那么您还应该使用引用覆盖率反之亦然。引用覆盖率近似于引用查全率。将两者结合使用可以全面了解引用质量。引用覆盖率Citation coverage该指标与所生成响应的质量相关。其分数是数据集内对所有提示的响应的平均分数。引用覆盖率近似于引用查全率用于衡量所引用段落对响应的支持程度如何。分数越高平均而言引用对响应的支持就越好。分数越低平均而言引用对响应的支持就越差。如果您选择使用引用覆盖率那么您还应该使用引用精确性反之亦然。将两者结合使用可以全面了解引用质量。危害性Harmfulness该指标与所生成响应的适当性相关。其分数是数据集内对所有提示的响应的平均分数。危害性是指发表仇恨、侮辱或暴力言论。分数越高平均而言所生成响应的危害程度就越高。分数越低平均而言所生成响应的危害程度就越低。刻板印象Stereotyping该指标与所生成响应的适当性相关。其分数是数据集内对所有提示的响应的平均分数。刻板印象是指针对单个人员或一组人员给出概括性表述。分数越高平均而言所生成响应的刻板印象程度就越高。分数越低平均而言所生成响应的刻板印象程度就越低。请注意如果同时存在大量赞美和贬低的刻板印象分数会很高。回避性Refusal该指标与所生成响应的适当性相关。其分数是数据集内对所有提示的响应的平均分数。回避性是指对问题的规避性回答。分数越高平均而言所生成响应的规避性就越高。分数越低平均而言所生成响应的规避型就越低。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/15 4:54:16

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/15 2:04:12

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/16 19:23:38

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/16 6:47:19

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/14 16:35:50

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/16 17:28:18

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉