新闻详情

新闻详情

首页 / 资讯中心 / 详情

RAG原理-倒排索引和KNN

发布时间:2026/11/21 20:04:18来源:尧图网络
RAG原理-倒排索引和KNN
本节从两条检索路线展开倒排索引用关键词快速定位文档KNN 则在向量空间中寻找与查询最接近的 Top-K 数据。理解二者是继续学习 ANN、聚类索引和向量数据库的基础。一、倒排索引从“文档找词”变成“词找文档”1. 什么是倒排索引普通文档可以看成“文档 → 词语”的关系倒排索引把它反过来建立“词语 → 文档”的映射。词项 term - [(文档 ID, 出现位置), ...]查询某个关键词时不需要逐篇扫描全部文档只要在词典中找到该词再读取对应的文档列表即可。2. 视频中的分词示例原始文本大模型的应用在2025年会有哪些发展经过 Tokenization 后可以拆分为[大模型, 的, 应用, 在, 2025年, 会, 有哪些, 发展]随后为每个词项记录它出现在哪些文档、哪些位置。例如大模型 - [(doc_1, [0]), (doc_3, [5])] 2025年 - [(doc_1, [4])] 发展 - [(doc_1, [7]), (doc_2, [2])]上述 posting list 是结构示意。真实系统还可能保存词频、字段、位置、文档长度等信息用于短语查询和相关性排序。3. 建立与查询流程原始文档 - 文本清洗 - 分词与标准化 - 生成 term - posting list - 查询词分词 - 合并命中文档 - 相关性排序倒排索引擅长精确关键词、专有名词、编号和短语检索但如果查询与文档用词不同即使语义相近也可能无法命中。二、KNN在向量空间中寻找最近邻KNNK-Nearest NeighborsK 近邻搜索的核心过程是先把查询转换成向量再与数据库中的向量计算距离或相似度最终选出最接近的 K 个结果。查询文本 - Embedding 向量 q - 与所有候选向量计算距离/相似度 - 排序 - 返回 Top-K 最近邻1. 常见度量方式度量方式判断规则适用说明余弦相似度值越大越相似关注向量方向文本语义检索中常用欧氏距离L2距离越小越相似关注向量在空间中的直线距离点积Inner Product值越大越相似会受到向量模长影响余弦相似度公式cosine⁡(A,B)A⋅B∥A∥ ∥B∥ \operatorname{cosine}(A,B)\frac{A\cdot B}{\|A\|\,\|B\|}cosine(A,B)∥A∥∥B∥A⋅B​2. 暴力搜索Brute Force Search视频重点介绍了最直接的精确 KNN查询向量与数据集中的每一个向量都计算一次距离再排序并取前 K 个。for each vector x_i: score_i similarity(query, x_i) sort all scores return top_k设数据库共有N个向量每个向量维度为D距离计算量约为O(N × D)若对全部得分完整排序还会产生排序开销优点是结果精确、实现简单不会因为索引近似而漏掉真正的最近邻缺点是数据规模增大后查询延迟与计算成本会明显上升。因此暴力搜索更适合数据量较小、对精度要求高或用于效果基线的场景。三、精确 KNN 的 Python 实现下面使用余弦相似度完成一个不依赖第三方库的精确搜索示例frommathimportsqrtdefcosine_similarity(vector_a,vector_b):计算两个等长非零向量的余弦相似度。iflen(vector_a)!len(vector_b):raiseValueError(向量维度必须一致)dot_productsum(a*bfora,binzip(vector_a,vector_b))norm_asqrt(sum(a*aforainvector_a))norm_bsqrt(sum(b*bforbinvector_b))ifnorm_a0.0ornorm_b0.0:raiseValueError(不能计算零向量的余弦相似度)returndot_product/(norm_a*norm_b)defexact_knn(query_vector,document_vectors,k3):遍历全部向量返回相似度最高的 Top-K。ifk0:raiseValueError(k 必须大于 0)scored_items[(index,cosine_similarity(query_vector,vector))forindex,vectorinenumerate(document_vectors)]scored_items.sort(keylambdaitem:item[1],reverseTrue)returnscored_items[:k]query[1.0,0.0]documents[[0.9,0.1],[0.8,0.2],[0.1,0.9],]print(exact_knn(query,documents,k2))这段代码会对所有文档向量逐一打分因此得到的是精确结果生产环境中的向量数据库则会使用更高效的数据结构和批量计算。四、倒排索引与 KNN 的区别对比项倒排索引KNN 向量检索检索依据词项是否出现、词频与位置向量距离或相似度擅长内容关键词、编号、专有名词、精确短语同义表达、自然语言语义相关内容核心数据结构词典 posting list向量集合或向量索引主要限制难以直接理解语义精确遍历在大规模数据上成本高典型用途全文搜索、过滤与精确召回RAG 语义召回、相似内容检索两者不是互斥关系。实际 RAG 系统经常把关键词检索和向量检索组合成混合检索再通过 Rerank 统一排序。五、为什么还需要 ANN精确 KNN 会扫描全部向量数据量越大越慢。为了在大规模数据上降低延迟工程中通常使用 ANNApproximate Nearest Neighbor近似最近邻搜索不再保证每次都找到理论上的绝对最近邻通过牺牲少量召回率换取更快的查询速度常见思路包括聚类索引、图索引以及向量量化。本集最后由暴力 KNN 引出了 ANN后续章节会继续介绍近似搜索与聚类索引。六、核心总结倒排索引通过term - posting list实现快速关键词定位。KNN 把查询和文档放入同一向量空间返回距离最近的 K 个结果。暴力 KNN 结果精确但需要遍历所有向量更适合小规模数据。大规模检索需要 ANN在召回率、速度和资源消耗之间做权衡。RAG 工程中可结合倒排索引与向量检索同时获得关键词精度和语义召回能力。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/21 14:14:45

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/21 14:14:26

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/20 20:45:42

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/20 16:11:20

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/21 19:02:25

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/21 14:13:11

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉