教程文档【免费下载链接】easy-vibe从 0 到 1 学会 vibe coding项目制学习项目地址https://gitcode.com/datawhalechina/easy-vibe点击查看免费下载本文基于 Datawhale 开源项目 easy-vibe 的 RAG 原理文档系统讲解检索增强生成Retrieval-Augmented Generation的核心思想、三阶段工作流程、文本分块与检索技术选型、架构演进路线以及 RAG 与微调的取舍。读完本文你将掌握 RAG 从原理到落地的完整知识框架并能结合项目仓库中的配套教程RAG 入门教程、Embedding 与向量检索原理完成从能回答问题到稳定、可控、可追溯地回答问题的进阶。0. 全景图大模型为什么需要查资料想象你是一位博学的教授读过无数书籍。但如果有人问你昨天公司的销售数据是多少你肯定答不上来——因为这些信息不在你读过的书里。大语言模型面临的就是同样的困境知识有截止日期大模型的训练数据截止到某个时间点之后发生的事它不知道缺乏私有知识你公司的内部文档、产品手册、客户数据模型从未见过容易产生幻觉当模型不确定答案时它倾向于编造一个看起来合理的回答。RAG 的解决方案非常直观在让模型回答之前先帮它找到相关的参考资料。就像开卷考试——你不需要记住所有知识只需要知道去哪里找、怎么找。RAG 检索Retrieval 增强Augmented 生成Generation下面这张示意图直观对比了无 RAG与有 RAG的差别同样的用户问题无 RAG 时模型因缺乏外部知识只能给出模糊回应有 RAG 时系统先完成文档索引、检索相关片段再把问题 证据组合成 Prompt 交给 LLM从而生成有依据的回答。更进一步看单纯把资料塞进长上下文也不是企业级答案。在 RAG 入门教程 中明确指出能给出一个回答和在真实业务环境中持续、稳定、可控地给出正确答案是两件完全不同的事长上下文方案至少会暴露三类典型问题成本与效率问题推理成本与上下文长度强正相关8K Token 与 200K Token 的价格、延迟完全不在一个量级且绝大多数任务仅需少量高相关信息把全量文档塞入上下文会造成严重的算力浪费注意力与聚焦问题上下文超过一定阈值后模型出现注意力衰减更依赖后端文本、忽略前端关键信息和信息干扰被无关、重复甚至冲突的信息带偏知识更新与可控性问题知识变更时重新训练或微调投入高、周期长且从黑盒化的参数中难以定位回答依据合规审计与风控解释面临困难。从企业需求出发RAG 主要解决时效性直接读取最新制度文件与业务库、专业性基于权威资料作答、幻觉问题要求回答尽量基于检索片段并给出出处、可解释与可审计每条回答可回溯到具体条款与案例、算力成本与资源效率按需检索知识存放在外部向量库五类现实问题。1. RAG 基础流程索引、检索、生成RAG 的工作流程可以分为两个阶段离线索引和在线查询。离线阶段就像图书馆的编目工作——把所有书籍分类、编号、上架方便日后查找在线阶段则是读者来图书馆查资料的过程——根据问题找到相关书籍然后综合信息给出回答。三个核心阶段索引阶段Indexing将原始文档加载、清洗、分块然后通过嵌入模型转化为向量存入向量数据库。这是一次性的准备工作检索阶段Retrieval用户提问时将问题也转化为向量在向量数据库中搜索最相似的文档片段生成阶段Generation将检索到的文档片段和用户问题一起拼接为 Prompt交给大模型生成最终回答。阶段输入输出关键技术索引原始文档向量数据库文本分块、嵌入模型检索用户问题Top-K 文档片段向量相似度、重排序生成问题 上下文最终回答Prompt 工程、LLM在 RAG 入门教程 中用苹果知识库案例完整演示了这一闭环知识库含三个片段——苹果公司 1976 年创立公司、苹果是富含维生素 C 的水果水果、2007 年推出 iPhone公司。当用户问苹果公司是什么时候创立的系统将问题向量化后与知识库中所有文档向量计算余弦相似度与文档 A 相似度 0.97、与文档 C 相似度 0.88、与文档 B 相似度 0.12按 Top-KK2召回最相关的两个片段再拼入如下结构化 Prompt 交给 LLM【系统指令 (System Prompt)】 你是一个专业的问答助手。请严格根据用户提供的参考信息来回答问题。 如果参考信息中包含问题答案请直接基于该信息进行回答。 如果参考信息中不包含问题答案请明确告知用户根据现有资料无法回答该问题切勿自行编造信息。 请在回答中注明依据的信息点。 【参考信息 (Retrieved Context)】 苹果公司于1976年4月1日由史蒂夫·乔布斯、史蒂夫·沃兹尼亚克和罗纳德·韦恩创立总部位于加利福尼亚州库比蒂诺。 苹果公司在2007年推出了第一款iPhone彻底改变了智能手机行业。 【用户问题 (User Query)】 苹果公司是什么时候创立的LLM 遵循系统指令将参考信息视为唯一可信来源作答根据提供的参考信息苹果公司于 1976 年 4 月 1 日创立。【依据信息1】。当用户问与知识库无关的问题如今天天气怎么样时检索相似度普遍极低均低于 0.2实际系统常结合最低相似度阈值直接返回空召回模型则会明确回答根据现有资料无法回答从机制上抑制了幻觉。这种系统指令设定角色与规则 检索证据提供作答素材 用户问题明确任务目标的结构化输入正是 RAG 引导大模型输出稳定、可靠答案的关键。2. 文本分块把大象装进冰箱文本分块是 RAG 中最容易被忽视、却对效果影响最大的环节。为什么需要分块因为大模型的上下文窗口有限我们不可能把整本书塞进去。更重要的是分块的质量直接决定了检索的质量——如果整本书是一个块检索到了也没用你还是得翻遍全书如果按章节甚至段落分块就能精准定位到你需要的内容。分块策略的选择固定大小分块按字符数或 token 数切分简单粗暴但可能切断语义递归分块先按段落分段落太长再按句子分保持语义完整性语义分块用嵌入模型判断语义边界相似度突变处切分文档结构分块利用 Markdown 标题、HTML 标签等结构信息分块。没有最好的分块策略只有最适合你数据的策略。一般建议从递归分块开始chunk 大小 200-500 tokensoverlap重叠10%-20%。分块效果可以量化验证。在 RAG 入门教程 的Late Chunking一节中给出了一个典型反例一份 200 页的保险合同里免赔额定义在第 5 页、具体适用条件在第 30 页传统固定长度切分如每 512 tokens 一块会把相关信息分散到 40 多个独立文本块实验数据显示这种割裂会导致语义相似度从 0.85 暴跌至 0.71。而先编后切的 Late Chunking先用支持 8192 tokens 的长上下文嵌入模型生成每个 token 的向量再按块做平均池化能让块向量携带跨段落的指代关系使相似度从 0.71 提升至 0.83。这印证了一个规律文档长度与分块策略的收益呈正相关。3. 检索技术找到最相关的内容分块完成后下一个关键问题是用户提了一个问题怎么从成千上万个文档片段中找到最相关的那几个这就像在一个巨大的图书馆里找书——你可以按书名关键词搜索关键词检索也可以描述你想要的内容让图书管理员帮你找语义检索最好的方式是两者结合混合检索。检索方式原理优势劣势关键词检索BM25基于词频和逆文档频率精确匹配、速度快无法理解语义、同义词失效向量检索基于嵌入向量的余弦相似度理解语义、支持模糊匹配对专有名词不敏感混合检索融合关键词和向量检索结果兼顾精确和语义需要调权重、复杂度高重排序Reranking检索到候选文档后通常还需要一步重排序。初始检索追求召回率尽量不遗漏重排序追求精确率把最相关的排到最前面。常用重排序模型有 Cohere Rerank、BGE Reranker 等它们使用交叉编码器对 query-document 对进行精细打分。向量检索的底层机制可以进一步参考仓库中的 Embedding 与向量检索原理嵌入模型把文本映射为稠密、低维的语义向量典型维度 768-1536语义相近的文本在向量空间中彼此靠近衡量相似度首选余弦相似度比较方向、不受向量模长影响取值范围 [-1, 1]也可用欧氏距离衡量端点直线距离。当向量规模达到百万级时逐一暴力比对Flat已不可行需要通过 ANN 近似最近邻索引加速——IVF 先把向量空间聚类分桶、查询时只搜邻近桶HNSW 构建多层可导航小世界图、从粗到细逐层定位PQ 则把高维向量压缩成短码以换取内存节省。向量数据库如 Pinecone、Milvus、Chroma、FAISS正是为这种存储高维向量 毫秒级相似度检索场景而生的存储引擎。4. 架构演进从简单到智能RAG 技术在短短两年内经历了三代演进每一代都在解决上一代的痛点。三代 RAG 架构对比Naive RAG2023最基础的索引 → 检索 → 生成流程实现简单但效果有限。问题包括检索质量不稳定、无法处理复杂查询、容易引入噪音上下文Advanced RAG2024在 Naive RAG 基础上增加了查询改写、混合检索、重排序、上下文压缩等优化环节显著提升检索精度和生成质量Modular RAG2025将 RAG 拆解为可插拔的模块支持路由判断、自适应检索、自我反思等高级能力可根据查询类型动态选择最优处理流程。从技术起源看RAG 并非诞生于大模型时代RAG 入门教程 追溯了 2017 年 DrQA 框架首次将检索机制与语言模型结合、2020 年 Dense Passage RetrievalDPR用神经网络取代 TF-IDF/BM25 词频检索、2021 年 RAG 被正式提出并系统化的发展脉络。Naive RAG的典型流程是三步走文档预处理与索引固定长度切分 嵌入向量化 写入向量库→ 基于相似度的 Top-K 检索 → 简单拼接后增强生成。它的价值在于以极低门槛验证了先查再答确实有效但局限同样明显分块策略粗糙容易截断语义段落、检索信号单一只依赖向量相似度、检索结果几乎不过滤噪音、重复、矛盾的片段原样塞进上下文。Advanced RAG在检索前与检索后两端做系统化精细化优化检索前Pre-Retrieval索引端从固定长度切分演进到语义感知分块与分层索引按章节、段落、句子边界切分辅以滑动窗口和多粒度索引并为每个文档块附加来源、时间、作者、主题等元数据查询端对原始问题进行重写、扩展与拆分常见手段包括Query Rewrite查询重写把咋查明天北京的天气啊这种口语化问题规范化为查询北京市明日全天实时天气Multi-Query多路查询围绕如何给刚满月的宝宝拍嗝生成新生儿拍嗝的正确姿势满月宝宝拍嗝避免吐奶的方法等多个角度不同的查询避免单一查询遗漏Sub-Query子问题分解把北京到上海的高铁明天有哪些班次票价多少需要坐多久拆分为聚焦班次、票价、时长的独立子查询Step-back Prompting回溯提示先生成更宏观的上位问题如影响新能源汽车品牌短期销量波动的核心因素有哪些再据此推导具体检索方向。检索后Post-Retrieval用专门的 Rerank 模型或 LLM 对候选文档二次排序对检索结果做筛选、去重与压缩必要时结合轻量模型微调使 LLM 更倾向于依据检索证据作答并附带引用出处。Modular RAG不再是一条固定流水线而是由一组可插拔、可替换、可组合的功能模块组成通过编排逻辑按需组合。典型模块包括查询理解与路由模块意图识别、问题重写、子任务拆解和路径选择——这条错误日志代表什么问题路由到代码与日志知识库最近该行业的监管新规有哪些变化走互联网搜索或法规库多源检索与融合模块同时连接向量库、全文检索、结构化数据库与知识图谱把多源结果合并为有序证据集记忆与个性化模块维护长期用户画像、短期会话记忆和领域知识缓存让系统在长期交互中积累历史信息任务适配与治理模块面向不同任务加载适配器约束输出格式、语气、风格并结合事实核查、风险过滤和引用对齐对生成结果进行治理。Modular RAG 还打破了一轮检索 一轮生成的单一流程生成过程中发现信息不足时可以主动触发新的检索轮次甚至多次往返模型还能学习自我决策——把握较大的问题直接作答不确定时才发起检索或调用外部工具从而在保证质量的前提下节约资源。5. RAG vs 微调该选哪个当你想让大模型掌握特定领域的知识时通常有两条路RAG 和微调Fine-tuning。它们不是互斥的而是互补的。打个比方微调像是让学生上培训班把知识内化到大脑里RAG 像是给学生发参考书考试时可以翻阅。维度RAG微调知识更新实时更新改文档即可需要重新训练成本低无需 GPU 训练高需要训练资源可解释性高可追溯来源低知识内化在权重中适用场景知识库问答、文档检索风格迁移、特定任务优化幻觉控制较好有参考依据一般仍可能幻觉实践建议大多数场景下先试 RAG。RAG 的优势在于不需要训练、知识可实时更新、回答可追溯来源。只有当你需要改变模型的行为模式比如输出格式、语言风格、推理方式时才考虑微调。最强的方案往往是RAG 微调的组合。关于微调的技术细节可以进一步阅读仓库中的 模型微调与部署 一文。6. 从 Demo 到企业级模型选型与效果评测把 RAG 从 Demo 推向企业级生产需要在前文原理之外补齐三块拼图模型选型、运行框架与效果评测。这在 RAG 入门教程 中有系统论述这里提炼关键决策点。模型选型一个完整的企业级 RAG 系统涉及三类核心模型各司其职。Embedding 模型决定召回阶段质量。选型可参考 MTEB大规模文本嵌入评测基准覆盖 8 大类任务、56 个数据集作为统一评估框架同时重点关注两个直接影响 RAG 性能的参数维度维度越高语义刻画越精细适合医疗、法律等专业检索维度越低计算与存储成本越小、检索越快适合千万级文档的高并发场景和上下文长度处理短文本选 512-1024 token 即可处理论文、报告等长文本需选 2048 token 以上避免信息截断。常见选项包括 OpenAI text-embedding-3、Jina Embeddings v2、BGE 系列、Qwen2-Embedding 系列等可结合成本与实测效果选择Rerank 模型对初步召回结果精排打分。可参考面向 RAG 场景的 Reranker 排行榜评估时同时关注排序质量如 nDCG5/10 衡量排得准、Recall5/10 衡量找得全与推理延迟实践中也可直接采用云厂商默认的 Rerank APILLM负责阅读理解与答案合成使用方式分两类私有化部署Qwen、Llama、GLM 等开源系列适合注重数据隐私与成本可控的场景和云端 API 服务适合快速上线、弹性扩展的场景。对话问答能力的综合评估可参考 LMArena 的盲测对战榜单但更务实的做法是构建 20-30 个典型业务问题的小型测试集对候选模型做端到端 RAG 评估而非仅看单点性能。运行框架通常不必从零构建。低代码/可视化平台如 Dify、Coze、RAGFlow、FastGPT适合非技术团队快速验证代码框架如 LlamaIndex、LangChain适合深度定制检索策略或集成多种数据源实际项目也可采用混合方案——低代码平台快速验证可行性代码框架实现生产级部署与优化。效果评测RAG 涉及检索和生成两个非确定性环节传统软件测试方法不再适用需要建立体系化的评测RAG Evaluation。检索效果RecallK前 K 条结果中相关文档的找回比例、PrecisionK前 K 条结果中真正相关文档的占比、F1两者调和平均衡量基础召回质量MRR第一个相关文档位置倒数的均值、NDCGK考虑相关分级与位置衰减、MAP综合所有相关文档位置衡量排序质量。工程上常用 RecallK MRRK 组合——若 Recall10 达 80% 但 MRR10 只有 0.3说明相关文档被找到了但排在后面应重点优化重排序生成质量EM精确匹配适合答案唯一的事实问答、ROUGE/BLEU/METEORn-gram 词汇重叠、BertScore 或向量相似度语义级相似容忍表述差异更关键的是Hallucination幻觉率与Faithfulness忠实度——让另一个 LLM 扮演事实核查员逐句判断生成答案能否在检索文档中找到依据LLM-as-a-Judge将问题、检索文档、系统回答、参考答案一并交给独立大模型从问题相关性、信息完整性、事实忠实性、整体正确性四个维度综合评分评测框架与基准RAGAS最早的综合性评测框架之一同时评估检索与生成、ARES分类器辅助评测、RGB关注噪声鲁棒性、负样本拒绝等细分维度、MultiHop-RAG多跳推理场景等各有侧重医疗、法律、金融等垂直领域还有 MedRAG、LegalBench-RAG 等专用框架。实践中建议从精简组合开始——检索用 RecallK MRRK生成从 EM、ROUGE-L、BertScore 中选一到两个做基线再引入 LLM 裁判形成评测 → 发现问题 → 调整策略 → 再评测的迭代循环。总结RAG 是当前让大模型落地最实用的技术之一。它的核心价值在于让模型的回答有据可查、知识可实时更新、幻觉可有效控制。回顾本章的关键要点RAG 解决的核心问题大模型知识过时、缺乏私有数据、容易幻觉三阶段流程索引离线准备→ 检索在线查找→ 生成综合回答分块是基础分块质量直接决定检索质量选择合适的策略至关重要检索是关键混合检索 重排序是目前效果最好的组合架构在演进从 Naive RAG 到 Modular RAG系统越来越智能和灵活RAG 和微调互补大多数场景先试 RAG需要改变模型行为时再考虑微调。进一步阅读RAG 原理英文版 —— 本文对应的原版文档含交互式演示组件说明RAG 入门教程从原理到企业级实践 —— 苹果知识库全流程案例、三代架构详解、模型选型与评测体系、竞赛级实战方案Embedding 与向量检索原理 —— 向量化、相似度计算、ANN 索引与向量数据库的底层原理上下文工程 —— 与 RAG 密切相关的 Prompt 组织与上下文利用策略模型微调与部署 —— 微调路线与 RAG 形成互补的技术方案AI 智能体AI Agents —— 从 RAG 到 Agentic RAG 的演进方向赞分享教程文档【免费下载链接】easy-vibe从 0 到 1 学会 vibe coding项目制学习项目地址https://gitcode.com/datawhalechina/easy-vibe点击查看免费下载相关推荐Easy-Vibe RAG 检索增强生成全解析从原理推导到企业级落地Easy Vibe RAG 检索增强生成全解析从原理推导到企业级落地 导读本文以 Easy Vibe 课程「RAG 简介」章节为主体系统讲解检索增强生成教程文档人工智能Vibe CodingEasy-Vibe 进阶课检索增强生成RAG从原理到企业级落地的系统指南Easy Vibe 进阶课检索增强生成RAG从原理到企业级落地的系统指南 导读 本文是 Easy Vibe 教程 Stage 3「AI 进阶」模块的核心教程文档人工智能Vibe Codingeasy-vibe 中的 RAG 原理与实践从检索增强生成到企业级知识库问答easy vibe 中的 RAG 原理与实践从检索增强生成到企业级知识库问答 导读 本文是 easy vibeAI Native 产品开发者入门课程附录教程文档人工智能Vibe Coding上一篇Stable Video Infinity社区贡献指南提交Issue与Pull Request完整教程下一篇Sixpack安全最佳实践CORS配置与IP过滤策略终极指南 创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考