跨仓库代码RAG实战如何对百万行代码做语义检索ai-engineering-from-scratch手把手教程【免费下载链接】ai-engineering-from-scratchLearn it. Build it. Ship it for others.项目地址: https://gitcode.com/GitHub_Trending/ai/ai-engineering-from-scratchai-engineering-from-scratch是一个从零构建 AI 工程师的开源课程仓库其中 Capstone 02「RAG over Codebase」专门演示了跨仓库代码RAG的完整方案对多个代码仓库做 AST 感知切块、混合语义检索向量 BM25、重排序并输出带文件:行号引用的答案。本文将带你理解它的核心原理并跑通仓库里自带的可运行示例。为什么代码搜索需要 RAG当代码库长到几十万甚至上百万行时传统的字符串搜索会遇到三个问题理解不了意思你问权限是怎么校验的但代码里只有check_permission关键词根本对不上跨仓库问答无解一个问题的答案可能横跨 4 个仓库的文件上下文装不下即便模型有 100 万 token 上下文也扛不住整个单体仓库必须先做排序检索。生产级的解法就是一条 RAG 流水线切块 → 嵌入 → 混合检索 → 重排 → 带引用地回答。核心思路一AST 感知切块而不是按 token 硬切固定窗口切块会把一个函数拦腰截断导致检索质量暴跌。Capstone 的做法是用 tree-sitter 解析源码按函数/类节点边界切块每块记录{仓库, 路径, 起始行, 结束行, 符号名, 代码体, 自然语言摘要}关键亮点是每个块额外附一句 LLM 生成的摘要。这样用户问 how is X authorized 时即使代码里只有check_permission摘要中提到 authz 也能被命中——相当于给检索增加了第三种模态。核心思路二混合检索 倒数排名融合RRF纯向量搜索对按符号名精确查找很弱纯 BM25 又不懂语义。所以两个索引并行查询再用倒数排名融合Reciprocal Rank Fusion合并结果每个候选按1/(60 排名)累计分数两路都靠前的结果自然胜出BM25 侧还做了字段加权符号名权重 ×4、摘要 ×2、代码体 ×1兼顾找叫 X 的函数和找做 X 的函数两类查询。仓库里的 Python 参考实现只有两百多行包含真实可跑的 BM25、余弦相似度索引和 RRF 融合code/main.py。TypeScript 版把它做成了 HTTP API融合逻辑见 retrieval.ts索引实现见 index_store.ts。核心思路三增量索引与强制引用增量重索引git push 触发 diff只重新嵌入变化的代码块。目标是200 万行代码库上50 个文件的提交 60 秒内可被检索引用强制回答中每个论断都必须带(仓库/路径:起止行)锚点后过滤器会直接丢弃没有引用的内容杜绝模型幻觉引用。动手跑一遍示例先克隆仓库本地离线可运行无需任何 API Keygit clone https://gitcode.com/GitHub_Trending/ai/ai-engineering-from-scratch方式一Python 快速演示。内置 6 个模拟代码块来自 uploader / auth / client / catalog 四个仓库跑三条真实跨仓库问题python phases/19-capstone-projects/02-rag-over-codebase/code/main.py方式二TypeScript 服务版。启动后自动做健康检查和三条探针查询cd phases/19-capstone-projects/02-rag-over-codebase/code/ts npm install npm start它会暴露/query?q...接口返回 dense、sparse、融合后三路的 top 结果及最终引用——示例语料见 corpus.ts。如何评价检索质量Capstone 的评分标准可以直接当作你自建系统时的验收清单docs/en.md指标含义MRR10 / nDCG10正确代码块是否排在前 10引用忠实度论断中带可验证文件:行锚点的比例增量索引正确性git push 到可被检索的耗时p95 延迟大规模查询语料下的响应时间相关路径速查完整概念与架构文档phases/19-capstone-projects/02-rag-over-codebase/docs/en.mdPython 参考实现phases/19-capstone-projects/02-rag-over-codebase/code/main.pyTypeScript API 实现phases/19-capstone-projects/02-rag-over-codebase/code/ts/src/技能产出文档phases/19-capstone-projects/02-rag-over-codebase/outputs/skill-codebase-rag.md前置 RAG 基础课phases/11-llm-engineering/06-rag/docs/en.md小结跨仓库代码 RAG 的精髓不在模型而在工程AST 感知切块保证切得对混合检索 重排保证找得准增量索引保证更新快强制引用保证说得实。仓库里的双语言示例让你无需任何外部服务就能完整跑通这条流水线建议从main.py读起再看 TypeScript 版的 HTTP 封装最后对照文档实现自己的版本。【免费下载链接】ai-engineering-from-scratchLearn it. Build it. Ship it for others.项目地址: https://gitcode.com/GitHub_Trending/ai/ai-engineering-from-scratch创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考