AI Engineering 学习路线Chip Huyen 四级能力阶梯从单条提示词到生产部署【免费下载链接】aie-book[WIP] Resources for AI engineers. Also contains supporting materials for the book AI Engineering (Chip Huyen, 2025)项目地址: https://gitcode.com/GitHub_Trending/ai/aie-book打开《AI Engineering》10个章节从基础模型原理一路铺到生产部署先读哪个成了问题。本文结合 aie-book 仓库不按章节顺序而是用能跑通、能评估、能调优、能上生产四级帮你规划学习路线。 学习前的准备会基础 Python、能调用 LLM API不需要懂训练原理。了解 HTTP/JSON 基本交互能读懂请求响应。没有机器学习背景也可以第2章用白话解释了 Transformer 与采样。手边有一个真实业务场景客服问答、文档摘要都行各层动手任务都围绕它做。️ 能力路线图四级按依赖递进L1 对模型行为的理解是 L2 评估的地基L2 的评估集是 L3 调优的尺子L3 的提示词与 RAG 积累是 L4 架构的内容。L1 能跑通理解基础模型行为推荐章节第1章 第2章——第1章回答该不该建、怎么规划第2章讲清模型输出为什么是概率性的采样机制是后面所有技巧的前提。动手任务用同一条提示词连续调用 LLM API 三次记录输出差异。完成标志能一句话说清为什么同样提示词输出不同并能为你的场景圈定 2-3 个候选模型。L2 能评估搭起评估体系依赖 L1不理解模型输出为什么不稳定评估只是几个数字。推荐章节第3章 第4章——全书用两章讲评估因为 AI 应用落地的最大瓶颈就是缺可靠的评估体系。第3章讲单条输出怎么评精确指标、相似度、AI 评判者第4章讲选模型与整条流水线设计。动手任务攒 20-50 条真实输入做评估集写 2-3 条打分标准用一个强模型当 AI judge让另一个模型给你的应用输出打分跑一轮评分。完成标志能独立跑完评估集并在输出质量下降时说得出该先看哪个指标。L3 能调优提示词与上下文工程依赖 L2没有评估集提示词好坏全凭感觉。推荐章节第5章 第6章——提示词是成本最低的调优手段当模型自身知识不够时RAG检索增强生成先查资料再回答把外部知识带进上下文窗口Agent 则是 RAG 的进阶形态。动手任务为同一任务写零样本、少样本、分步思考三版提示词用 L2 的评估集对比再拿几份文档跑通最小 RAG 流程切块→向量检索→生成。完成标志能说出一版提示词比另一版好多少、好在哪RAG 的回答能指出检索到了哪段资料。L4 能上生产架构、成本与反馈依赖 L3没有提示词和 RAG 的积累生产架构就是空壳。推荐章节第7章 第9章 第10章第8章选读——第7章的重点是何时不该微调第9章管延迟与成本第10章给完整的生产架构和用户反馈闭环。动手任务给自己的项目写一份RAG 还是微调决策文档参考书中生产架构画自己的架构图至少标出 1 个 guardrail输出护栏拦截不安全内容和 1 个缓存。完成标志架构图含上下文构建、输入输出护栏、模型网关、缓存、监控五块并能说清各延迟优化手段的成本量级。 路径选择指南如果你是后端/全栈转 AI从 L1 直接跳到 L3你习惯API 调用 数据流RAG 架构和你熟的检索系统同构。如果你是纯前端先做 L1 的三次对比任务建立模型不确定的直觉再碰提示词避免瞎调。如果你有传统 ML 经验读完第1章AI 工程 vs ML 工程一节直接进 L2评估指标的差异才是你最大的坑。⚠️ 高频误区与避坑输出不满意先调微调参数 → 正确先验证提示词和 RAG 能不能解决微调成本更高、迭代更慢。看公开 benchmark 榜单选模型 → 正确用自己的评估集选公开榜单很可能已泄漏进训练数据不代表你的场景。把 AI judge 分数当唯一依据反复对比版本 → 正确搭配精确评估功能正确性和人工抽检因为评判者本身会漂移。按顺序从第1章读到第10章 → 正确按能力层读第3-4章尽量提前否则后续调优全靠猜。✅ 动手实验清单构建 LLM API 的三次调用对比输出脚本对应 L1构建 30 条真实业务输入评估集跑一轮 AI judge 打分对应 L2对比零样本/少样本/分步思考三版提示词的输出差异对应 L3产出RAG vs 微调决策文档与生产架构图对应 L4 配套文档索引ToC.md全书 10 章结构与小节规划阅读范围前查它。chapter-summaries.md每章官方摘要快速判断某章是否值得精读。prompt-examples.mdBrex、Cursor 等公司的生产提示词模板可直接抄改。resources.md按章节整理的 1200 参考链接需要深挖时查。study-notes.md社区读书笔记RAG 与微调章推荐对照看。 能力验收自检能够一句话说清同样提示词、不同输出背后的概率性原因能够为一个新任务写出 2-3 条打分标准并完成一轮 AI judge 评分能够用评估集证明提示词 v2 优于 v1并说明原因能够构建先检索、再回答、能指出来源的 RAG 回答能够回答自己项目的RAG 还是微调问题并给出两条具体理由《AI Engineering》的价值不在 10 个章节而在它给了你一套把基础模型适配到真实问题的判断框架。今天先做掉 L1 的小任务——同一条提示词跑三次看差异四级阶梯就从这一步开始。【免费下载链接】aie-book[WIP] Resources for AI engineers. Also contains supporting materials for the book AI Engineering (Chip Huyen, 2025)项目地址: https://gitcode.com/GitHub_Trending/ai/aie-book创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考