第17章 Embedding Model本章目标：理解 Embedding Model 和 LLM 的本质区别，以及 BGE、E5、GTE 等模型是如何训练的。本章目录17.1 Embedding Model 是什么？17.2 Embedding Model vs LLM17.3 为什么用 Encoder-Only？17.4 为什么原始 BERT 不适合做 Sentence Embedding？17.5 对比学习（Contrastive Learning）17.6 从 Token 向量到句子向量：Pooling 策略17.7 为什么 Embedding 需要 L2 归一化？17.8 对称检索 vs 非对称检索17.9 主流 Embedding Model17.10 Embedding Model 的评测17.11 使用 Embedding Model17.12 Embedding 的维度与质量本章总结本章思考题下一章预告17.1 Embedding Model 是什么？Embedding Model 的任务是：把一段文本映射到一个固定维度的向量，使得语义相近的文本，向量也相近。文本1: 苹果是一种水果Embedding Model文本2: 苹果公司发布了新产品文本3: 香蕉也是水果向量1: [0.1, 0.3, ...]向量2: [0.8, 0.2, ...]向量3: [0.2, 0.4, ...]向量之间的距离：cos(向量1, 向量3) = 0.92 ← 语义相近（都是水果） cos(向量1, 向量2) = 0.31 ← 语义不同（苹果的不同含义）17.2 Embedding Model vs LLM特性Embedding ModelLLM架构Encoder-OnlyDecoder-Only输出固定维度向量Token 序列任务语义表示文本生成代表BGE, E5, GTEGPT, Qwen, Llama参数量小（100M-1B）大（7B-700B）推理速度快慢用途检索、聚类对话、生成17.3 为什么用 Encoder-Only？Embedding Model 需要的是：对整个句子的全局理解。Encoder 的双向 Attention 可以让每个 Token 同时看左右，更好地理解整个句子。Decoder 的单向 Attention 只能看左边，不适合做全局理解。Decoder 单向苹果是水果Encoder 双向苹果是水果17.4 为什么原始 BERT 不适合做 Sentence Embedding？很多人第一次做 Embedding 会想：BERT 不是很强的语义理解模型吗？直接取它的[CLS]向量，或者把所有 token 向量做平均（mean pooling），不就得到句向量了吗？实践证明，这样做效果很差——在语义相似度（STS）基准上，原始 BERT 的句向量甚至可能不如更早的 GloVe 平均词向量（这是 Sentence-BERT 论文中一个著名结论）。原因主要有四个。17.4.1 预训练目标不是"句子表示"BERT 的预训练任务是MLM（掩码语言模型）和NSP（下一句预测）：MLM 是"根据上下文预测被遮住的词"，它优化的是每个 token 的上下文表示，而不是整句的语义压缩表示。[CLS]在预训练时只被 NSP 用来判断"两句话是不是相邻"，这是一个非常粗糙的二分类信号，并没有被训练成"能代表整句语义"的向量。所以直接拿[CLS]当句向量，等于用一个"为别的任务训练出来的副产品"，去做它从没被训练过的事。17.4.2 向量空间没有对齐：各向异性（Anisotropy）BERT 从来没有被告知"语义相近的句子向量要靠近、不同的要远离"。结果它输出的向量空间存在严重的各向异性（anisotropy）——所有句子的向量都挤在一个狭窄的锥形区域里：