1. 单头只能学一种模式一个注意力头本质上只学到「一种相关性度量方式」。但一句话里同时藏着多种结构语义角色主谓宾、语法依赖相邻词、指代关系远处的「它」指谁……单头顾不过来只能妥协。这就好比让一个工程师同时盯架构、写代码、做测试——样样通但样样浅。多头注意力的解法很朴素开多个头各看各的。见图 figure_05_12. 多头的核心思想多头把d_model均分成 h 组每组dk d_model / h每组用不同的Wq/Wk/Wv独立算一遍注意力得到 h 个「子空间视角」的上下文向量最后按维度拼接再过一次线性变换Wo融合回原维度。公式MultiHead Concat(head1,…,head_h) · Wo其中head_i Attention(X·Wq_i, X·Wk_i, X·Wv_i)。拆分不增加总计算量总维度还是 d_model但表达能力明显增强。3. 并行的计算组织不同 head 之间没有依赖——每个头只读同一份输入 X各自算各自的天然可并行。这也是为什么 GPU 特别适合 Transformer一次矩阵乘法就能把 h 个头一起算了。同一 batch、同一序列里h 个头共享输入 X但权重完全不同所以每个头自发学到不同的关注偏好。工程上这就是「免费的多视角」。见图 figure_05_24. 用 Java 模拟多头下面用double[][][]存各头的权重循环 h 次调用缩放点积注意力再把各头输出按最后一维 concat过Wo。投影和拼接都是标准矩阵乘法。注意dk d_model / h必须整除否则维度对不上。这个骨架虽不含训练但把「拆分→各自算→拼接→融合」的数据流讲透了看懂它你就看懂了多头 80% 的本质。见图 figure_05_45. 多头到底在看什么可视化研究有个有趣结论不同头会自发分工。有的头盯着相邻词抓局部语法像「的」前面是修饰语有的头跨越远距离抓指代「它」指向段落开头的实体有的头对齐主谓宾结构。这解释了为什么 h 取 8/12/16 效果明显好于 1——头数越多模型能并行捕捉的语言模式越丰富。当然头也不是越多越好边际效益会递减。见图 figure_05_36. 工程调参注意几个实战要点head 数必须整除 d_model常见 d_model768、h12、dk64dk 不能太小dk 过小比如 16会限制单头表达能力注意力退化换模型看配置BERT-Base 是 12 头 768 维BERT-Large 是 16 头 1024 维这俩数字直接决定了注意力子空间的大小。调参时别只盯层数head 维度同样影响模型「看得细不细」。/** 多头注意力骨架示意不含训练梯度 */publicclassMultiHeadAttention{privatefinalintheads;privatefinalScaledDotProductAttentionattnewScaledDotProductAttention();publicMultiHeadAttention(inth){this.headsh;}publicdouble[][]forward(double[][]X,double[][][]Wq,double[][][]Wk,double[][][]Wv,double[][]Wo){intdModelX[0].length,dkdModel/heads;double[][][]outHeadsnewdouble[heads][X.length][dk];for(inth0;hheads;h){double[][]QmatMul(X,Wq[h]);double[][]KmatMul(X,Wk[h]);double[][]VmatMul(X,Wv[h]);outHeads[h]att.attend(Q,K,V);}double[][]concatconcatHeads(outHeads);// [seqLen x dModel]returnmatMul(concat,Wo);}// matMul / concatHeads 实现略}头数 hd_modeldk表达能力常见模型851264适中Transformer Base1276864强BERT-Base16102464更强BERT-Large