1. 面试官问Encoder和Decoder区别时到底在考什么先还原一个最真实的面试场景。面试官手里拿着你的简历看到你写过Transformer、用过BERT或者GPT于是随口问出那句经典问题你说说Transformer的Encoder和Decoder有什么区别它们是怎么协作的很多候选人的第一反应是背诵Encoder是双向的Decoder是单向的或者Encoder用Self-AttentionDecoder用Masked Self-Attention。这些回答没错但往往只能拿到及格分。因为面试官真正想听的是你能不能从结构设计动机和信息流动方向这两个维度讲清楚为什么Transformer要这样设计而不是简单罗列差异点。从大模型的实际应用来看BERT和GPT的底层差异就完全体现在Encoder和Decoder的分工上。BERT只用了Encoder所以它擅长理解任务比如文本分类、命名实体识别、语义相似度计算。GPT只用了Decoder所以它擅长生成任务比如文本续写、对话生成、代码补全。理解不了Encoder和Decoder的本质区别你就理解不了为什么BERT做不了生成、GPT做理解任务会那么别扭。这篇文章我会从一个完整的技术视角把Encoder和Decoder的每一层结构、每一个注意力机制的作用、训练和推理阶段的协作方式全部拆开来讲。内容适合准备大模型岗位面试的候选人也适合那些已经上手Transformer但总感觉哪里没通透的开发者。文章里会穿插面试官真正关注的点以及我实际面试别人和被别人面试时总结出来的经验。2. 结构差异的根源每一层在做什么先看最直观的层面。一个标准的Transformer模型不管是原始的Transformer还是后来衍生出的BERT、GPT核心都是由若干个相同的层堆叠而成。但Encoder层和Decoder层内部的构件是有明显区别的。2.1 Encoder层Self-Attention FFN信息在这里完成编码一个Encoder层由两个子层组成多头自注意力机制Multi-Head Self-Attention前馈神经网络Feed-Forward NetworkFFN每个子层后面都跟着残差连接Residual Connection和层归一化Layer Normalization。输入序列经过Embedding和位置编码后进入第一层Encoder经过自注意力层时序列中的每个token都会和序列中的所有token进行交互。这里的所有token包括它自己也包括它前后的所有token没有任何遮掩。这意味着Encoder在编码某个词的时候能看到完整的上下文。以苹果这个词为例在我爱吃苹果和苹果公司发布了新手机这两个句子里苹果的语义完全不同。Encoder在编码这个词时会同时看到我爱吃和公司发布新手机这些信息从而判断出当前的苹果指的是水果还是科技公司。FFN层的作用是对自注意力层输出的每个位置的特征进行非线性变换。Self-Attention本质上是token之间的信息交换和聚合而FFN是对聚合后的信息做进一步的特征提取和维度变换。两者交替堆叠一个负责全局建模一个负责局部特征精炼。从参数角度看Encoder的所有层共享相同的结构但不共享参数。每一层学习到的特征抽象级别不同底层倾向于学习词法和句法特征高层倾向于学习语义特征。这也是为什么BERT的每一层输出可以被用来做不同层次的语言理解任务。2.2 Decoder层比Encoder多了一个Cross-AttentionDecoder层由三个子层组成Masked多头自注意力机制Masked Multi-Head Self-Attention编码器-解码器注意力机制Cross-Attention前馈神经网络Feed-Forward Network第一个子层和Encoder的自注意力机制结构上类似但是多了一个Mask操作。这个Mask的作用是让当前位置的token只能看到它之前的token不能看到它之后的token。因为在生成任务中你解码第i个词的时候第i1个词及之后的词根本还不存在如果让模型看到了未来的信息那就是在作弊。第二个子层是Decoder独有的也是Encoder和Decoder协作的核心枢纽——Cross-Attention。在这个子层里Query来自Decoder自身的上一层输出而Key和Value来自Encoder的最终输出。也就是说Decoder在生成每个词的时候都会去Encoder编码好的整个输入序列中查找相关信息从而实现输入条件约束下的生成。第三个子层和Encoder的FFN完全一致作用也一样对特征做非线性变换和精炼。2.3 一张表看懂两者的基础差异维度EncoderDecoder子层构成Self-Attention FFNMasked Self-Attention Cross-Attention FFN注意力可见范围整个序列双向已生成的当前位置及之前位置是否有Cross-Attention无有Query来自DecoderKey/Value来自Encoder主要应用BERT、理解任务、特征提取GPT、生成任务、条件生成信息流向输入到输出无额外条件注入两个输入源自身已生成序列 Encoder输出训练方式并行计算所有位置并行计算所有位置训练时但带因果Mask推理时逐步生成注意训练和推理的差异。训练阶段Decoder并不像很多人想象的那样一个一个词地生成。Transformer的Decoder在训练时也是并行输入的——把目标序列的完整token序列一次性输入通过Masked Self-Attention来屏蔽未来信息从而实现并行训练。比如训练机器翻译时目标句子我爱学习会整体输入Decoder但每个位置只能看到自己和前面的词不能看到后面的词。推理阶段则是真正的自回归逐词生成每生成一个词就拼到输入序列后面再继续预测下一个词。3. Mask机制一只无形的手决定了谁能看见谁Mask是理解Encoder和Decoder差异时最容易绕晕的地方但它恰恰是整个Transformer设计中最重要的概念之一。Mask的本质是控制注意力权重的计算范围让某些位置之间的注意力分数被屏蔽掉不参与后续计算。3.1 Padding MaskEncoder和Decoder都有的基础操作在处理不定长序列时batch内的样本需要padding到相同长度但padding的位置本身没有实际语义。如果让注意力机制去关注padding位置等于让模型去学习一堆没有任何意义的噪声信息。Padding Mask的做法是给padding位置赋一个极大的负值通常是-1e9经过Softmax之后这个位置的注意力权重会趋近于0。这样在计算加权和时padding位置的信息就不会对当前位置的表示产生任何影响。这个Mask在Encoder和Decoder中都会用到属于基础必备操作。实际代码实现里一般是通过序列长度信息来构建Mask矩阵维度是[batch_size, seq_len]标记每个样本中哪些位置是真实token、哪些是padding token。3.2 Look-Ahead MaskDecoder单向性的真正实现Look-Ahead Mask也叫Sequence Mask、Causal Mask是Decoder独有的一种Mask。它的作用是保证在解码第i个token时只能attend到第1到第i个token不能attend到第i1及之后的token。实现方式非常直观构造一个上三角矩阵将矩阵的上三角部分全部置为极大的负值。这样一来经过Softmax之后未来位置的注意力权重就会变成0。举个例子当前序列长度是5在计算第3个位置的注意力时允许attend的位置是[1, 2, 3]不允许attend的位置是[4, 5]。这种Mask保证了生成过程的时间因果性——未来的信息永远不可能影响过去的决策。这里有一个细节经常被忽略Look-Ahead Mask和Padding Mask通常是合并在一起使用的。在Decoder的Masked Self-Attention中我们需要同时屏蔽padding位置和未来位置。具体做法是将两个Mask矩阵相加或者做逻辑或操作然后一起应用在注意力计算中。3.3 Mask在注意力计算中的具体位置很多人看了Transformer论文也画不好注意力机制的流程图关键问题在于不清楚Mask是在哪个环节介入的。整个注意力计算的流程是这样的计算Query和Key的点积相似度scores Q K.T对scores做缩放scores scores / sqrt(d_k)其中d_k是Key向量的维度。缩放的原因是防止点积结果过大导致Softmax进入饱和区梯度消失叠加Mask矩阵scores scores.masked_fill(mask 0, -1e9)经过Softmax得到注意力权重weights softmax(scores)加权求和得到输出output weights V关键在第3步。Mask矩阵就是在这里发挥作用的。如果你把Mask理解为一种注意力过滤网那这个过滤网是在Softmax之前生效的——把不该被看到的位置的分数压到极小从而让Softmax的输出权重趋近于零。3.4 面试高频追问为什么Mask必须在Softmax之前而不是之后这是一个很刁钻但能区分候选人水平的问题。如果面试官问到这里说明他想考察你真正的实现理解和数学直觉。答案的核心是Softmax函数的输出是正数且总和为1如果你在Softmax之后再强制把某个位置的权重设为0会导致剩余位置的权重之和不是1破坏了概率分布的性质。而把极大的负值加在Softmax之前的logits上经过Softmax后那个位置的权重自然趋近于0同时因为Softmax函数的归一化性质其余位置的权重会自动重新分配保证总和仍然为1。打个比方Softmax就像一场比例分配游戏你给谁的分数高谁分到的比例就大。如果你在分配完成后再强行收走某个人的份额其他人分到的东西并不会自动增加——总和就少了。但如果你在分配之前就把某个人的分数压到极低分配完成后他自然分不到什么东西而其他人的份额会按比例自动补齐。这就是Mask必须在Softmax之前的核心原因。4. 从Self-Attention到Cross-Attention信息协作的关键一跳Cross-Attention是Encoder和Decoder协作的最核心机制。面试官问Encoder和Decoder怎么协作时本质上就是在问这个模块的工作方式。4.1 Cross-Attention的Query、Key、Value从哪来这是面试中最容易答错的地方。很多人知道Cross-Attention的形状是从Encoder拿到Key和Value但从Decoder本身拿Query却不理解为什么这么设计。逐层拆解Query查询向量来自Decoder的Masked Self-Attention输出。Query代表的是我在生成当前词的时候想从输入序列中查找什么信息Key键向量来自Encoder的最终输出。Key代表的是输入序列中每个token携带的标识信息告诉我它是什么内容Value值向量也来自Encoder的最终输出。Value才是真正的内容信息被加权求和后作为生成当前词的上下文依据你可以这样理解Decoder就是一位考生它手里拿着一张写满问题的试卷QueryEncoder就是一本教材Key和Value。考生在做题时会翻书找答案——先看目录Key找到相关内容在哪一页再翻到那一页详读内容Value最后把答案写到试卷上。每个问题都可能会翻到教材的多个位置而不同位置的信息重要程度不同注意力权重权重越高说明这块内容和当前要生成的词关联越大。从代码层面看Key和Value在Encoder输出之后被计算一次然后在Decoder的每一层中反复使用。也就是说Encoder的输出会分别经过三个不同的线性投影Linear Projection来得到Cross-Attention的Key、Value矩阵而Query来自Decoder当前层的输出经过线性投影的结果。4.2 多头机制在Cross-Attention中的价值Cross-Attention和Self-Attention一样使用多头机制。在翻译任务中不同的注意力头会关注到输入序列的不同方面。有些头主要负责关注句法结构上的关键成分比如主语和谓语的关系有些头主要负责关注语义上的关键成分比如核心名词和修饰语的关系有些头可能关注指代关系代词到底指向谁。多头机制的底层逻辑在于单头注意力只能学习一种Query和Key的匹配模式而实际的文本语义匹配是多元的。多个头并行计算相当于多个不同的匹配专家从不同角度分析同一个问题这能显著增强模型的表达能力和泛化能力。4.3 一个完整的翻译案例从英到中的信息流动假设我们正在做机器翻译源语言句子是I love reading books目标语言是我爱读书。完整的信息流动过程如下第一步源句子进入Encoder。Encoder的Self-Attention让每个token都能关注到整个句子中的其他token从而得到包含全局语义信息的编码表示。Encoder的最终输出是一个序列每个位置对应源句中的一个token的语义向量表示。第二步Decoder开始生成目标词。生成第一个词我时Decoder的Masked Self-Attention里只有一个起始符因为当前没有其他已生成的词。然后进入Cross-Attention这个我的Query向量会去和Encoder输出的所有Key计算相似度。因为I和我在语义上高度对应I对应的Key和我的Query匹配度最高因此我的生成主要依赖源句中的I提供的信息。第三步生成第二个词爱时Decoder的Masked Self-Attention里已经有了我这两个词的位置。Cross-Attention中爱的Query不仅会和I产生较高的匹配度还会和love产生最高的匹配度从而加权融合I love的语义信息。整个生成过程逐词推进每个目标词都会动态地选择源句中最相关的信息作为生成的上下文。这和一个具体任务的目标是吻合的翻译不是逐字对应而是语义对齐后的条件生成。Encoder负责把语义编码成内部表示Decoder负责在这个内部表示的指导下解码出目标语言。5. 训练和推理阶段协作逻辑的不同打开方式理解Encoder和Decoder的协作方式必须区分训练阶段和推理阶段。这两个阶段的信息流方向是一致的但具体的执行方式差异很大。5.1 训练阶段并行计算的高效之道训练阶段Encoder和Decoder可以完全并行计算。Encoder一次性读完整个源句输出完整的编码序列。Decoder一次性读入完整的目标句带Mask并行的计算出每个位置的预测。这里的并行指的是计算第3个位置的预测时不需要等待第1个、第2个位置的预测结果算完因为真实的目标序列已经在输入中给出了。这种机制依赖于Teacher Forcing策略——训练时用真实的目标token作为Decoder输入而不是用模型自己上一步生成的token。Teacher Forcing的价值在于一方面实现了并行训练大幅提升训练速度另一方面让模型每一步的输入都是正确的避免了错误累积导致的训练不稳定。由此引出面试另一道高频变体题什么是Teacher Forcing。答案很简单训练时用真实标签作为解码器输入推理时用模型自己生成的结果作为下一步输入。但如果你能补充Teacher Forcing虽然稳定高效但会导致训练和推理之间的分布差异问题Exposure Bias所以后续有了Scheduled Sampling等方法做改进分数会明显更高。训练阶段的损失函数是交叉熵损失计算的是每个位置的预测分布和真实token之间的差异。目标序列的每个位置都要预测所有位置的损失取平均后反向传播。5.2 推理阶段自回归的串行之道推理阶段没有真实的目标序列可用Decoder只能逐词生成。第1步输入起始符生成第1个词。第2步把第1个词拼到起始符后面生成第2个词。第3步把前两个词拼到起始符后面生成第3个词以此类推直到生成结束符或者达到最大长度限制。这个过程是串行的因为第i个词的生成必须依赖前i-1个词的结果。虽然每一层的计算在单步内是并行的但跨步之间存在强依赖关系。这也是为什么大模型推理性能受限于内存带宽和计算效率——每一步都要重新计算前面所有token的KV Cache缓存Key和Value矩阵以复用这些历史信息占了绝大部分显存。谈到KV Cache就不得不提另一个高频考点为什么Cross-Attention中的Key和Value只需要计算一次而Decoder的Self-Attention中的KV需要动态更新。答案在于Key和Value的来源不同。Cross-Attention的K和V来自EncoderEncoder的输入是固定的源句所以KV固定而Decoder的Self-Attention的K和V来自Decoder自身的历史输出随着生成步数的增加K和V会不断变长所以需要动态更新并且通过KV Cache避免重复计算。5.3 训练和推理过程中Encoder处于什么状态训练阶段Encoder和Decoder同时参与前向传播和反向传播两者的参数都被更新。推理阶段Encoder只跑一次前向传播之后就被冻结了不再参与计算。Decoder则跑多次前向传播每次根据当前已生成的序列动态更新自身的Self-Attention的KV Cache。这个细节看起来很简单但很多面试者答不出来。问你部署一个GPT模型做推理时模型内部发生了什么如果你能准确说出输入的prompt经过Embedding后直接进入Decoder层Decoder的Masked Self-Attention看到的是prompt内部的信息Cross-Attention部分实际上是不存在的——因为GPT只用Decoder它没有Cross-Attention这一层这句话面试官基本可以判断你对模型结构的理解是落地的而不只是停留在概念上。5.4 纯Decoder模型是怎么工作的这里有个天然的延伸问题GPT是纯Decoder架构但GPT没有Encoder那它的Cross-Attention去哪了答案很直接纯Decoder模型直接砍掉了Cross-Attention子层只保留Masked Self-Attention和FFN。GPT的每一层只有这两个子层所以它的参数量更少训练效率更高。那没有Encoder的注入GPT靠什么控制生成方向答案是靠prompt。用户输入的prompt会被拼接到序列的最前面和后续生成的内容一起经过Masked Self-Attention。因为Mask是单向的已经存在的prompt部分在计算时能看到prompt的所有内容后续每个新生成的token也能看到prompt的全部内容和此前生成的token。这相当于把条件信息直接作为输入序列的一部分来引导生成方向而不是通过Cross-Attention来注入。这也解释了为什么纯Decoder模型在长上下文场景下会面临挑战prompt越长Self-Attention的计算量越大复杂度是序列长度的平方而且要存储的KV Cache也越大。而带Encoder-Decoder结构的模型比如T5在长条件输入场景下的处理方式更为灵活因为它可以在Cross-Attention中通过一定的稀疏化手段来控制计算量。6. 面试高频考体制下的避坑指北在实际面试过程中关于Encoder和Decoder的考察往往不是单一问题而是一组层层递进的连环追问。我见过太多候选人挂在看似简单的追问上。这里整理几道我在面试和被面过程中反复遇到的题附上踩坑分析和思路参考。6.1 BERT为什么不能直接用来做生成这道题会刷掉大量候选人。常见的错误回答是因为BERT没有Decoder。这个回答太笼统只说了现象没有说本质。本质原因有三个层面。第一个层面是BERT的注意力机制是双向的编码某个token时能看到未来的token。这在理解任务中是优势但在生成任务中是致命的——因为你预测下一个词的时候根本不存在未来的token可以看这是逻辑上的不可行。第二个层面是BERT没有经过自回归式训练即根据上文逐词预测下一个词的训练它在训练时的目标是Masked Language Model遮住某些词然后预测这种目标和生成任务的目标不一致。第三个层面是即使在BERT后面接一个随机初始化的Decoder并微调仍然难以达到好的生成效果因为Encoder端的表示本身就带了双向信息这和自回归生成的信息流向冲突。6.2 为什么Encoder是双向的Decoder必须是单向的这个问题的标准切入点要从各自的任务目标来推导。Encoder负责理解理解就需要全局信息。你在读句子时如果某个词有歧义你会看后面的词来确定它的含义这就是双向的信息依赖。而Decoder负责生成生成必须符合时间序列的因果性——未来的内容还没产生你不能用未来的信息来预测现在的内容。更强的回答会指出即使你硬把Decoder改成双向的它在推理时也无法使用未来的信息因为未来的token根本不存在。这就导致训练和推理严重不一致模型的生成质量会大幅下降。6.3 Encoder的输出在Decoder每一层中都是相同的吗是的Encoder的最终输出在进入Decoder的每一层的Cross-Attention时是复用的它不会因为Decoder层数的变化而变化。你可以从KV Cache的角度理解在推理阶段Encoder的输出只需要计算一次然后存入KV Cache中供Decoder的每一层反复取出使用。训练阶段也一样源句经过Encoder的所有层得到的最后一层输出会成为Decoder每一层Cross-Attention的K、V来源。注意这里有一个容易混淆的点虽然K和V的值来自同一个Encoder输出但是在Cross-Attention计算前它们各自经过了独立的线性投影W_K和W_V矩阵得到的是不同的表示。6.4 假设一个模型只有Encoder怎么让它做生成这是一个开放性很强的问题没有标准答案考察的是思维和知识的广度。比较稳妥的回答从生成任务的定义切入——生成本质上是一种条件概率建模给定上文预测下一个token的分布。Encoder做的是输入到固定长度表示的压缩无法直接输出一个概率分布。如果你想答得更有深度可以从两个方向展开一是给Encoder接一个语言模型头LM Head和一个特定训练目标让它变成类似BERT的MLM结构但这种方式生成的效率低、质量差实际没人这么做二是改用Encoder-Decoder架构让Encoder专注理解输入Decoder专注生成输出这也是为什么绝大多数序列到序列任务都采用这种结构。结合这两种思路你其实已经把这个问题的内核答到位了——单靠Encoder做生成不是不能做而是架构本身不匹配这个任务。6.5 面试时如何组织这道题的答案框架我建议采用总-分-合的结构来回答。首先是总一句话概括Encoder负责理解输入序列并编码成上下文相关的表示Decoder负责根据编码表示和已生成的历史信息逐步生成输出序列。然后是分从三个维度展开。结构维度——Encoder由Self-Attention和FFN组成Decoder多了一个Cross-Attention注意力可见性维度——Encoder是双向的Decoder是单向的输入输出维度——Encoder的输出是语义表示Decoder的输出是词表上的概率分布。最后是合以机器翻译为例把两者的协作过程串成一段完整的话说明Encoder和Decoder并不是孤立的两个模块而是通过Cross-Attention衔接起来的一整个条件生成系统。7. 从面试准备回到实际模型选择把这个知识点想透了回到实际工作中你会发现自己看待各种大模型的方式也会发生变化。当你看到BERT、RoBERTa、ALBERT这些模型时你会意识到它们都是Encoder-only架构适合做embedding提取、文本分类、相似度计算、NER等理解类任务。这些任务的共同特点是输入是完整的文本输出是分类标签或者向量表示不需要逐词生成新内容。当你看到GPT系列、LLaMA、Qwen这些模型时你会意识到它们都是Decoder-only架构。它们通过海量文本的自回归训练学会了语言的生成规律无论是对话、写作、写代码还是工具调用本质都是根据上文预测下一个token不断重复这个过程。当你看到T5、BART这类模型时你会意识到它们是Encoder-Decoder架构适合做需要理解输入再基于理解生成输出的任务比如文本摘要、机器翻译、风格转换。这类架构比Decoder-only模型在条件生成任务上通常更可控因为Encoder对输入的理解与会话中prompt的理解方式不同它先完整地理解全文再生成而不是逐token边看边生成。在准备大模型岗位面试时我强烈建议你把Transformer的原始论文的每一张图都吃透。尤其是那张经典的架构图你要能做到不借助任何资料自己动手把它画出来并且能解释图中每一个箭头、每一个模块的意义。这个过程可能会比较枯燥但它带来的收益很大。因为后续几乎所有大模型相关的面试题——位置编码、注意力机制、KV Cache、MoE、LoRA微调原理——都会回溯到这个基础结构上。纸上得来终觉浅最好的验证方式还是自己动手实现一个极简化版的Transformer。不需要写完整个训练流程只需要把Encoder和Decoder的前向传播逻辑写清楚你就能从代码层面真正理解Query、Key、Value在何时何地产生、如何流动。这也是我经常给准备面试的朋友推荐的自我检验方法。