多模态大模型这两年从论文走向工程落地的速度比我预想的要快得多。LLaVA 算是其中最有代表性的一个开源方案——它用并不夸张的参数量把看图说话这件事做到了能用的程度而且整套训练思路清晰、复现成本低成了很多人入门多模态的第一站。而它背后站着的 CLIP则是另一套几乎绕不开的基础设施把图像和文本映射到同一个语义空间里让图和字能互相检索、互相对齐。我前后在几个项目里拆过 LLaVA 的结构、也单独拿 CLIP 做过特征提取和微调踩过的坑不算少。这篇就把 LLaVA 的架构、训练两阶段、以及 CLIP 在其中的角色按我实际理解的顺序讲一遍尽量把为什么这么设计说透而不是只贴一张架构图了事。适合已经了解 Transformer 和基本视觉 backbone、想真正搞懂多模态对齐逻辑的读者。1. 先把 CLIP 讲清楚多模态对齐的地基要理解 LLaVA绕不开先理解 CLIP。很多人一上来就去看 LLaVA 的投影层和指令微调结果对视觉特征怎么就能和文本对上这件事始终是懵的。我建议先把 CLIP 吃透后面 LLaVA 的很多设计选择会变得顺理成章。1.1 CLIP 到底在训练什么CLIP 的全称是 Contrastive Language-Image Pre-training核心就一件事对比学习。它准备了两条编码器——一条图像编码器早期用 ResNet后来主推 ViT一条文本编码器Transformer。训练时把一批比如 32768 个图文对同时喂进去图像编码器输出 N 个图像向量文本编码器输出 N 个文本向量然后做归一化算一个 N×N 的相似度矩阵。这个矩阵的对角线是正确配对的图文相似度非对角线是错误配对。训练目标就是让对角线上的值尽量大、非对角线尽量小。用生活化的说法给模型一堆图片和一堆描述让它学会哪张图配哪句话配错的就惩罚。这个损失叫 InfoNCE本质是对称的交叉熵——图像找文本、文本找图像两个方向都算一遍。这里有个容易被忽略的点CLIP 学到的不是生成能力而是对齐能力。它不会描述图片但它知道一只狗在草地上这句话和对应的图片在向量空间里离得很近。这个特性决定了它在 LLaVA 里的角色——它只负责把图像变成文本能理解的视觉 token剩下的生成交给语言模型。1.2 为什么 CLIP 的视觉编码器能被复用CLIP 训练完之后它的图像编码器其实已经学到了非常丰富的视觉语义。原因在于对比学习的监督信号来自自然语言而自然语言里包含了大量关于物体、属性、关系、场景的信息。模型为了把图和文对齐被迫去理解图像里有什么什么关系什么状态而不是只记住像素纹理。这就带来一个很实用的结论CLIP 的 ViT 编码器可以直接拿来当视觉特征提取器哪怕你下游任务和 CLIP 原始训练目标不完全一样。我在做图像检索和零样本分类时经常直接冻结 CLIP 的视觉塔只训一个小的分类头效果往往比从头训一个 CNN 还好尤其是在标注数据不多的情况下。不过要注意版本差异。CLIP 有 ViT-B/32、ViT-B/16、ViT-L/14 等多个规格数字是 patch 大小分母越小 patch 越细、特征越精细但算力越高。LLaVA 早期用的是 ViT-L/14分辨率 224patch 14所以一张图切成 16×16256 个 patch加上一个 CLS token输出 257 个 token 的视觉序列。这个数字后面会反复出现记住它。1.3 CLIP 的局限正是 LLaVA 要补的洞CLIP 有个硬伤它只能做匹配不能做推理和生成。你问它图里这个人为什么笑它没法回答因为它没有语言生成能力只有对齐能力。另外 CLIP 的文本编码器是双向 Transformer擅长理解但不擅长自回归生成。所以一个自然的想法就出现了能不能把 CLIP 的视觉理解能力接到一个强大的语言模型上让 CLIP 负责看让 LLM 负责说和想。这正是 LLaVA 的核心思路。理解了这个动机再看 LLaVA 的架构就不会觉得突兀了。2. LLaVA 的整体架构一次翻译式的拼接LLaVA 的全称是 Large Language-and-Vision Assistant它的架构用一句话概括视觉编码器 投影层 大语言模型。听起来简单但每一块的选择和衔接都有讲究。2.1 三个组件的分工先看视觉侧。LLaVA 用的是预训练好的 CLIP ViT 视觉编码器而且在训练中冻结。为什么冻结因为 CLIP 已经学得很好了如果放开一起训一方面算力吃不消另一方面小规模指令数据很容易把 CLIP 好不容易学到的通用视觉表征带偏。冻结它相当于把眼睛固定住只训练翻译官和大脑。中间是投影层通常是一个简单的线性层或者两层 MLP。它的任务是把 CLIP 输出的视觉 token维度比如 1024映射到语言模型的词嵌入维度比如 4096。这一步是整个架构的关键接口——它决定了视觉信息以什么形式进入语言模型。你可以把它理解成一个翻译器把视觉语言翻译成文本语言。右侧是语言模型LLaVA 用的是 Vicuna基于 LLaMA 微调后来也有用 Mistral、Qwen 等的变体。语言模型接收的输入序列是视觉 token 在前文本 token 在后然后自回归地生成回答。2.2 为什么用投影层而不是更复杂的连接这里有个值得展开的设计取舍。理论上你可以用 cross-attention类似 Flamingo 的做法让语言模型在每一层都去查询视觉特征也可以用 Q-Former类似 BLIP-2先压缩视觉信息再喂给 LLM。LLaVA 偏偏选了最简单的线性投影为什么我的理解是三点。第一简单意味着可训练、可复现LLaVA 的定位就是让社区能低成本复现复杂连接器会抬高门槛。第二视觉 token 直接拼进序列让语言模型的自注意力机制自然处理跨模态关系不需要额外的注意力结构LLM 本身的注意力就够用了。第三实验证明在指令数据足够的情况下简单投影的效果并不比复杂结构差多少性价比极高。当然代价也有256 个视觉 token 直接占用了上下文长度对长对话不友好。这也是后来很多工作比如 LLaVA-1.5 用更高分辨率、LLaVA-NeXT 用动态切图要解决的问题。2.3 一次前向传播里发生了什么把流程串一遍。一张 224×224 的图进来CLIP ViT 切成 16×16 个 patch加 CLS token输出 257×1024 的特征。投影层把它变成 257×4096。同时用户的文本问题被 tokenizer 变成文本 token 序列经过词嵌入变成 4096 维。两段拼起来[视觉token×257, 文本token×N]送进 Vicuna。Vicuna 自回归生成回答直到遇到结束符。注意视觉 token 的位置编码处理是个细节。LLaVA 里视觉 token 和文本 token 共享同一个位置编码空间视觉 token 占据前面的位置。这意味着视觉 token 的数量会直接影响后续文本的位置编号做长序列时要留意。3. 两阶段训练先对齐再听话LLaVA 的训练分两个阶段这个设计不是拍脑袋定的而是对应了两个不同的目标。理解这两个阶段的分工是理解 LLaVA 的关键。3.1 第一阶段特征对齐预训练第一阶段的目标只有一个让投影层学会把视觉特征翻译成语言模型能理解的形式。这个阶段用的数据是图文对比如 CC3M 过滤后的 595K 条任务形式是简单的描述这张图。训练时视觉编码器和语言模型都冻结只训练投影层。为什么因为这时候语言模型还没见过视觉 token如果放开一起训语言模型会被大量噪声视觉信号干扰破坏它原有的语言能力。只训投影层相当于先教会翻译官说人话别把大脑带坏。这个阶段其实是在做模态对齐——让投影后的视觉向量落在语言模型词嵌入空间里合理的位置。训练完之后模型已经能对图片做基本的描述了但还不会按指令做事。3.2 第二阶段指令微调第二阶段才是让 LLaVA 变成助手的关键。这个阶段用指令跟随数据LLaVA 自己用 GPT 生成了 158K 条涵盖对话、详细描述、复杂推理三类训练时冻结视觉编码器放开投影层和语言模型。为什么这时候放开语言模型因为要让语言模型学会看着图回答问题这种新能力必须调整它的权重。而视觉编码器依然冻结是因为 CLIP 的表征已经足够通用没必要动动了反而容易过拟合到指令数据的分布上。这个阶段的数据构造很有意思。LLaVA 用纯文本的 GPT-4 加上图片的符号化表示比如检测框、caption来生成多轮对话数据。这个用语言模型造多模态数据的思路后来被大量工作借鉴。3.3 两个阶段的对比与常见误区维度第一阶段第二阶段目标模态对齐指令跟随可训练部分仅投影层投影层 LLM数据图文对描述指令对话数据视觉编码器冻结冻结学习率较大较小常见误区有两个。一是有人以为第一阶段也在训 LLM其实没有二是有人第二阶段把视觉编码器也放开了结果在小数据上把 CLIP 带崩效果反而下降。我的经验是除非你有百万级以上的高质量多模态指令数据否则视觉编码器老老实实冻结。4. 动手复现时的关键细节与踩坑光看架构容易觉得不过如此真上手复现才会发现细节全是坑。这一节讲几个我实际遇到过的问题。4.1 投影层的初始化与学习率投影层虽然简单但初始化不能随便。如果初始权重太大视觉 token 一进来就把语言模型的注意力分布冲乱太小又学不动。实践中一般用较小的标准差初始化第一阶段学习率给到 1e-3 量级第二阶段降到 2e-5 左右。这个量级不是绝对的但方向是对齐阶段可以激进微调阶段必须保守。4.2 视觉 token 数量与显存的权衡257 个视觉 token 看着不多但在 batch 较大时显存占用很可观。我做过一个粗略测算序列长度每增加 257注意力矩阵是平方增长。如果你把分辨率提到 336LLaVA-1.5 的做法patch 数变成 24×24576加 CLS 是 577 个 token显存直接翻倍还多。所以提升分辨率一定要配合梯度检查点、混合精度这些手段否则单卡根本跑不动。4.3 数据质量比数据量更重要我试过用大量网络爬取的图文对做第一阶段结果模型学出来的描述又臭又长、还爱瞎编。后来换成过滤后的高质量数据量少了一半效果反而更好。多模态指令数据尤其如此——一条高质量的复杂推理对话价值远超几十条这是什么的简单问答。LLaVA 那 158K 条数据之所以有效是因为它覆盖了对话、细节描述、推理三类分布均衡。4.4 复现时容易忽略的 tokenizer 细节视觉 token 和文本 token 拼在一起时要确保特殊 token比如图像占位符被正确处理。有些实现里图像占位符会被 tokenizer 当成普通文本切碎导致位置对不上。我的做法是在 tokenizer 里显式注册图像特殊 token并在拼接时手动替换占位符为视觉特征别指望 tokenizer 自动搞定。5. CLIP 微调什么时候该动什么时候别动CLIP 本身也是个可以单独拿出来用的模型很多人会问要不要微调。我的建议分场景。5.1 零样本场景别微调如果你只是做零样本分类或检索CLIP 原版就够用微调反而可能破坏它的泛化能力。CLIP 的强项就是零样本你拿少量数据微调很容易过拟合到那批数据的类别上换一批类别就废了。5.2 领域适配场景可以微调但要小心如果你有明确的垂直领域比如医学影像、工业质检且标注数据有一定规模微调 CLIP 是有价值的。做法上我推荐LoRA 或者只微调最后几层而不是全量微调。全量微调在小数据上几乎必然过拟合而且会丢失 CLIP 原有的通用对齐能力。微调时的损失函数还是对比损失但要注意负样本的构造。领域数据里同类样本可能很多如果 batch 内负样本不够难模型学不到判别性特征。可以适当增大 batch size或者引入难负样本挖掘。5.3 微调后的评估别只看准确率我踩过一个坑微调后分类准确率涨了但检索能力掉了。原因是模型把注意力集中到了分类相关的特征上牺牲了通用的语义对齐。所以评估时最好同时看分类和检索两个指标别让单一指标骗了你。6. 从 LLaVA 延伸出去多模态的下一步在哪LLaVA 是个很好的起点但它不是终点。理解它的边界才知道后面该往哪走。6.1 分辨率与细粒度理解LLaVA 原始版本 224 分辨率对文档、图表、小物体识别很吃力。LLaVA-1.5 提到 336LLaVA-NeXT 用动态切图把任意分辨率切成多个 336 的块分别编码再拼接。这个思路本质是用更多视觉 token 换更细的理解代价是序列变长、算力上升。如果你的场景涉及图纸识别、表格理解分辨率这块必须重点投入。6.2 视频与多帧输入把 LLaVA 从图像扩展到视频最直接的做法是把多帧的视觉 token 拼起来。但帧数一多token 爆炸。所以视频方向的核心问题变成如何压缩时序视觉信息常见做法是时序池化、关键帧选择、或者用专门的时序编码器。这块目前还没有像图像那样统一的方案。6.3 多模态 RAG 与知识库把多模态模型和检索结合是最近很热的方向。思路是把图片、文档都编码成向量存进向量库用户提问时先检索相关多模态内容再喂给 LLaVA 生成回答。这里 CLIP 又派上用场了——它天然适合做跨模态检索的编码器。我在做产品检索类项目时就是用 CLIP 做图文召回再用 LLaVA 做最终生成两段式效果比端到端稳。6.4 训练数据的自动化构造LLaVA 用 GPT-4 造数据的思路现在已经被玩出花了。核心逻辑是用强模型的能力去蒸馏出多模态训练数据。你可以把图片的 caption、检测框、OCR 结果作为上下文喂给纯文本模型让它生成问答对。这个方法的成本远低于人工标注但要注意过滤掉模型幻觉产生的错误数据否则会污染训练集。7. 一些实打实的经验总结最后分享几个我在实际项目里反复验证过的点都是文档里不太会写的。第一别一上来就追求大而全。我见过太多人想直接训一个全能多模态模型结果卡在数据和算力上。正确做法是先跑通 LLaVA 的两阶段流程用官方数据复现一遍确认每个环节都通了再考虑替换组件、加数据。第二视觉编码器的选择影响很大。CLIP ViT-L/14 是稳妥选择但如果你的场景对细粒度要求高可以考虑 SigLIP 或者更高分辨率的变体。换编码器时记得同步调整投影层的输入维度别硬套。第三评估要分维度。多模态模型的评估不能只看一个 benchmark。我一般会分三块看基础描述能力、指令跟随能力、复杂推理能力。三块都达标才算能用只涨一块很可能是过拟合。第四推理时的 prompt 格式要和训练一致。LLaVA 训练时用了特定的对话模板比如USER: image\n问题 ASSISTANT:推理时如果格式不对效果会断崖式下跌。这个坑我踩过排查了半天才发现是模板问题。第五显存不够时优先降 batch 而不是降分辨率。分辨率直接决定视觉 token 数量和理解能力降分辨率对效果的伤害远大于降 batch。batch 小了可以用梯度累积补回来分辨率降了就真回不去了。这套东西我前后折腾了小半年从最开始对着论文一脸懵到能自己改结构、换数据、调训练中间踩的坑基本都写在这了。LLaVA 和 CLIP 的组合不是唯一解但它是目前性价比最高、最容易上手的多模态入门路径。把这条路径走通再去看 BLIP-2、Flamingo、Qwen-VL 这些会发现底层逻辑都是相通的——无非是视觉怎么编码、怎么对齐、怎么和语言模型衔接这三件事的不同解法。