做货运平台的营销广告最头疼的事情不是“投多少钱”而是“今天给用户看什么”。货拉拉的场景比较特殊一边是货主一边是司机两边的诉求完全不同广告内容稍微偏一点转化数据就拉给你看。我们团队从去年开始系统性把大模型引入营销广告链路从文案生成到素材产出再到投放决策走完了一条从“能用”到“好用”的路。这篇把我们的选型思路、微调细节、部署优化和踩过的坑完整写出来希望对正在做类似方向的同学有帮助。1. 先搞清楚货拉拉的营销广告到底在做什么1.1 双端场景的差异化需求货拉拉的广告体系天然分成两条线。货主侧用户要发货、搬家、运东西决策链路短核心诉求是“快”和“稳”。一条Push通知如果能在用户弹出App的三秒内让他觉得“这单能发、价格合适”点击就进来了。司机侧完全反过来师傅们关心的是单量够不够、收入稳不稳、路线顺不顺文案里需要出现“附近热区”“高峰补贴”“顺路单”这类信息空洞的“优质平台”对他们毫无吸引力。这两条线的内容需求差异很大但传统做法往往是一套模板打天下。文案由运营同学手工写每周出几个版本Push、短信、Banner共用。素材靠设计师一张张做一个活动从需求到上线少则两三天多则一周。投放人群包靠经验圈选定向条件粗放。这些问题的本质是内容生产能力和决策智能化程度跟不上业务速度。大模型进来之后我们直接把文案生成、素材文案搭配、人群洞察说明这几个环节做成了半自动甚至全自动管道。货主侧用模型批量生成“LBS特征场景词利益点”组合文案司机侧生成“路线收入激励”结构的内容两边的文案母版和变体由同一套模型产出只是指令模板和业务字段不同。1.2 传统玩法卡在哪里先说文案。人工写文案的瓶颈不在于“写不出来”而在于“量起不来”和“做不到个性化”。货拉拉每个城市的运营策略不一样新老货主的补贴金额不一样车型不一样甚至同一用户在不同时段看到的文案都应该不一样。人工根本覆盖不了这个组合爆炸的规模。模板拼接虽然快但是套路化严重用户早看腻了点击率一路下跌。素材的问题也类似。过去一张广告图从创意到出图要过运营、设计、审核三道关活动一变全部推翻重来。年轻用户觉得风格老气下沉用户觉得不够直白。短视频素材更是重灾区一条15秒的口播文案要写脚本、录、剪效率低得离谱。投放层面人群包和出价策略长期依赖运营经验。我们内部做过统计同样的活动素材不同运营圈出来的人群包转化差距能达到30%以上。这不是人的能力问题而是信息量太大人脑处理不过来。这里就要说为什么是“大模型”而不是“推荐算法”或“规则系统”了。投放决策可以靠传统模型优化但文案生成是开放式任务素材理解是多模态能力这两块正是大模型最擅长的地方。本质上是把“创造力密集”的环节交给模型把“规则密集”的环节留给系统。2. 整体架构设计与方案选型2.1 我们最终选了什么方案整套系统目前长这个样子底层是基座大模型基于开源模型做私有化部署上面接了两条管道。一条是离线批量生成管道每天晚上跑把第二天的Push文案、短信文案、banner标题批量生成并入库。另一条是在线轻量调用管道用户在App里打开活动页时根据实时特征生成个性化标题和落地页文案补充。中间是内容审核模块规则引擎先跑一遍违禁词和广告法校验模型再走一遍语义风险检查最后抽检给人工。投放系统从内容库里选组合跑A/B实验把点击率和转化数据回流到样本池形成闭环用于后续微调迭代。选这个结构是因为我们踩过一次教训一开始试图让大模型同时干所有事在一个接口里既要做文案生成又要做合规判断还要做人群建议结果生成质量和响应延迟都不理想。后来拆成“生成”和“校验”两个步骤各干各的质量立刻稳了。大模型适合做开放式创作不适合做严格的规则判断用规则引擎兜底用大模型做创意发散分工明确才走得远。2.2 为什么不用闭源API这个问题内部吵过很久。用闭源API的好处是省事效果也确实不错但有几个硬伤。营销广告涉及大量用户画像、交易数据、补贴策略这些是我们最核心的资产不可能放在外部接口里跑合规和隐私的大前提直接否掉了这个选项。再说成本和稳定性。营销场景有明显的波峰波谷大促期间调用量可能是平时的几十倍闭源API按token计费峰值时段费用会很吓人。更重要的是接口延迟和限流不可控业务高峰期接口抖动直接影响广告下发这在广告场景是不能接受的。所以我们定了私有化部署的路子。基座模型选的是7B到14B这个量级的开源模型兼顾效果和硬件成本。单卡A100就能跑14B的量化版本4张卡组一个推理集群足够支撑单日千万级的token生成量。预算有限的同学也可以从7B起步效果足够覆盖大部分文案生成场景等业务验证了再加规模。2.3 微调、RAG还是Prompt该选谁这个选择得按场景拆千万不要一个方案打天下。我们把问题分成三类。第一类是规则和知识问答类比如“货主发货的流程是什么”“司机加盟的条件有哪些”这种内容讲究准确和可追溯适合用RAG做知识库更新也不涉及模型重训。第二类是创意生成类比如广告文案、短视频脚本、素材创意描述这种含金量最高、最容易卡在“像AI写的”这个问题上必须做微调。Prompt写得再精致模型没有见过我们平台的历史优质文案产出的东西总是偏通用不够“货拉拉味儿”。第三类是结构化决策类比如人群包建议、出价指导、文案要素抽取这种不需要很强的生成能力传统模型加规则足够大模型只是辅助提炼信息。我们实际投在微调上的精力最多。一个通用模型和微调后的模型放在一起比业务人员一上手就能感觉出差别。通用模型写的文案是“搬家超省心”微调后的模型写的是“2公里内搬家师傅15分钟到”后者才是营销文案该有的语境。注意如果你的场景是“内容生成”为核心的业务微调基本是逃不掉的。RAG解决不了“写得好不好”的问题只有训练数据才能把模型的表达风格拉到你想要的轨道上。3. 微调实战从数据到上线的全过程3.1 数据是怎么造出来的微调效果的上限100%由数据决定。我们花了接近一个月的时间盘数据不是写代码复杂而是业务侧对“什么算好文案”的定义需要对齐。第一步从历史运营物料里捞出过去一年表现最好的文案。筛选条件很简单CTR高于同行业均值、用户投诉为零、运营评审4星以上。这类文案大概筛出了8000多条作为种子数据。第二步做数据增广。直接用这8000条训练会过拟合因为覆盖的场景和表达方式太有限。我们让大模型当“改写助手”用人工写好的种子文案作为参考要求模型生成更口语化、不同长度、不同卖点排序的变体。每一条种子对应生成5条变体一轮扩展之后数据量到了4万级别。第三步构建指令对。每条数据都要做成“指令-输入-输出”的结构。指令描述角色和任务比如“你是一名熟悉同城货运的营销文案专家请为深圳新注册货主生成一条Push文案突出‘发货快’和‘首单优惠’两个卖点字数不超过30字”。输入是业务参数化的信息输出是标准文案。第四步也是最重要的人工清洗。我们让运营和审核团队一共6个人对4万条数据逐条打标标记维度包括是否合规、是否贴合LBS场景、利益点是否清晰、表达是否自然、有无夸大宣传。最终保留下来有效训练数据约3.2万条过滤掉的比例将近20%。这个过滤比例说出来很多人不信觉得太高了。但营销文案的特殊性就在于“不违规”是底线而“表达不尬”是及格线。模型生成的数据里经常出现“极限词”“绝对化承诺”或者听起来很热闹但是没有具体信息的内容这种放给用户看不仅转化差还可能引来合规问题。3.2 微调参数和训练细节基座模型我们用的是Qwen系列的14B版本微调方式选的LoRA。LoRA的核心理念很简单冻结原始模型权重只训练一小部分低秩矩阵。14B模型用全量微调的话一张80G的A100也就勉强放下多卡并行训练的资源开销和工程复杂度都很大。LoRA只需要训练不到2%的参数效果能达到全量微调的90%以上对业务团队来说这个性价比是最好的。具体的超参数组合我们的第一版配置是这样的LoRA的rank设为16alpha设为32dropout设为0.05学习率2e-4batch size在单卡上设为8梯度累积4步总共训练了3个epoch。实测下来这个配置收敛很快训练时长大概在6小时左右loss从1.8降到0.4附近后趋于平稳。这里有一个细节值得展开。训练数据里我们保留了大约5%的原始种子文案作为验证集用来观察模型是否“忘本”。有时候训练时间的增加会让loss降得很漂亮但验证集的表现反而下滑说明模型开始死记硬背训练数据这是过拟合的信号。我们遇到过epoch从3加到5之后验证集上生成的文案反而开始出现口癖什么都带上“极速”“秒达”这种绝对化表述。还有一个特别容易踩的坑是数据比例失衡。初期增广数据里“新客拉新”场景占了大头“老客召回”和“司机招募”的样本特别少训练出来的模型写新客文案信手拈来写司机侧文案就很拉胯。后来重新做了样本均衡每个业务场景设定最低样本数再配合针对少量场景做了few-shot的样本复制问题才解决。3.3 部署推理优化微调完的模型要真正在业务里用起来还有一个绕不开的坎推理性能。14B模型不优化就直接上一张卡单次生成30个token的响应时间要2秒多批量跑离线任务倒是无所谓在线接口的P95延迟根本上不了业务要求。我们做了一层组合拳。模型加载用的vLLM框架吞吐比原生PyTorch推理高出好几倍。模型量化用的AWQ 4bit把14B模型的显存占用从约30G降到约10G单卡A100甚至可以并行跑两个模型副本。量化的精度损失在文案生成场景几乎感知不到因为它不像代码生成那样要求严格的逻辑正确性。然后是把生成任务“结构化”。我们不再让模型自由输出整段文案而是先让模型填充结构化字段再由模板拼接。比如“司机热力引导”文案先输出起点区域、目标车型、时段、利益关键词这几个槽位的值再由系统把字段套进预设的句式模板里。这样做的好处有三层时间可控、内容合规风险降低、关键信息不会丢。性能调优之后的实际数据单张A100跑量化后的14B模型离线批量生成的吞吐可以达到每秒12条文案在线轻量调用P95延迟压到了380毫秒以内。这个水平已经能支撑我们日常拉新和促活活动的全部需求哪怕是大促高峰也能抗住。4. 效果评估与业务闭环4.1 离线一套线上另一套大模型的评估不能只信指标也不能全凭感觉。我们搭了两套评估体系。离线阶段除了常用的BLEU和ROUGE之外主要依赖人工评审。我们固定了5名评审人员对模型生成的文案从四个维度打分卖点清晰度、表达自然度、业务合规性、场景贴合度。每个维度1到5分取平均分得分超过4分的文案才进入候选池。BLEU这类自动指标的作用很有限大模型生成的文本风格太多样词面重叠度根本反映不出好坏浪费了不少时间才明白这个道理。在线阶段跑A/B实验。对照组的文案是运营手工写的实验组的文案是模型生成并经过审核的他。实验周期至少跑满7天同时观察CTR、CVR和用户负反馈率。大促期间单独加急跑短周期实验但短周期实验只作为参考长效指标才能决定一个文案方向是否真正可用。4.2 业务收益到底怎么样说数据之前先声明这些都是我们内部的实验口径不同产品形态的结果可能差异很大。但方向上可以参考。第一波是文案产能。过去运营团队每周产出约60条可用文案只能覆盖核心场景。模型上线之后每周生成的合格文案量在1500条上下人工审核后采用率约40%实际可用文案量是原来的10倍。运营同学从“写文案”变成“改文案”时间和精力解放出来做更细致的投放策略分析。第二波是效果指标。我们做过一轮短信文案的千人千面实验对照组用统一文案实验组按用户的城市、近期行为和车型偏好生成个性化文案。实验组CTR相比对照组提升了23%转化率提升了11%。Push文案场景也做了类似实验点击率提升约17%。第三波是素材生产成本。我们原本计划为暑期活动制作12套不同风格的视觉素材设计排期需要三周左右。后来用模型生成画面描述和文案脚本再配合自动化出图工具最终只用了一周半人力成本和物料成本都明显下降。这组数字的背后有一个很重要的认知不要期待大模型在每一个广告场景都带来爆炸性提升。文案场景我们有的提升10%左右有的提升20%出头真正拉开差距的是“批量生产快速验证”这个能力。以前一个星期只能试两三个创意方向现在可以同时试二十个总能筛出有效的那一个。5. 踩过的坑和排查实录5.1 幻觉问题模型一本正经地胡编模型生成文案时最大的风险不是写得差而是写得像真的但内容是假的。曾有一次测试模型生成了一条“深圳地区新司机注册立得500元现金奖励”的文案这条内容本身看起来完全没有问题但当时的实际活动是300元模型自己把金额“脑补”上去了。如果这条文案上线成本差出去的可就是实打实的钱。后来我们彻底放弃了让模型直接输出最终文案的想法改成“模型只输出结构化要素系统拼接生成最终文本”。再配合一层规则校验把金额、日期、城市这些实体字段跟活动配置表逐一比对不匹配的直接丢弃。这套流程上线后再也没有出现过虚假利益点漏到线上的情况。注意做营销广告场景的大模型应用一定要给模型套“紧箍咒”。模型负责创作规则负责正确性不要让模型直接对用户说话。5.2 合规问题广告法是一道硬门槛广告法里的违禁词比想象中多得多“最”“第一”“顶级”“100%”这类极限词模型很容易生成出来。微调阶段虽然专门准备了一部分“坏样本”教会模型规避但模型偶尔还是会“放飞自我”。我们搭建了三层审核链路。第一层是规则引擎跑一个几百条关键词的黑名单命中就直接拦截。第二层是模型审核用一个小模型对文案做风险打分。第三层是人工抽检按比例对每日生成的内容进行人工复核。另外建立了一个审核结果回流机制所有人工判定拦截的样本都进入训练数据池下个版本微调时继续强化。这个机制跑了半年合规率稳定维持在99.9%以上。5.3 成本控制token预算比想象中紧张大模型的成本不只是GPU还有token消耗带来的边际成本。初期我们犯过一个错误每生成一条文案会把一整段业务背景和示例文案全部塞进Prompt一次调用动辄消耗上千token。批量生成10万条文案的时候光Prompt就烧掉上亿token成本完全失控。优化方式是把Prompt做“瘦身”。高频变动的因素比如城市、车型、活动ID全部做成结构化字段存进预定义的Prompt模板槽位里。与生成目标无关的背景信息一律不塞。同一个Prompt模板做多轮生成时系统单次拼接的token从1300降到了280生成质量几乎不受影响。另外业务侧对Push文案有字数限制我们直接在前端限制max_tokens避免模型输出无关的收尾语。5.4 在线问题速查表现象可能原因排查手段解决方案生成文案出现虚假金额模型幻觉结构化字段缺失检查输出是否经过要素抽取和规则校验强制结构化输出金额字段与配置表比对特定城市文案质量明显变差训练数据中该地域样本不足按城市维度分析样本分布针对少数城市做数据采样或few-shot补充在线接口响应变慢模型kv cache占用过高观察GPU显存和吞吐指标降低batch size或换更小基座模型文案重复度过高训练数据多样性不足检查增广数据的模板句式分布增加改写指令多样性扩充种子文案大促期间批量任务积压离线生成管道算力不足查看任务队列堆积情况提前预生成大促物料错峰跑批6. 一点个人经验总结做完这个项目我最大的体会是大模型落地业务场景技术只是其中一半另一半是流程设计。我自己踩过最深的坑就是一开始太迷信模型能力总想着“一步到位”让模型直接输出最终产品。后来才明白大模型应该放在“创意发散”的位置上它的产出要经过结构化约束和规则校验才能真正进入生产链路。还有一点想提醒大家不要一开始就追求复杂的大模型架构。我们的第一版就是“Prompt工程私有化部署”在没有微调的情况下跑通了整个链路。后来有价值数据积累到一定量级才做的微调优化。如果你现在正准备启动类似项目建议也先跑通最小闭环用最简单的方式验证业务价值再上强度。最后分享一个小技巧在营销广告场景把微调数据和线上实验数据打通非常关键。我们每两周会把线上点击率高的文案人工打标后回流到训练集再做一轮增量微调。这个迭代节奏让模型始终在贴近当前的用户偏好变化而不是停留在一次训练的历史水平里。这套做法不需要很复杂的工程架构但带来的效果提升非常明显。