做了两年营销广告智能化之后我最大的感受是大模型落到业务场景里真正的难点从来不是“模型能力不够”而是“业务理解和工程化兜底做得不够”。货拉拉的营销广告体系覆盖了大量货运场景下的用户触达包括App推送、短信、站内信、线下物料和媒体投放素材这些内容天然需要“千人千面”的表达能力而大模型最擅长的恰恰是“在约束条件下生成多样化文本”。这篇文章就把我们在货拉拉营销广告场景里应用大模型的完整实践拆开讲一遍包含方案选型逻辑、提示词设计、微调实战、架构落地和线上效果希望能给正在做类似事情的团队一些参考。1. 营销广告场景下的真实需求拆解1.1 货拉拉广告物料体系现状先说说货拉拉营销广告的物料特点。货运平台的用户结构比较特殊既有C端用户需要搬家、拉货的个人也有B端商户批发市场、家具城、建材市场的老板还有平台侧庞大的司机群体。这意味着同一款产品功能在不同人群面前需要用完全不同的语言体系去表达。之前我们的广告物料生产流程是这样的运营同学提需求文案同学手动撰写每人每天大概能产出10到15条高质量广告语遇到大促节点比如搬家季、双十一前后物料需求量会瞬间暴增到平时的五到十倍。瓶颈非常明显生产速度跟不上排期文案风格不统一A/B测试的变体数量严重不足。当时我们做过一个统计一条大促 Campaign 往往需要30到50组不同角度的广告文案但手工生产只能覆盖十分之一左右。所以第一阶段的诉求特别朴素能不能让大模型帮我们把“人写文案”这个环节变成“人审文案”把产能瓶颈从生产侧转移到审核侧。这个定位非常重要它决定了后面所有技术方案都围绕“辅助生成人工把关”来做而不是全自动无人干预。1.2 大模型能切入的四个核心环节深入梳理业务流程后我们发现大模型可以切入的环节不止文案生成一个至少有四个方向值得做文案创意生成是肉眼可见的第一个切入点。给定产品功能、目标人群、利益点和风格要求让模型产出多条广告语候选。这个环节对模型的语言能力要求最高但也是ROI最明显的。素材标签与结构化解析是容易被忽略的环节。历史素材库里有大量存量广告图、旧文案以前靠人工打标签整理效率低且标签体系混乱。用大模型做统一的标签抽取和内容结构化能让素材检索效率翻倍后续做相似素材去重和投放归因都有数据基础了。广告内容多语言适配。货拉拉的覆盖区域广不少地区有方言和本地化表达习惯海外业务的广告文案也需要本地化。大模型在跨语言转写和风格迁移上比传统翻译工具自然得多。投放效果反馈的文本分析。广告投放后用户评论、客服反馈里包含大量真实声音用大模型做情感分析、主题聚类、负面点位的自动归类能快速反哺下一轮物料生产。这四个方向我们最终都落地了但建设顺序上是有讲究的先做文案生成因为它直接解决产能问题最快出成绩再做标签结构化沉淀数据资产随后做反馈分析形成闭环多语言适配是按业务需求穿插推进的。2. 技术选型为什么走提示词工程加微调的融合路线2.1 基座模型选择的关键考量模型选型这件事我们内部讨论了很久。当时团队里有人倾向直接调用商业API理由是快、省心、效果有保障也有人坚持用开源模型私有化部署理由是数据安全可控、长期成本更低、可以深度定制。最终的选择是“两条腿走路”核心生产链路用开源模型私有化部署非核心辅助场景允许调用商业API兜底。选择开源模型为主有几个具体考量第一是数据隐私问题。广告文案虽然不像用户交易数据那么敏感但涉及投放策略和转化数据这些指标一旦拼接起来就能反推业务模型不适合全部丢给外部API。第二是模型的可干预性。私有化部署意味着我们可以控制采样参数、可以改模型结构比如增加后处理逻辑、可以针对广告场景做持续微调。这在商业API下是做不到的。第三是成本结构。广告物料的生产量一旦起来调用量是百万级别的。商业API按token计费的模式长期看成本不可控私有化部署的边际成本更低。基座模型的选择上我们最终基于国产开源模型DeepSeek系作为主力底座。原因很简单中文广告文案生成任务上它表现稳定指令跟随能力强而且开源协议对商业应用友好。多模态素材理解场景选用了支持图文输入的VLM模型这个后面会单独提到。2.2 提示词工程与微调的边界划分纯提示词工程足够吗我们的答案是不够但也不能一上来就微调。这里有个循序渐进的路径。初期我们用纯提示词搭了一套MVP验证流程把广告文案生成能力快速跑通证明大模型确实比人写得更快、花样更多。但跑了一段时间后三个问题逐渐暴露模型输出风格不稳定同一套提示词产出的文案有时候像小红书种草有时候像官媒通稿广告法禁用词的规避不够彻底需要大量后处理规则模型的输出经常“偏题”给出很泛的“专业搬家服务让您省心放心”这类废话文案而不是结合具体场景和利益点的有效表达。这三个问题的本质是通用模型的指令跟随能力再强也不了解“货运广告”这个垂直领域的表达规范和业务约束。解决路径有两条一是不断加长提示词把业务规范一条条写进去二是用垂直数据微调让模型内化这些约束。提示词长度一旦超过某个阈值模型对上下文的利用效率会明显下降而且每次请求都带一大段模板也增加成本。最终我们确定了一个原则业务常识靠微调内化动态信息靠提示词注入。举个例子广告法禁用词、行业规范、品牌调性这些长期不变的东西通过微调让模型记住而具体Campaign的优惠力度、活动时间、商品利益点这些变化频繁的信息通过提示词动态传入方便运营随时调整。3. 核心实现从提示词设计到微调落地3.1 广告文案生成管线的整体架构整个广告文案生成系统上线后的架构大概是这样的核心是一条异步流水线从运营平台接收任务经过任务拆解、上下文组装、模型生成、规则校验、人工审核五个环节最终产出可投放物料。任务拆解阶段会区分文案类型推送标题、推送正文、短信、站内信横幅、落地页标题每种类型对应不同的长度限制和风格约束。上下文组装阶段把用户分层信息、活动信息、商品利益点、历史优秀文案示例拼装成结构化的Prompt。模型生成阶段采用多候选策略一次生成多组文案后做相似度去重和多样性筛选。规则校验阶段做广告法合规检查、敏感词过滤、字数限制校验和基础格式检查。最后一切正常才进入人工审核工作台。这套架构最大的好处是把“模型能力”和“业务规则”彻底解耦。模型只负责生成规则系统负责兜底不会因为模型的偶发失误直接产出违规物料。前端运营看到的是一个审核工作台系统预生成文案运营可以一键采纳、编辑修改或打回重写。实测下来运营采纳率稳定在六成左右剩余四成需要人工修一下语气或调整表述角度但即便如此单人日产文案量从10到15条提升到80条以上。3.2 提示词模板设计与上下文工程细节提示词设计是整个系统里最吃细节的地方也是我们迭代最多的地方。我直接放一个核心模板的简化版本你是一名货运物流行业的资深广告文案专家擅长用简洁有力的语言打动目标用户。 ## 任务 为货拉拉平台的搬家服务撰写一条推送通知文案目标用户是“最近7天有浏览行为但未下单的25-40岁城市用户”。 ## 内容要素 - 核心利益点明码标价无隐形收费 - 活动信息新用户首单立减30元 - 情绪基调解决搬家焦虑传递靠谱感 - 字数限制15字以内标题40字以内正文 ## 写作要求 1. 必须包含“明码标价”或等同含义的关键信息 2. 不得出现“最”“第一”“顶级”等广告法极限词 3. 语气要真实自然禁止夸张堆砌形容词 4. 不使用感叹号堆砌每句不超过20字 ## 参考示例 {{few_shot_examples}} ## 输出格式 直接输出标题和正文不要多余说明。这个模板里最关键的三个设计是角色设定、约束条款和少样本示例。角色设定不是花架子它确实能影响输出风格。我们对比过“你是文案专家”和“你是货运行业广告文案专家”这两种设定后者输出的文案在行业术语准确度和场景感上明显更强。可能的原因是角色设定激活了模型对不同语域的分布偏好。约束条款必须写成“可验证的硬性要求”比如字数限制明确到“15字以内”而不是“尽量简短”。“不得出现极限词”比“措辞要合规”有效得多。模型对模糊约束的理解方差很大把要求变成可执行的具体指令输出稳定性会大幅提升。少样本示例是提示词工程里性价比最高的投入。我们从历史优秀文案库里精选了60组高质量样例覆盖不同的利益点和风格组合每次生成时随机抽取5到8组放入提示词。这个操作让文案风格从“模板化”向“多样化”迈了一大步。不少团队忽略了这个细节只靠模型自身的文风泛化能力结果生成的内容单调重复A/B测试的价值就大打折扣。上下文工程上还做了一层“用户意图感知”的增强。我们把运营配置的活动信息和用户分群描述结构化后插入到内容要素区。这一步不是简单拼接而是做了语义的转换。比如运营配置的是“新客立减30”系统会自动展开为“新用户首单立减30元”并补充利益点拆解“价格透明无套路”。通过这种转化模型拿到的是接近“人理解逻辑”的指令而不是一堆参数配平的键值对。3.3 微调数据构造与训练参数微调这件事我们直到积累了足够的高质量人审数据才开始做。数据来源有两个一是历史素材库中确认投放的优质文案约15万条二是系统上线后运营采纳和编辑过的产出记录约8万条。清洗后剩约20万条有效训练数据。微调样本的构造有一个重要技巧把提示词和对应的高质量输出整体作为训练样本。这样模型学到的不仅是对文案文字的模仿还包括对指令格式、约束条件和输出结构的跟随。我们用的数据格式是{ instruction: 为搬家服务撰写推送文案目标用户是最近7天有浏览行为的25-40岁城市用户核心利益点是明码标价新用户首单立减30元标题15字以内正文40字以内不得出现极限词, output: 明码标价搬家新客立减30块\n费用清晰透明搬家不花冤枉钱新用户下单立减30元。 }训练参数上我们用LoRA做微调目标模块锁定在Qwen和attention投影层。Rank设为64Alpha设为128学习率用2e-4做了3个epoch。序列长度设置为2048保证长提示词场景下不会截断。训练损失曲线在第二个epoch后已经趋于平缓第三个epoch结束时验证集上的指令跟随准确率从基座的78%提升到93%广告法极限词触发率从微调前的5.6%下降到0.7%。微调的一个容易踩的坑是过拟合到训练数据的表达风格。第一次微调后模型输出的文案几乎变成了“训练集复印机”同质化严重。后来我们在训练数据里故意做了多样性增强同一组提示词对应多个可接受的输出变体并在训练时对重复样本做了降权处理。同时控制训练轮次不要盲目多训3个epoch足够再多就会开始记忆训练数据。3.4 推理部署与性能优化部署层面我们用vLLM做推理服务这是一个在吞吐量和显存管理上都优化得比较好的推理框架。模型量化采用INT8单卡24G的GPU推理条件下生成长度为256的文案大约耗时400毫秒。这个延迟对异步物料生成场景完全可接受。真正需要花心思的是吞吐量和稳定性。广告文案生成不是单个请求而是批量任务一次可能来几百个业务任务高峰时段的并发压力不可小视。几个关键优化手段开启动态批处理vLLM会根据当前请求队列自动调整batch大小以最大化GPU利用率设置合理的最大生成长度我们设为128限制解码步数避免模型进入无限循环的极端情况搭建多副本负载均衡避免单实例故障导致的生产链路中断设置超时熔断单次生成超过3秒自动降级到备用模型关于降级策略专门说一下。生产环境里我强烈建议准备一个“备用方案链”首选微调模型备选基座模型再兜底一层深度缓存。深度缓存的意思是对重复性高的任务例如同一活动下相同人群的物料生成直接返回历史最优结果不重复调用模型。实测这部分缓存命中率约18%别小看它它帮我们降低了近五分之一的推理成本。4. 效果评估与上线实践4.1 离线评测体系搭建广告文案的评估和通用NLP任务的评估差别很大。不像翻译或摘要有明确的参考答案广告文案的好坏本质上是个主观审美问题。所以我们搭了一套“规则指标人工打分”的双轨评测体系。规则指标重点覆盖可控性维度是否包含指定利益点、字数是否合规、是否出现禁用词、是否使用超规格标点、格式是否正确。这类指标目的是保证下限确保模型输出不会出现明显违背业务规则的硬伤。人工打分重点覆盖表达质量维度吸引力、清晰度、真实感、相关性、多样性。每轮迭代我们固定抽300条生成结果由5位有经验的运营同学独立打分最终取平均分。为避免主观偏差打分时混入人工撰写的对照组用于校准尺度。部署一次迭代版本的标准流程是准备评测集提示词覆盖10类业务任务每类20条用新版模型批量生成先跑规则校验再发起人工打分对比上一版本。两个版本的分差超过0.3分才会进入灰度。说实话这套流程看上去繁琐但对上线质量兜底非常重要。我们经历过一次跳过人工打分直接上线的迭代结果模型在某个特定品类上的输出风格偏差严重差点造成批量物料事故。从那以后人工评价环节坚决不走捷径。4.2 线上A/B实验设计与结果离线评分只能证明“看起来不错”最终评价标准必须是线上转化数据。我们选择了文案生成能力覆盖量最大的推送通知场景作为首个A/B实验对象。实验设计是典型的桶内随机分组对照组人群走原有运营手写物料实验组人群走新的大模型生成物料。实验周期两周核心指标是“推送点击率”和“下单转化率”同时监测“退订率”作为用户骚扰度的反向指标。结果比预期乐观。实验组点击率相对提升14.6%下单转化率相对提升8.2%退订率没有显著变化。注意这个提升不能简单归因于“大模型文案比人好”更合理的解释是大模型生成的多版本文案让系统能针对不同用户分群推送差异化的内容匹配度提高了。原来的手写物料严重依赖运营个人的经验判断覆盖面有限模型生成则能把人群属性、利益点偏好、行为特征都揉进文案实现真正意义上的“千人千面”。这里有一个容易被误读的坑转化率提升可能来自“文案更吸引人”也可能来自“文案更匹配人”甚至可能有部分来自“新鲜感效应”。所以我们做了第二轮的持续观测新文案上线28天后点击率提升回落到9%左右说明部分提升确实来自用户新鲜感。但9%仍然是一个可观的业务收益足以支撑系统继续迭代。4.3 内容安全与审核机制营销广告内容安全是头顶的一把剑必须当成一等一的大事来做。我们的经验是不能把安全指望在模型自觉上而是要靠三道防线第一道防线是模型侧约束。在提示词里明确写入内容禁止项在微调训练数据中加入违规内容及其纠正对让模型在前向生成时天然偏向合规表达。第二道防线是规则引擎。网络侧部署了一套包含广告法极限词、虚假宣传词、歧视性表达、不合理承诺等几百条正则规则库对模型生成结果做强制检查命中即拦截。第三道防线是人工抽检。尽管前两道防线已经过滤了绝大多数风险我们还是对即将投放的物料保持5%到10%的人工抽检比例重点检查语义层面可能存在的隐性风险比如“隐含保证效果”之类的擦边球表达。三道防线缺一不可。模型侧的约束能降低违规概率但不能清零规则引擎能抓硬伤但对语义绕行的敏感度不够人工抽检虽然成本高但能兜住语义风险。这三层设计上线后我们整个营销广告物料的安全投诉率为零。5. 踩坑实录与排查经验5.1 模型幻觉与事实一致性大模型幻觉问题在广告文案场景里尤其危险因为广告文案涉及价格、优惠、服务承诺一旦模型编造出不存在的信息后果可能是品牌受损甚至合规风险。我们实际遇到过的问题是模型在生成带优惠力度描述的文案时偶尔会把“首单立减30”写成“立减50”或者把“满200可用”写成“无门槛”。这类数字型幻觉非常隐蔽人工审核时不逐字核对很难发现。解决方案是结构化的信息锚定把价格、折扣、门槛这类关键信息从用户提示词中抽离用独立的参数化模板维护在模型生成完成后做一次强制替换。也就是说模型生成的文案里凡涉及优惠信息的位置直接用真实参数填充模型本身的输出在规则校验阶段被覆盖。这个方法彻底解决了数字幻觉问题代价是生成文案的灵活性略有下降但换来的是可靠性的大幅提升。5.2 同质化与多样性之间如何平衡生成内容同质化是跑一段时间后必然遇到的问题。最开始模型输出的多候选文案都很类似比如“搬家就找货拉拉靠谱又省心”“搬家用货拉拉专业又实惠”表达结构几乎复制粘贴只是换几个近义词。这样的多版本生成毫无意义因为A/B测试的本质是测试不同认知角度的差异而不是表面措辞的微小变化。我们用了三个手段来解决。一是在解码参数上做文章提高temperature到0.9并启用top_p的随机性增强让候选之间的差异性拉大。二是引入重复惩罚机制对已生成候选中的高频词组做抑制强制模型探索不同的表达路径。三是在提示词里加入“角度多样性”的指令比如明确要求“分别从价格优势、服务品质、时间效率、用户体验四个角度各生成一条文案”。第三个手段效果最好因为它是显式地在语义空间上做均匀采样而不是希望模型靠随机性碰运气。5.3 推理成本控制大模型应用上线之后成本控制就成了日常运营的一部分。广告物料生成虽然不像实时对话那样对延迟敏感但量一旦上来每个月的推理成本也是一大笔开销。我们做了三件事来控制成本。第一是缓存策略刚才提到的深度缓存命中率18%这部分请求完全不消耗算力。第二是任务合并把同时段到达的批量生成请求合并到同一个批次中处理vLLM的动态批处理机制能显著提升GPU利用效率实测吞吐量提升了近三倍。第三是模型分级对复杂度低的任务比如站内信短文案用更小的模型7B级别对复杂度高的任务比如跨品类整合创意才动用大模型14B级别。分级调度让整体推理成本比统一用大模型下降了40%。5.4 多模型回退机制最后必须提一条生产环境铁律任何单一模型都不应该成为不可替代的节点。我们在生产链路上部署了三个层级的模型服务首选是微调后的垂直模型备选是未微调的基座模型兜底是缓存中的历史最优结果。调度层面用健康检查接口实时探活首选模型服务延迟超过阈值或返回异常错误时自动降级到备选模型备选模型也异常时直接走缓存兜底保证业务链路不会中断。这套回退机制上线后至少帮我们避免了两次潜在的线上事故。一次是某次模型服务发布新版本时出现了兼容性问题导致请求异常率达到30%自动降级让业务无感切换到了备选模型。另一次是底层GPU节点故障导致吞吐量骤降因为提前配置好了降级策略运营侧完全没感觉到波动。我个人在实际操作中最大的体会是大模型落地的成功公式不是单点技术最优而是系统层面的可靠性设计。提示词写得再完美、模型微调得再好如果没有完整的兜底机制和质量防线生产环境迟早会教做人。在开始训练模型之前第一件事应该是把评测体系、安全防线、降级预案这三个地基打好。这三个东西前期投入不见得有明显产出但能在后续所有迭代中持续保护你比多训一个epoch有价值得多。最后再分享一个项目结束后沉淀下来的经验做这类平台型能力建设一定要从一开始就跟业务方约定好效果评估口径点击率提升多少算成功、素材采纳率多高算达标这些指标不是技术团队单方面能定义的而是要和运营、产品一起商量确定。否则技术上做到9分业务方从另外一把尺子量出来只有6分后面所有迭代都会打得非常痛苦。对齐目标这件事前置永远比后置好。