2018年那会儿NLP自然语言处理几乎是我被问到最频繁的话题。朋友聚会有人问行业交流有人问连投资人饭局上聊的也都是你们团队能不能做舆情分析能不能做个智能客服能不能帮我们把病历结构化。那一年朋友圈里刷屏的学术新闻是BERT刷新了各种榜单创业公司BP里不写NLP就好像没有技术含量大厂更是一个接一个把自然语言处理能力包装成开放平台。但热闹归热闹真正敢拍胸脯说我已经找到落地场景、而且客户愿意持续付费的团队掰着手指头都数得过来。这篇东西就是记录2018年我看到的NLP落地真相——哪些场景是真金白银跑通了哪些是PPT里的空中楼阁以及一个从业者在这个行业虚火最旺的时候是怎么一步步找到北的。1. 2018年的NLP从学术狂欢到产业围城1.1 预训练模型带来的技术拐点2018年的NLP圈和2017年之前几乎是两个世界。早几年做中文NLP项目大家的主要精力花在特征工程上——分词、词性标注、句法分析、关键词权重、情感词典一套流水线搭下来真正调模型的时间反而不多。2018年不一样了ELMo和GPT陆续出现到了10月BERT横空出世整个行业一下子迈进了预训练微调的时代。学术界当时的氛围是刷榜SQuAD、GLUE这些榜单的分数被反复刷新一篇论文出来还没捂热就被下一轮超越。产业界的反应稍微迟钝一些但嗅到风味的厂商动作极快。中文的BERT模型权重很快就有人放出来哈工大讯飞联合发布的全词覆盖版本是当时中文社区人人在聊的宝贝。那几个月我明显感觉到来自客户的疑问开始从NLP能做什么变成你们有没有用上最新的大模型——虽然大部分客户根本说不清BERT和传统模型的区别但这个词本身已经变成了技术先进性的代名词。1.2 围攻之下的热闹与冷静和学术界的亢奋相比真正接触甲方需求的人其实心里是忐忑的。2018年我参加过大大小小不下二三十场NLP主题的行业沙龙台上讲得慷慨激昂台下CIO们问的问题却非常现实这个东西准确率到底多少错了怎么办能不能先做个试用模型有没有数据隐私风险你很难说他们不热情但这种热情和愿意为AI项目单独批预算之间隔着一条很宽很深的河。更棘手的是中文NLP本身的特殊性。中文没有天然词边界分词就是第一道坎中文的指代习惯和省略习惯非常重口语里那个、这个、你懂的满天飞语义模型稍微复杂一点的业务场景就抓瞎再加上中文标注数据标准长期不统一不同团队标出来的答案能差出百分之二三十。那一年我自己最大的感受是技术突破确实带来了新的可能性但要把这种可能性变成客户看得见摸得着的价值中间的工程化、场景化之路比想象中漫长得多。2. 落地难过技术关语义理解与实际业务之间的三道坎2.1 语言歧义和上下文依赖模型聪明了但业务问题更复杂NLP落地第一个绕不开的坎是自然语言本身的不确定性。2018年的主流模型在处理这句话是正面还是负面这句话属于哪个意图这类问题上已经能做到比较高的准确率但真实业务输入比测试集复杂得多。比如客服对话里用户说帮我查下昨天的订单不对我是说前天的——这里有否定修正、有时序指代单看昨天的订单和前天的订单这两段文本把它们拆成两条独立意图来处理就会出错。再比如苹果这个词在新闻数据里可能是水果、手机品牌、电影公司甚至人名。上下文稍微长一点当时的统计模型就开始吃不准。业务方往往不理解这一点他们觉得人看一眼就能明白的东西机器为什么分不清。这种预期差是NLP项目启动阶段最容易踩的雷。2.2 标注数据的稀缺与质量欠账模型再高端没有高质量标注数据照样白搭。2018年做垂直行业NLP项目最大的瓶颈不是算法而是数据。当时我们接一个法律文书项目法官写的判决书里到处是长句嵌套、引注交叉通用语料训练出来的模型基本失效。要重新标注就得找法学专业的人来做业内标注报价直线上涨而且这些专业人士之间对案由争议焦点的标注口径还不完全一致。标注一致性这个坑我在2018年吃过很大的亏。有一次项目评估模型效果离线测试集准确率做到了92%团队上下都很高兴。结果上线跑了一周线上表现稀烂。后来复盘发现我们给标注员的说明文档写得不够细两个人对这条评论到底包含不包含投诉意图的判断一致率只有60%多模型学到的是噪声。到那一步我才真正意识到NLP项目的数据质量不只是量的问题标注规范和一致性验收必须当成一等大事来做。2.3 离线指标与业务收益准确率不是唯一的KPI还有一个经常被忽略的问题NLP项目好不好单纯看准确率、召回率远远不够。业务方真正关心的是成本有没有降、效率有没有升、用户有没有更满意。2018年有个客户做智能客服模型意图识别的准确率从85%调到了90%听起来很漂亮但客户发现人工成本几乎没降因为那多出来的5%准确率提升落在的是那些本来就不太需要人工介入的问题上真正难啃的长尾问题一个都没解决。后来我们建立一个简单的ROI模型去框场景把NLP模块的准确率、误判成本、人工介入概率、响应速度这些参数都拉出来算一笔成本账。结果发现很多一开始觉得很有价值的场景算完账根本不值得投入反倒是那些看似朴素、技术上不那么性感的场景回报感人。这一点后面详细讲。2.4 错误的容忍度谁为机器的失误负责NLP落地还有个非常现实的问题错误的后果谁来承担。搜索没搜对用户换个关键词就是了新闻推荐不相关顶多划走不看但客服如果答错了赔偿政策用户可能直接投诉医疗如果分诊错了科室出了事就是事故级别金融风控如果判断错了风险等级那直接影响放款。2018年很多厂商只看技术上能不能做不看业务上敢不敢用结果项目做完了甲方拿着技术报告站在门口踌躇迟迟不敢过审上线。我自己的体会是判断一个NLP场景是否值得入场第一优先级不是技术难度而是容错空间。容错空间大的场景比如文本分类、内容打标、搜索排序可以快速上模型快速迭代容错空间小的场景医疗、金融、司法则必须把人机边界设计得清清楚楚机器只能辅助决策不能替代决策。3. 已经跑通的落地场景新闻处理、在线问诊与智能客服3.1 新闻处理舆情与内容生产工具化2018年NLP落地最扎实的场景我个人认为是新闻和舆情方向。新闻资讯天然就是文本文本处理的各个子任务在新闻语料上都有用武之地。当时做新闻处理的厂商基本都在做这几件事新闻自动分类、关键词和实体抽取人名、地名、机构名、自动摘要、情感倾向判断、相似文本去重、热点聚类。这几个功能组合在一起就能搭出一个舆情监测系统客户是媒体、公关公司和政府宣传部门。技术上当时的主流方案是混用传统方法和深度模型。分词用jieba词向量用word2vec新闻分类可以用TextCNN摘要则流行抽取式TextRank。下面是我记忆中比较典型的一条抽取式摘要流程import jieba import jieba.analyse # 读取新闻正文 text open(news.txt, encodingutf-8).read() # 基于TextRank提取关键词作为摘要候选句子的权重来源 keywords jieba.analyse.textrank(text, topK30, withWeightTrue) # 按句子切分计算每个句子与关键词集合的覆盖度 sentences re.split(r[。], text) for sent in sentences: score sum(weight for word, weight in keywords if word in sent) # 保留得分最高的前3句作为摘要这个方案朴素但在2018年非常实用不需要GPU也能跑速度快、效果比较稳定。真正的工程难点反而不在算法而在于数据管道新闻源要持续抓取、清洗标题和正文、去重要做、时效性要保证。当时有一个同行跟我说过一句话我一直记着做新闻NLP三分算法七分数据管道爬虫挂了比模型掉点严重一百倍。这话一点不夸张。舆情客户最看重的是负面信息能不能第一时间发现模型再准延迟半小时也是废的。3.2 在线问诊辅助分诊与知识问答的边界另一个2018年非常热的落地方向是医疗特别是NLP在线医生——当然这更多是营销说法实际产品落地点是智能导诊、分诊、病历结构化、常见病知识问答。热搜词里能看到NLP在线医生侧面说明当时大众和资本对这个方向期待有多高。在线问诊场景能落地核心原因是它有明确的辅助边界系统不需要独立诊断只需要把用户描述的症状做结构化匹配到可能方向同时推荐对应的科室和医生。用户输入我头疼了两天还伴有低烧系统抽取到症状头疼、低烧和时间两天先做一个风险判断是不是需要急诊再把用户导向相应的内科或神经内科医生。这样的流程里机器的判断有医生兜底错误不会直接酿成事故容错空间明显大。但这里的坑也很深。第一是疾病相关术语极其庞杂同一个意思有无数种表达头疼头痛脑壳痛头有点炸都要能归一化第二是口语和方言问题严重2018年那时候的模型对口语化表达的处理能力还比较弱第三是医疗数据的标注必须有医学背景价格贵、周期长。我在这个场景上最大的教训是不要试图让系统明白所有医学知识老老实实把用户意图分成几个大类——我要咨询我要挂号我描述症状请帮我分诊我要了解某疾病知识然后紧紧围绕这些类别去构建识别器效果远比堆一个通用医疗问答系统来得好。3.3 智能客服大规模落地但口碑两极如果说2018年NLP落地哪个场景最大智能客服绝对排第一但它的口碑也是两极分化的。技术好的团队做出来的客服系统意图识别准确率高知识库维护顺滑用户在对话里能解决大多数问题技术糙的团队做出来的就是一堆对不起我没有理解您的问题请重新描述气得用户直呼人工。智能客服的技术链条大概是意图识别 → 槽位填充 → 多轮对话管理 → 答案检索/生成 → 转人工兜底。我见过一个成功率比较高的智能客服项目甲方是电商平台知识库里有两万多条FAQ历史工单里有几十万条用户最终靠人工解决的对话记录。项目组把这几十万条记录当成金矿先做了一遍聚类找出用户最常见的百来个意图再逐个人工校准话术和答案最后才让模型学习。上线之后第一层的FAQ机器人能直接解决约60%的问题剩下的转人工整个客服人力成本下降了将近30%。这个项目能成不是模型选得有多花哨而是知识库整理得足够扎实。也有反面教材某甲方强行要求客服机器人必须全自动独立完成所有会话不允许前期转人工。结果用户稍一激动说几句口语机器人就开始胡言乱语最后舆情反弹客户连夜把入口关了。所以智能客服的落地铁律就是人机协作、兜底明确别指望机器把所有问题都扛下来。4. 厂商寻找落地场景的四种典型路径与选型逻辑4.1 平台化API模式标准化能力走量2018年各大云厂商和AI公司的核心策略之一是把NLP能力标准化成API提供给开发者按量调用。文本审核、情感分析、智能分词、新闻摘要、对话理解一个接口一个定价像卖水一样赚流量的钱。这个模式的优点是通用性强、边际成本低、容易形成规模缺点是同质化严重你能做的接口竞争对手也不难做出来最后只能拼价格和体验。也有做得不错的比如把内容安全审核做到极致靠行业经验和数据积累形成壁垒这条路走得通但需要极强的资源投入和商务开拓能力。对中小团队来说纯做通用API非常难但可以把通用API当成场景方案中的一个组件。一个舆情产品可以调用第三方分词和情感接口把精力集中在客户要看的报告和告警逻辑上。这种外购通用组件自研垂直场景的思路在2018年很多成功产品里都能看到。4.2 垂直场景SaaS做深比做宽可靠真正在2018年赚到钱、活下来的厂商大多数走的是垂直场景SaaS路线。做客服、做舆情、做合同审查、做招聘简历解析、做营销内容生成一个行业吃透客单价能做到几十万甚至上百万一年。垂直场景的核心壁垒不是模型而是业务知识合同审查要知道法律条文和判决偏好招聘简历解析要懂人才市场的常见表达舆情监测要理解媒体的报道规律这些都靠长期积累没那么容易被大厂一个通用模型直接掀翻。4.3 嵌入传统产品给老软件装上NLP引擎还有一条路是给现成的企业软件做智能化升级。ERP厂商在产品里加入发票文本识别和信息抽取OA厂商加入公文写作辅助数据库厂商加入非结构化数据的语义搜索。这种做法不需要客户单独新购一套系统而是顺着原有预算和采购流程把NLP能力作为增值模块卖出去。优点是销售周期短、客户信任基础好缺点是需求碎片化严重每个客户提的字段都不一样往往变成半定制交付对团队的工程能力要求很高。4.4 私有化定制交付客单价高但难复制金融、政务、医疗这几个行业2018年对数据隐私的敏感度已经很高了核心系统不允许上公有云自然导出了私有化定制交付模式。厂商派团队进客户现场把模型部署在客户内网数据不出域模型针对客户自己的语料做优化。这种项目客单价高、进入壁垒高但非常消耗人力做完一个合同要派一组人驻场好几个月而且每个客户的需求千差万别很难标准化复制。当时不少背靠风险投资的AI公司就是这种模式说得不好听一点其实是用AI的名义做人工外包只不过外包的是算法工程师和标注团队。4.5 场景选型的四个评估维度结合那一年我参与和观察到的项目我认为判断一个NLP场景值不值得做可以套用四个维度打分维度关键问题高分特征低分特征数据可得性能不能相对容易地拿到足够多的行业训练数据公开语料多、自有数据沉淀丰富数据分散在客户手里、高度隐私容错空间模型错了会不会造成严重后果错了可以重试、撤回、人工兜底错一次就是事故医疗、金融直接决策付费意愿客户是否认可文本智能为独立价值买单有明确成本节省或收益提升链路可算账锦上添花、买完觉得亏可复制性同一套产品能否在不同客户间复制场景标准化程度高、需求同构每个客户都要一客一改、非标到底2018年那么多找落地场景的厂商最后能跑出来的往往不是技术最前沿的那一批而是把上面四个维度想得最清楚的那一批。技术先进但选了一个数据拿不到、容错又低的场景项目再漂亮也落不了地。5. 复盘几个典型的翻车现场与排查思路5.1 客服情感分析把反讽当成了正面那年我朋友公司给一家电商做售后客服会话分析目标是自动识别用户情绪把愤怒的用户优先分配给资深客服。模型上线当天效果看起来很美负面情绪识别准确率高达91%。结果第二天运营找到他们说系统把一大票明显生气的用户标记成了心情不错。排查链路是这样的第一步随机抽取了100条误判样本肉眼观察后发现一个高度一致的pattern——句子带感叹号且包含效率真高服务真好等表面褒义词。比如你们效率真高啊都过去三天了还没发货——模型判成了正面因为效率真高都过去了感叹号这些特征在训练集里几乎只出现在好评里。第二步回到训练数据做分布统计发现人工标注员在标注情绪正面/负面时普遍只看了句子本身有没有夸奖词没有结合上下文判断语气。第三步修正方案不是直接换模型而是先做了一条规则出现真太这么等程度副词褒义词同时存在时间、物流等售后依赖词时默认为负面候选再由模型最终判断。最后又把训练集里这些样本全部重新标注才真正把误判率压下来。这个案例的教训是情感分析落地永远不要只训练一个通用正负分类器必须结合业务上下文设计特征。评价一个客服会话用户表达的内容和表达的情绪是两层东西你们效率真高可能是夸奖也可能是讽刺需要结合领域习惯去解。5.2 新闻去重误杀同一事件的不同视角被当成重复内容另一个让我印象深刻的坑是新闻去重。当时给一个媒体客户做素材聚合系统用simhash做两两去重阈值调得比较激进。客户很快反馈同一场发布会的几个不同角度的报道被系统合并成重复删掉了编辑们暴跳如雷。反过来真正转载一字不改的垃圾稿却因为标题略有不同而留了下来。排查下来问题出在两点第一simhash的汉明距离阈值没有针对新闻场景做校准不同字数文章的距离分布完全不同短新闻稍微改几个字就判重长新闻改一大段还是被判相似第二做去重时把标题和正文拉在一起计算指纹标题相同但正文观点差异明显的内容被一视同仁。最后的做法是拆开处理标题单独算一种相似度正文按段落窗口分别算指纹对长文允许一定程度的编辑痕迹增加副标题、插入配图说明但必须保留核心段落差异同时引入来源权威性权重——转载站和原创站不直接判重。经过这轮调整误杀率从百分之十几降到百分之二左右编辑满意度才回来。新闻处理这种场景永远是数据管道规则模型三合一的工程不是单点模型能搞定的。5.3 在线问诊的方言和口语击穿还有一个翻车现场是在线问诊的分诊系统。上线之前我们拿的是诊前问卷和历史对话记录做测试病例里的语言相对规整。一上线真实用户输入全变样了老人家用方言说脑壳痛、胃里寡寡的年轻人说感觉胸口碎大石这种比喻句。模型一头雾水分诊分错科室的比例一下子高了产品差点被叫停。排查和调整做了几件事第一建立一个方言/口语归一化词表脑壳痛→头痛、胸口碎大石→胸痛一项一项人工去补充急不来第二加入拼音模糊匹配和常用错别字归一化把语音输入带来的错误先洗一遍第三调整产品逻辑不再强制系统直接给出唯一的可能疾病而是给出一组可能方向并明确提示建议尽快挂号确认降低系统需要绝对正确的压力第四也是最关键的——把低置信度的样本直接转人工分诊宁可让系统多认怂不要硬答。在这个项目里我学到的核心经验是医疗NLP产品技术上最大的对手不是模型精度而是用户表达的无边界性。没有哪个模型能在所有表达变体上都做到百分百正确所以产品设计必须给机器留出不知道就说不知道的出口。一旦用户被错误答案误导比回答不上来严重得多。5.4 标注一致性没验收离线好上线崩还有一个项目问题出在源头。当时做一个法律文本的分类模型团队按准确率91%验收完毕准备上线客户方的两位资深律师试用后却表示分类逻辑完全不对。我们很困惑就把两位律师分别叫过来各给了100条文本让他们独立标注结果两人标注一致率只有六成多。再看训练集发现大量标注是外包团队做的外包人员对法律概念的理解参差不齐有些债务纠纷被标成合同纠纷有些侵权责任被标成交通事故。模型学到的是标签里的噪声测试集又和训练集同源自然怎么测都好看。从那以后我给自己立了一条规矩任何NLP项目的标注环节开工前先让两个以上标注员对100条样本做背靠背标注计算Kappa一致性系数低于0.7就说明标注规范和说明文档没讲清楚必须先统一标准再铺量验收时也不能只看模型指标要单独对样本的标签质量做抽检。这笔花在开始之前的成本比做完返工低太多了。6. 回到2018年底当技术回归平常心2018年最后两个月整个行业因为BERT开始进入新一轮躁动好多上半年还觉得做不动的场景年底突然又看到希望——长文本语义匹配、复杂意图推理、更细腻的情感判断都有了新的工具。模型权重可以在社区直接下载GPU算力也能按小时买到技术门槛下降的速度比所有人预期都快。但也是这一年年末我对NLP落地的理解发生了一次转变。有一次和一个做了十多年客服系统的前辈聊天他跟我说了一句话你们这些搞模型的总以为找落地场景是找一个完美适配模型的地方其实不是。落地场景是人机分工的具体设计——机器负责能稳定处理的那80%人负责剩下那20%的长尾和情绪安抚规则负责框住边界模型负责在边界里发挥。我回想自己这一年做的项目凡是效果被客户夸的几乎都有三个共同特征场景边界清晰、数据管道稳定、人机协作明确凡是翻车被客户骂的基本都是技术先进但场景没想透。2018年很多厂商的误区是想用一项NLP技术去通吃所有行业结果到处碰壁反而是那些一个行业一个行业去啃、把知识库和标注标准打磨成产品的团队活到了2019年。如果非要给当时刚入行的人一个建议我会说当你面对一个NLP能不能做的问题时先别急着调参先回答四个问题——数据哪里来错了怎么办谁愿意付钱换一个客户还能不能卖这四个问题答案都是肯定的再谈模型选型不迟。技术会快速迭代2019年有更强的模型2020年还有更强的但对业务本质的理解、对人机边界的敬畏才是NLP这个行业真正不容易被淘汰的部分。