1. 为什么电商平台需要预训练语言模型先说一个我在实际业务里经常被问到的问题电商平台的文本数据又脏又乱用户搜“小香风外套”可能根本不含“香奈儿”两个字评论区里“质量不错”到底是夸还是贬也得看语境这种情况下传统的词匹配和规则方案早就撑不住了怎么办答案就是预训练语言模型。我在网易严选做搜索和推荐算法那几年感受特别深。严选的特点是自营精选商品SKU数量不像综合电商那么庞大但每个商品的标题、卖点、评价、售后记录都很有价值文本密度高、语义信息丰富。早期我们基于词权重和同义词词典做搜索召回词典靠人工维护几百个词就会让人崩溃后来引入预训练模型做语义匹配很多原来怎么调词典都搞不定的长尾查询比如“给女朋友的生日礼物”“适合办公室的保温杯”一下子就能找到正确的商品。这个标题看起来是“一个技术方向在某平台的应用”但真正落到业务里它牵涉的东西远比“跑一个BERT模型”要多。你需要搞清楚选什么基座模型、用什么样的业务数据去做继续预训练、在每个具体场景里怎么适配、线上推理的延迟怎么压、效果怎么评估、模型怎么迭代。这篇文章就是把这些东西掰开揉碎讲清楚适合正在做电商NLP的算法工程师也适合想了解预训练模型怎么真正落到业务里的技术管理者。2. 模型选型电商场景下该选哪个底座2.1 主流中文预训练模型横向对比先聊选型。2024年了中文预训练模型的选择比几年前丰富得多但电商场景并不需要盲目追新。我按“在严选实际用过/评估过”的标准把主流模型拉了一张对比表模型参数量预训练数据强项薄弱点适合的电商场景BERT-base-Chinese110M通用中文语料稳定成熟、生态完善对电商领域词汇理解弱冷启动、快速验证RoBERTa-wwm-ext110M通用中文语料全词掩码语义理解更细腻、泛化好领域迁移仍需微调语义匹配、相似度计算ELECTRA110M通用中文语料替换检测训练效率高、表征质量好下游适配需要经验序列标注、意图识别NEZha110M中文语料相对位置编码长文本效果更好生态相对弱长文本、评论分析MacBERT110M中文语料纠错式掩码对样本噪声鲁棒参数量不小线上低延迟场景自研领域BERT严选版110M通用语料严选数据继续预训练领域词汇完全覆盖、效果最好需要算力和数据积累全部场景的主力模型这里我想重点说一个判断像BERT和RoBERTa这个体量110M左右的模型在电商场景下依然是性价比非常高的选择。大语言模型确实能力更强但直接拿一个几百B参数的模型来做搜索召回或者意图分类延迟和成本都扛不住。业界的通行做法是“大模型做数据飞轮小模型做线上推理”后面我会详细讲这个思路。2.2 自研领域预训练模型的收益到底有多大很多人会纠结一个问题直接用开源的中文RoBERTa微调不就行了吗为什么还要费劲在业务数据上继续预训练我直接说结论在电商领域这个收益是肉眼可见的。严选当时做了一版领域继续预训练基座用的是RoBERTa-wwm-ext训练语料包括商品标题、副标题、卖点、评论、客服对话、用户搜索日志一共攒了大概2亿条文本片段用MLM任务继续训练了10个epoch。结果在搜索相关性、评论情感、意图识别三个任务上相比直接用通用RoBERTa微调平均指标提升了3-5个点。别小看这几个点放在搜索排序上就是点击率、转化率的明显变化。原因其实不复杂。通用预训练模型学的是“人类的常识”但电商文本有自己的一套表达体系。比如严选商品标题里的“磨毛”“水洗棉”“天竺棉”这些面料词通用模型可能见过但理解不深用户评论里的“掉色”“起球”“缩水”这些反馈词和商品卖点词之间的语义关系只有领域数据里才有足够的共现信号。继续预训练的本质就是让模型在“说人话”的基础上再学会“说电商的话”。提示继续预训练不需要重新起炉灶用开源权重做初始化在领域数据上继续训练MLM任务就行。数据质量比数量更重要宁可选干净的标题和高质量评论也不要把乱七八槽的日志全塞进去。3. 从通用到领域继续预训练与数据工程3.1 数据洗练电商语料的“去污”方法论我踩过最大的坑就是把数据清洗想得太简单。电商原始文本是绝对的“脏乱差”如果不处理干净直接丢进预训练流程模型学到的全是噪音。先说商品标题。严选的标题有一个相对规范的结构“品牌品类核心属性规格场景词”但实际数据里还是会有各种问题括号里有内幕信息比如“非买勿拍”、标题里带着商家自定义标签、编码混乱的符号。清洗规则我一般分四层第一层是基础清洗去除HTML标签、不可见字符、重复标点、乱码。第二层是广告词过滤把“包邮”“秒杀”“特价”“限量”这类促销词单独抽取出来存到结构化字段不让它们进预训练语料因为促销词和商品语义无关会对表示学习造成干扰。这里有个坑搜索query里也经常出现“包邮”这个词如果你训练语料里完全没有线上匹配就有gap所以促销词不是简单删掉而是统一替换成归一化符号比如[PROMO]。第三层是长度过滤短于5个字的标题信息量太少长于100个字的往往是堆砌词都要过滤。第四层是近重复去重电商标题大量存在“同款不同色”这种结构用MinHash做近似去重保留一个代表避免某个爆款标题在训练集里出现几千次导致模型过拟合。用户评论的清洗更复杂。要处理“好评返现”这类无意义文案、全是表情符号的评论、AI水军评论我们当时的做法是先跑一轮规则弱监督分类器自动打上“有效/无效”标签再抽有效部分进预训练。3.2 训练细节参数、算力与迭代节奏继续预训练的技术细节网上资料不少但有几个亲测有效的参数设置想分享给大家。学习率这块我建议用非常小的值。继续预训练的出发点是在原有表示上做“微调式的适应”不是重新学习learning rate超过5e-5就容易灾难性遗忘——模型把通用语言能力丢了只记住了电商词。我们最终用的是峰值2e-5配合warmup线性衰减效果最好。训练数据量也不是越大越好。我做过对比实验5亿条文本训练出来相比2亿条多个下游任务指标几乎没有提升反而多花了两倍算力。原因可能是电商语料本身的信息冗余度高模式相对有限超过一定规模后就进入了边际收益递减区。再说迭代节奏。领域预训练模型不是train one time就完了电商的词表和语义会随着季节、热点、品类调整而变化。我们的做法是每季度用新增数据做一次增量继续预训练每次只训练3-5个epoch保持模型不过时。如果遇到大促比如双11、618会针对大促相关的促销词、活动词做一次快速增量训练。4. 落地场景严选业务里的具体应用4.1 搜索相关性从词匹配到语义匹配搜索是预训练模型在严选最关键的应用场景没有之一。传统的搜索相关性判断是BM25人工规则核心问题是“词面不匹配但语义匹配”的query处理不了。用户搜“久坐办公护腰”商品标题可能是“人体工学椅 腰部支撑”两个文本一个共同词都没有BM25直接歇菜。我们上线了基于领域预训练模型的语义相关性模型线上用双塔结构商品塔离线算好向量存进向量检索库query塔在线实时算向量用内积召回候选集再用一个BERT精排模型做相关性打分。这套“粗排双塔精排BERT”的架构是电商搜索里非常经典且好用的模式。相关性标注数据怎么来一个是人工标注每天标几千对query商品标题的相关性等级0/1/2另一个是基于用户行为的弱标注用户点了且停留时间长的query商品对视为正样本展示但没点的视为难负样本。难负样本特别重要它让模型学会区分“看起来相关但用户不买账”的情况。4.2 商品语义匹配与类目发现严选的自营模式会不断引入新商品很多商品在上架阶段还没有类目标签或者类目是商家手动填的可靠性不高。我们做了两个事情第一是商品-类目预测。把商品标题卖点文本喂给预训练模型预测商品所属的叶子类目。这个任务用普通文本分类就能做关键是领域预训练模型对“轻便折叠”“静音”“电动”这些词的语义理解更准确分类准确率比通用模型高不少。第二是相似商品发现。基于商品向量做召回找出“相似款”应用在两个地方一个是同款比价和抄袭识别一个是穿搭场景搭配——比如“衬衫”相似款召回再关联搭配的“裤子”“外套”。注意相似商品不是简单的语义相似还要把价格带、风格、适用人群这些因素考虑进去否则召回“白衬衫”和“白T恤”虽然语义上接近但用户显然不觉得它们是一类东西。4.3 智能客服意图识别与情感分析严选的智能客服场景对预训练模型的要求非常苛刻用户的话往往是短文本口语化严重还有很多错别字和模糊表达。意图识别我们用预训练模型接了多层分类目标是把用户问题归类到几十个意图槽位里比如“物流查询”“退换货”“尺寸咨询”“发票问题”。这个任务的挑战是类目多且部分类目之间的边界模糊光靠规则很容易撞车。预训练模型解决的核心问题是“语义泛化”——用户说“我鞋子穿两天就开胶了”模型能懂这是“质量投诉”而不是“开胶是什么材质”的咨询。情感分析则用在评论分析上粒度是“方面级情感”——同一句评论里可能对“质量”表达正面对“物流”表达负面比如“质量很好 但是发货太慢了”。我们训练了一个方面级情感分类模型给定评论和方面词输出正面/中性/负面。这部分的线上收益主要体现在售后策略上识别出负面情感集中的商品自动触发质检流程。5. 工程化实践与踩坑实录5.1 线上推理延迟是怎么压下来的预训练模型在搜索链路里最大的工程挑战是延迟。BERT做一次前向计算是毫秒级但搜索请求的TP99要求往往在100ms以内query塔可以实时算但商品塔几百万个商品不可能全部实时过一遍模型。我的做法是“分阶段混排”第一层商品向量离线用双塔模型算好存入向量检索库线上用内积做近似最近邻召回类似Faiss/HNSW控制在5ms内。第二层对召回的几百个商品用一个小型精排BERT4层蒸馏版做相关性打分控制在10ms内。第三层再交给传统的排序模型GBDT或深度排序模型结合价格、销量、转化率等特征做最终排序。蒸馏这一步值得展开说。用Teacher蒸馏得到的6层或者4层小模型在相关性任务上能保留95%以上的效果但推理速度是12层BERT的3-4倍。我们用了一版4层TinyBERT做精排TP99从80ms降到了30ms以内效果只掉了0.2个点。部署侧还能叠加量化INT8进一步压到20ms以内。注意蒸馏的时候蒸馏温度、软标签权重都要好好调。软标签权重设太大会丢失Teacher的暗知识设太小Student学不到东西。我调下来0.5-0.7的软化温度比较合适软标签loss权重0.7-0.8。5.2 数据标注、评测与迭代闭环预训练模型项目落地的成败很大程度取决于数据标注和评测体系。我见过太多团队模型做得很花哨但没有一个可靠的评测集最后业务方问“效果到底怎么样”时一句话都答不上来。评测集的建设有几个原则一是跨越时间不能用某几天或者某个大促期间的数据做评测集否则季节性偏差会被模型死记硬背二是分层采样不同品类、不同query长度、不同意图类型都要覆盖三是持续更新每两周补充一批真实线上bad case让评测集跟着业务走。我们建立了“离线评测在线AB”双轨机制。离线评测看相关性、准确率、召回率这些指标在线AB看点击率、转化率、成交额。这里有一个很现实的教训离线指标提升并不等于在线收益甚至有时候离线涨了在线反而跌。原因可能是离线评测集和线上分布有偏差或者模型学到的模式在线上被交互反馈扭曲。5.3 常见问题速查表把我在实操中遇到的高频问题和解决方案整理成了一张表大家在落地时可以直接对照排查问题现象可能原因解决办法领域继续预训练后通用任务效果暴跌学习率太高/训练epoch过多降低学习率到2e-5以内减少epoch增加通用语料混合搜索召回结果语义相关但用户不买账缺少行为弱标注数据加入点击/购买信号做难负样本结合价格带、风格特征线上推理延迟超时模型太大/并发太高蒸馏小模型INT8量化HNSW召回必要时上GPU推理新品类上线后效果变差领域预训练语料过期每季度增量继续预训练补充新品类数据同一模型在A/B测试中表现不稳定评测集太小/偏差扩大评测集、分层采样、多次重复AB测试模型对促销词/活动词理解混乱预训练阶段促销词处理不当用[PROMO]统一归一化而不是直接删除评论情感分析对讽刺/反话识别差通用情感模型不擅长语境推理加入更多上下文信息评论文本回复历史训练对话级情感模型5.4 分布式训练与资源规划的一个补充最后补一个很多人容易忽视的点分布式训练的资源规划和断点续训。当时我们做领域继续预训练用的是一台8卡V100服务器并行策略是简单的DataParallel没有用上更复杂的分布式策略因为110M的模型单卡就能放得下数据并行就够了。但有个细节必须注意大规模数据多卡训练时loss曲线可能因为batch size变大而变得不稳定需要相应调低学习率。我一般用“线性缩放规则”batch size翻倍学习率也翻倍但继续预训练场景下我会保守一点只调1.5倍。断点续训是保命功能。我们踩过一次坑训练到第7个epoch时机器突然重启因为没配checkpoint策略前面三天算力全部白费。后来配了每1000步保存一次checkpoint才彻底解决。6. 未来演进与个人体会预训练模型在严选的应用走过了从“摸着石头过河”到“体系化落地”的过程。整个项目下来我最深刻的体会有三个第一模型永远只是拼图的一部分。同一个BERT模型用在不同团队手上效果可能天差地别差的不是模型结构而是数据质量、标注体系、评测闭环和迭代机制。这些“脏活累活”才是真正的壁垒。第二大语言模型时代小模型依然有不可替代的价值。我们内部做过很多试验用大模型做搜索相关性标注、生成训练数据再用小模型上线推理这个“大模型教小模型”的飞轮已经跑通了。大模型的角色从线上推理者变成了数据生产者这个转向我觉得是未来两年最值得投入的方向。第三业务语言和技术语言要对齐。我当时踩过的最大的“坑”不是技术上的而是和业务方沟通上的——模型离线涨了三个点业务方问“这能带来多少GMV”我当时答不上来后来专门搭了一套归因链路把模型指标换算成业务指标沟通效率才真正提高。最后再分享一个小技巧如果你想在电商场景快速验证预训练模型的价值不用急着做继续预训练先用开源的RoBERTa-wwm-ext在搜索相关性任务上微调一版跑通整个链路再回来优化基座模型。先证明价值再追求极致这是我反复验证过的节奏。