做表格数据的朋友应该都有一个共同的感受特征工程的比重越来越大而深度模型在表格上的收益却经常被梯度提升树按在地上摩擦。我最初看到“LimiX-2 表格模型的 masked modeling”这个题目的时候第一反应是——终于有人把 BERT 那套玩法系统地搬到表格数据上来了。LimiX-2 的核心思路不是直接拿 Transformer 去拟合标签而是先在大量无标注的表格数据上做自监督的掩码重建学出一套对表格语义敏感的表征然后再去下游分类、回归、缺失值填补的任务上微调。这篇文章我会从设计动机、架构拆解、预训练实操到踩坑记录完整展开。1. 为什么表格数据需要 masked modeling1.1 表格数据的结构性矛盾表格数据和图像、文本最大的不同在于它的列与列之间没有天然的拓扑关系。图像的像素有空间相邻性文本的词有上下文顺序而表格的一行里“年龄”和“收入”之间的相对位置没有任何物理意义。这就导致两个结果第一直接套用为图像或文本设计的模型结构会浪费归纳偏置第二特征之间的关系高度依赖人工先验也就是特征工程。梯度提升树XGBoost、LightGBM、CatBoost之所以统治表格数据是因为它们天生擅长处理特征之间的非线性交互而且对缺失值、尺度不敏感。但它们的局限也很明显每一列都被当作独立的候选切分点列与列之间缺乏全局的表征学习面对高基数类别特征、稀疏特征、时序漂移的表泛化能力有限。我实际做过好几个风控和用户增长的项目树模型在干净数据集上确实无往不利但只要特征列数超过一两百、或者类别取值出现长尾分布特征工程的工作量就会成倍增长而且每换一次数据分布手工特征就要重新调一遍。1.2 masked modeling 在表格上的意义masked modeling 的思想是从 BERT 来的随机遮住输入的一部分让模型根据上下文去还原。放到表格上就是随机遮住一行里的某些单元格让模型用其他列来预测被遮住的值。这样做有三个直接价值。第一不依赖标签。大量未标注的业务数据可以直接参与预训练这在真实业务里太重要了因为标注成本通常占项目的大头。很多公司的数据仓库里躺着几千万行行为日志但有标签的不过几万条传统做法是直接丢掉无标签数据而 masked modeling 能把这些数据利用起来。第二强制模型理解列间依赖。为了预测“收入”这一列模型必须学会解读“职业”“学历”“城市”之间的统计关联这正好补上树模型缺少的全局表征。我举个例子假设某列是“用户是否点击”这个列和“设备类型”的关联在预训练时会被反复重建模型内部就会形成一个隐式的交叉特征下游微调时只需要轻量拟合就能用上这个知识。第三天然适配缺失值场景。预训练期间见惯了被掩码的输入模型对下游的真实缺失值鲁棒性会更好。传统方案里缺失值要么填均值要么填中位数本质上是在抹掉信息而掩码重建学的是条件分布等于把缺失值当成一个待推理的问题来处理。1.3 LimiX-2 的定位与目标从我复现和理解的情况看LimiX-2 可以看作“表格版 BERT 重建式预训练”的改进形态。它不追求刷新某个排行榜而是解决一个更实际的问题如何在一个中等规模几万到几百万行的表格数据集上用可接受的算力得到一个比传统特征工程加树模型更稳健的底座。我理解这个模型的适用对象很明确手里有大量无标注表格数据、下游标签稀缺、或者数据缺失严重的团队。它不适合那种只有几千行干净数据的小任务也不适合追求极致线上性能而忽略训练成本的场景。它的价值在于当你面对一团乱麻式的表格时先让模型自己把结构摸清楚再去做精细活。2. LimiX-2 的核心设计拆解2.1 架构主干Transformer Encoder 的表格化改造LimiX-2 的主干用的是 Transformer Encoder但针对表格做了三个关键调整这些调整是它区别于“直接把表格塞进 BERT”的核心。第一个是列嵌入column embedding。每一列学习一个固定的嵌入向量加到 token 表征上。这相当于告诉模型“我现在读的是‘年龄’这一列”弥补了表格没有位置信息的问题。做过 NLP 的朋友可以把列嵌入理解为位置编码的变体——图像有位置文本有位置表格没有位置但表格有列身份列嵌入就是给模型提供列身份的信号。第二个是数值特征的分箱与平滑编码。数值列不再裸输入而是做分箱后映射成向量或者用分段线性编码。这么做的好处有两个一是避免数值尺度差异过大导致训练不稳定比如“收入”可能是几万“点击次数”可能只有几十二是分箱本身给模型提供了非线性的先验让数值特征也能享受到和离散特征一样的表征空间。有的实现里会同时保留原始数值和分箱向量靠模型自己决定用哪个LimiX-2 更倾向于用分箱加归一化的组合。第三个是类别特征的嵌入映射。高基数类别用嵌入表映射不需要手动 target encoding 或 one-hot。这解决了表格建模里最头疼的高基数类别问题。比如“用户ID”这种列one-hot 直接撑爆内存target encoding 又有标签泄漏风险嵌入映射把每个 ID 映射成一个低维向量既压缩了维度又保留了信息。2.2 掩码策略均匀随机是最大的坑LimiX-2 的关键在掩码不是均匀随机。这是我和很多初学者踩过的最深的坑。它的掩码分两种cell-level masking 按一定比例随机遮掉某些单元格row-level masking 在某些特殊场景下整行遮掉更大比例逼迫模型从其他行batch 内的列统计寻找线索。这个设计背后的逻辑是纯随机掩码会让模型偷懒。如果数据集中某列缺失率本来就高模型学会直接预测该列的全局均值就能拿到不差的 loss。所以要按列均衡掩码权重让每一列都被充分地“逼问”过。我实际操作中采用的做法是先统计每列的缺失率然后给缺失率低的列更高的掩码概率给缺失率高的列更低的掩码概率让每一列的掩码期望次数接近。比如“用户ID”这一列几乎没缺失就让它有 40% 的概率被遮“备注”这一列本来就有 70% 的缺失就只给它 5% 的额外掩码。这样模型不会在预训练阶段就把“备注”列的分布背下来而是真正去学列间关系。另外还有一个细节掩码操作必须在特征编码之后、Transformer 之前做而不是在原始数据上做。因为我们要遮的是输入给模型的特征向量不是物理上把数据删掉。如果你在 DataFrame 层面把单元格改成 NaN后续的嵌入层就得额外处理缺失值逻辑给自己找麻烦。2.3 重建目标分类型处理损失重建目标分类型处理这是另一个容易忽略的细节。数值列用 MSE 或 smooth L1类别列用交叉熵。Loss 是各列损失按权重求和。这里有个经验数值列如果直接回归原始值会受到分布 skew 影响很多实现会对数值列做 quantile 变换或者标准化之后再回归效果会明显更稳。比如“收入”列如果直接用原始值做 MSE模型会被几个超高收入样本带偏loss 曲线一直震荡。我先把收入做 log 变换再标准化到 0-1 区间MSE 就稳定多了。预测的时候再做逆变换还原误差反而更小。这和树模型里的对数目标函数是一个道理——让目标分布更接近高斯回归任务会好做很多。类别列的交叉熵也有讲究。如果类别取值特别多比如上万个常规的交叉熵计算成本很高LimiX-2 的做法是只在被掩码的位置计算 loss而不是对全表所有 token 算一遍。这样既省内存又让模型把注意力集中在需要重建的单元格上。3. 从零复现预训练到微调的关键环节3.1 数据准备先做特征类型摸底我用的数据集是某电商的用户行为日志表大约 60 万行、20 列其中 8 列数值、12 列类别含两个高基数 ID。数据准备阶段我建议按这个顺序操作分训练、验证、测试按时间切分避免泄漏。很多表格数据都有时间属性随机切分会把未来的信息泄漏给模型导致验证指标虚高上线后直接崩。按时间切分虽然会损失一点训练数据但更接近真实场景。数值列做缺失标记和标准化。我习惯给每个数值列额外加一个“是否缺失”的 0/1 特征这样模型可以区分“该列缺失”和“该列数值为 0”两种情况。标准化我选的是 RobustScaler因为业务数据里异常值多StandardScaler 会被极端值带偏。类别列构建 vocab。把出现频率低于阈值比如 10 次的类别统一映射成[UNK]防止嵌入层被长尾类别占满。我遇到过一个“城市”列有 800 多个取值光嵌入表就占了 30MB其实前 50 个城市覆盖了 95% 的样本剩下的完全可以合并成“其他”。记录每列类型生成 config。这个 config 是后面模型读入用的包含每列的列名、类型数值/类别、vocab 大小、是否高基数等。这一步千万别省我有一次因为 config 里少写了一个高基数 ID 列跑预训练的时候直接 OOM。3.2 预训练实操参数选择与训练节奏我的配置参考12 层 Transformer、hidden256、batch256、lr1e-3warmup 后降到 1e-4、mask 比例 0.3。跑了大约 30 个 epoch在一张 24GB 显存的卡上大概 6 个小时。显存占用大约 12GB余量充足。这里有几个很关键的实操点。第一不要把所有列一次性掩掉 30% 就完事。建议按列分组每组掩码比例不同。我按列类型和缺失率分成三组数值列组掩码 25%、低缺失类别列组掩码 35%、高缺失类别列组掩码 10%。这样做的好处是模型不会被高频缺失列干扰也不会因为某列信息量太大而过度依赖。第二learning rate 要用 warmup。我一开始用固定 lr3e-4前几个 epoch 的 loss 呈现出一种诡异的锯齿状怎么看都不对。后来加了 1000 步 linear warmup 到 1e-3再 cosine decay 到 1e-4loss 曲线立刻变得丝滑。Transformer 这类结构对 lr 极其敏感尤其是在预训练早期参数还没进入稳定区域大 lr 会让 embedding 层发生灾难性震荡。第三数值列回归 loss 和类别列交叉熵之间要调权重。默认 1:1 不是最优的因为两者的量纲完全不同。我的经验是数值列 loss 权重给 0.7类别列给 1.0让类别重建在总 loss 中占主导数值列起到辅助约束的作用。这个比例当然不是金科玉律但在一开始不需要花太多时间调先跑通再慢慢试。还有一点容易被忽略masked modeling 的预训练不需要跑特别久。表格数据的列数有限信息量就那么多30 个 epoch 之后 loss 基本进入平台期再跑就是过拟合到预训练数据的噪声上。我对比过 50 个 epoch 的模型和 30 个 epoch 的模型下游微调效果几乎一样。3.3 微调与评估预训练权重怎么用预训练完之后下游任务可以是分类、回归也可以专门做缺失值填补。微调时我用的是两层 MLP head 接在 CLS token 上。这里有个选择是端到端微调还是冻结预训练权重只训 head我的建议是如果下游标注数据超过 1 万条端到端微调效果更好因为数据量够大模型可以安全地调整底层特征。如果标注数据只有几千条冻结底层参数只训 head 更稳否则容易过拟合。和从头训练的 Transformer 相比预训练权重微调在少样本场景下提升非常明显。我在一个只有 5000 条标注的二分类任务上对比过随机初始化的 Transformer 微调 AUC 只有 0.71而用 LimiX-2 预训练权重微调 AUC 到了 0.78。差距在全量数据6 万标注下缩小到只有 0.003但少样本场景下预训练的价值是实打实的。微调时的超参相对好设lr2e-5、batch64、epoch10加上早停。如果发现验证集 loss 在下降但指标不动优先检查是不是类别不平衡如果验证集指标震荡剧烈优先检查是不是 lr 太大。4. 实测记录与常见问题排查4.1 和传统方法的效果对比我把 LightGBM 和 LimiX-2 在同一个任务上做了三轮对比实验结果如下场景LightGBMLimiX-2 微调结论全量标注6 万条AUC 0.874AUC 0.868树模型略胜少量标注5000 条AUC 0.742AUC 0.763LimiX-2 反超缺失率 30%AUC 下降 0.035AUC 下降 0.018LimiX-2 更抗噪全量数据下 LightGBM 的 AUC 略高约 0.006这个差距在统计上不算显著但树模型的训练时间只有 LimiX-2 的十分之一。只训 5000 条数据时LimiX-2 微调反超约 0.021说明预训练阶段学到的列间关系补上了标注不足的短板。当我把测试集的缺失率人为提升到 30% 之后LightGBM 掉点明显比 LimiX-2 严重因为 LimiX-2 在预训练阶段见惯了被掩码的输入。这个对比告诉我一个道理masked modeling 预训练最大的价值不在大样本碾压而在标签稀缺和数据质量差的时候给你一个兜底。如果你的业务场景是数据又脏又缺标签这种模型值得一试如果数据干净且标注充足直接用树模型就完事了别为情怀买单。4.2 我在实际运行中踩过的五个坑第一个坑数值列标准化方向错了loss 一直不降。我用的是 StandardScaler但数据里有明显长尾均值和方差被极端值污染导致标准化后的数值分布仍然 skewed。换了 RobustScaler 之后 loss 很快就降下来了。我建议做表格预训练之前先用分布图把所有数值列看一遍长尾严重的列先做 log 或 Box-Cox 变换。第二个坑masking 覆盖了 label 列导致泄漏验证指标虚高。我的下游任务里有个“是否购买”标签列预训练时我把整张表的所有列都塞了进去包括标签列。结果预训练 loss 很好看微调时验证 AUC 也奇高但上线后效果崩得不成样子。原因就是预训练时模型已经把标签列的信息学进去了微调阶段其实是“开卷考试”。此后我做预训练一律把下游任务的 label 列从输入特征里剔除。第三个坑高基数类别直接 one-hot 会撑爆显存。我第一次跑的时候把“商品 ID”几千个取值做了 one-hot结果 embedding 层直接占了 80% 的内存batch size 被迫降到 32训练速度慢到怀疑人生。换成嵌入映射之后显存占用下降了 90%训练速度快了三倍不止。第四个坑预训练数据分布和下游不一致时微调效果反而更差。我最初用全量行为日志做预训练但下游任务是针对新注册用户行为日志稀疏且模式完全不同。这时候预训练学到的列间关系不仅没用反而成了微调的负迁移。后来我把预训练数据切到和新用户分布相近的那一批日志上效果才正常。表格预训练不是数据越多越好相关性比数量重要。第五个坑不加 warmup 的 Adam 前期 loss 直接跳出正常范围。我试过直接上大 lr第一个 epoch 的 loss 直接冲到 1e8后续再怎么降都回不到正常水平只能重新初始化。这个坑在新手里太常见了。Transformer 家族的任何模型不管预训练还是微调warmup 都是标配别省。4.3 适用范围与扩展方向LimiX-2 这种 masked modeling 路线并不适合所有场景我梳理了一下哪些情况值得用、哪些别用。值得用的标签稀缺、缺失值多、特征列多且关系复杂、有大量无标注数据积累的场景。别用的数据只有几千行、特征已经做得很干净、或者对可解释性有硬性要求因为是深度模型SHAP 解释成本比较高的场景。我还实验过三个扩展方向效果都不错。第一把预训练模型的输出拿来做特征feature extraction再接树模型有时比端到端微调更稳。具体做法是冻住预训练模型把中间层输出作为新特征拼到原始表上然后喂给 LightGBM。在很多场景下这个组合能同时吃到深度模型的表征能力和树模型的结构化表达能力。第二用预训练模型做缺失值填补比均值填充或多重插补在后续任务上表现更好。因为模型学到的是条件分布填出来的值是符合列间逻辑的而不是统计平均。我用它填过一轮缺失值再把填补后的表交给 LightGBMAUC 比用均值填充高出约 0.015。第三时间序列表格可以引入“未来掩码”机制。对于带时间戳的表格掩码策略从随机改成“遮住最近 N 天的记录”模型被迫从历史推断未来这类似于时序预测的预训练任务。我在一个日活跃预测任务上试过效果比纯随机掩码稳定不少。说实话我一开始对表格 masked modeling 是持怀疑态度的总觉得是 BERT 方法论在表格上的强行移植。实际跑完一轮之后我的判断有所改变——它的收益不在排行榜而在噪声、缺失、小样本这些真实环境里的鲁棒性。LimiX-2 这种模型的落地姿势不是替代 XGBoost而是在标签稀缺的时候当预训练底座在缺失值多的时候当填充器在特征杂乱的时候当自动编码器。以后我再接表格项目大概率会把预训练这步加进 pipeline 里成本可控收益明确。