表格数据机器学习：树模型的优势与 TabPFN·LLM 的挑战

为什么需要：表格数据是深度学习的陌生领域

企业的大部分数据是由行和列构成的表格。一位客户就是一行，年龄、注册时长、最近付款金额、地区等值作为列附在后面。这类数据称为表格数据（tabular data）。流失预测、欺诈检测、需求预测等使用监督学习（从带标准答案的示例中学习的方式）的业务问题，大多从这类表格开始。

深度学习在图像、语音、文本上取得了巨大成功，也有很多人尝试将其直接用于表格。一项表格数据深度学习比较研究（paper）这样说明其动机：性能有可能更好，而且能一次性训练同时处理表格和图像·文本的多模态流水线，这一点也很有吸引力。然而，这一领域没有类似图像领域 ImageNet 那样的公共基准。各篇论文使用不同的数据集和实验方式，难以判断哪个模型真正更好。

与此同时，实际工作中的默认选择是把多棵决策树组合起来的梯度提升（GBDT）。同一研究（paper）总结称，XGBoost、LightGBM、CatBoost 等 GBDT 库在竞赛中常被列为首选。那么，树为什么强？神经网络缺少什么？是否出现了能改变这一格局的新方法？这就是本文要讨论的问题。

核心思想：多次叠加的“二十问”游戏

决策树类似“二十问”游戏。它连续提出关于某一列的是/否问题，比如“最近 30 天有付款吗？”“注册满 1 年了吗？”，到达最后一格（叶节点）时，就输出该格的值作为答案。由于每个问题只看一列，即使混有单位各异的列也没有关系。无用的列几乎不会被选作问题，因而自然被忽略。

单棵树比较粗糙。梯度提升让第二棵树去学习第一棵树出错的部分，即剩余误差；第三棵树再去拟合仍然剩下的误差，就这样一棵一棵地加树。这类似于多人依次只纠正前一个人错误的协作。XGBoost（paper）把最终预测定义为各棵树输出分数之和。

TabPFN 和 LLM 的思路完全不同。它们不为每张表重新训练模型，而是让一个事先见过大量表格问题的大模型“看这张表中带答案的行，猜出其余行的答案”。这就像做过很多题的人，面对没见过的题，只看几个例子就能找到感觉。这称为上下文学习（in-context learning）。

如何运作：提升与 TabPFN 两条路径

梯度提升的流程如下。先用表格数据建立第一棵树。计算每一行预测值与正确答案之间的差（剩余误差），再朝着减小该误差的方向建立下一棵树。按设定次数重复这一过程，预测时将所有树的分数相加。XGBoost（paper）在此基础上加入了对树叶节点数和叶节点分数大小施加惩罚的正则化项，防止树过于复杂。这是为了减少只拟合训练数据、在新数据上出错的过拟合。

TabPFN（paper）分为两个阶段。第一，离线只预训练一次。此时使用的不是真实数据，而是从“先验分布（prior）”中抽取的合成数据集。该先验分布广泛涵盖表达因果结构的结构因果模型，同时被设计为更常抽取简单的结构。第二，遇到新表格时，把训练行（含答案）和待预测行一起输入 Transformer。模型通过一次计算（forward pass）给出所有待预测行的答案。由于没有更新参数的过程，也不需要超参数调优。

TabLLM（paper）把表格的一行转换为自然语言句子（序列化）。例如生成“年龄为 45 岁，职业是教师……”这样的句子，连同分类问题说明一起作为提示词输入 LLM。既可以不给答案示例、直接提问的零样本方式，也可以在有少量答案示例时用它们微调 LLM 的少样本设置。研究比较了模板、表格到文本的转换模型、LLM 本身等多种序列化方法。

发展脉络：从树的全盛期到新的挑战

XGBoost（paper，2016）把树提升做成了可大规模运行的系统。它结合了处理大量缺失值的稀疏数据算法、用于近似分割的加权分位数草图、考虑缓存的块结构，以及处理内存外数据的计算。结果报告显示，在单台机器上比现有工具快 10 倍以上，并可扩展到数十亿个样本。据论文所述，2015 年 Kaggle 博客刊登的 29 个获胜方案中有 17 个使用了 XGBoost，使用深度神经网络的方案为 11 个。在 KDDCup 2015 中，前 10 名队伍全部使用了 XGBoost。

表格数据深度学习比较研究（paper，2021）用相同的训练与调优规则重新比较了多种深度学习模型。研究表明，简单的 ResNet 式模型是此前一直缺失的强基线。研究还报告称，为表格改造的 Transformer——FT-Transformer 在大多数任务上表现最好。尽管如此，结论仍是 GBDT 与深度学习之间尚不存在“总是获胜的一方”。

树模型优势研究（paper，2022）以 45 个数据集、每个学习器约 2 万计算小时规模的超参数搜索建立了基准。在 1 万行左右的中等规模数据上，即使不考虑速度优势，树模型仍然性能最佳。研究将原因归于神经网络的归纳偏置（inductive bias）差异，并提出了表格专用神经网络需要解决的三个课题：不受无用列干扰、保留数据的方向（每一列固有的轴）、易于学习不规则的函数。

同年也出现了另一方向的挑战。TabPFN（paper）在训练数据不超过 1,000 行、数值列不超过 100 个、类别不超过 10 个的 18 个 OpenML-CC18 数据集上明显领先于提升树。它与复杂的 AutoML 系统性能相当，速度却快最多 230 倍，在 GPU 上快 5,700 倍。TabLLM（paper）仅凭序列化和 LLM，就在部分基准上超过了现有的表格深度学习方法。尤其在答案示例极少时，它可与梯度提升相竞争，零样本也能取得有意义的性能。这是因为 LLM 可以利用预训练中习得的知识。

近期走向：表格基础模型的实战课题

像 TabPFN 这样先在大量表格任务上预训练、再在新表格上通过上下文学习进行预测的模型，如今被称为表格基础模型（TFM）。2026 年的研究已越过“准确率高”的阶段，开始处理实际使用时遇到的问题。

第一是成本。这类模型每次预测都要把全部训练行作为上下文重新读取一遍。激活对齐研究（paper）训练了一个轻量的线性变换，使只使用部分上下文的“Student”的中间激活值接近使用完整上下文的“Teacher”的激活值。在 TabArena 的 38 个分类数据集上，TabPFN-3 和 TabFM 两个模型均有改进。在数据较少的区间，与 Teacher 的性能差距收回了近一半。该变换无需 GPU，几秒到几分钟即可训练完成。

第二是随时间持续流入的数据。数据流研究（paper）指出，TFM 通过改变上下文而非参数来适应。只保留最近样本的简单方法，与现有的内存管理技术同样有效。发生数据漂移（数据分布发生变化的现象）后，它也比现有流式学习器恢复得更快。不过研究同时指出了一个局限：每次预测都要重新编码几乎相同的上下文，导致服务成本很高。

第三是敏感数据。PrivTab（paper）面向医疗、金融等包含个人信息的表格，把差分隐私（一种数学保证，使某个人是否被包含在数据中不会从结果中暴露）机制嵌入模型结构内部。它用模拟数据进行预训练，并报告称将适配数据集的时间缩短了 1 万倍，一次计算即可完成。

局限与争议：现在说谁赢了还为时过早

首先要看结果成立的条件。TabPFN（paper）的强劲结果来自不超过 1,000 行、数值列不超过 100 个、无缺失值、类别不超过 10 个的小表格条件。树模型优势研究（paper）确认树占优的，是 1 万行左右的中等规模数据。两者讨论的是不同的区间，不能用一方的结果去判断另一个区间。

成本结构也不同。提升树训练一次后，预测很轻量。而 TFM 虽然没有训练阶段，但每次预测都要处理整个上下文。数据流研究（paper）提到的高服务成本，以及激活对齐研究（paper）试图解决的上下文成本，正是这一点。对于行数多、预测请求频繁的服务，除准确率外还必须考量这项成本。

LLM 方法在示例极少时优势突出。TabLLM（paper）称可与梯度提升竞争，也附带了“尤其在答案示例非常少时”这一条件。还需考虑到，把行转换为文本的序列化方式不同，结果也会不同。总之，2021 年比较研究（paper）的结论，即“不存在总能获胜的单一方法”，仍是实际工作的出发点。

延伸阅读

如果是初学者，建议先读树模型优势研究（paper）。它从无用列、数据方向、不规则函数三个角度解释树为什么强，能帮你建立这一主题的全局地图。接着读 XGBoost（paper）的第 2 章，可以理解逐棵加树的原理和正则化目标函数。

深度学习方面的脉络，推荐表格数据深度学习比较研究（paper）。从中可以了解公平比较为何重要，以及 FT-Transformer 是什么。新方法方面，把 TabPFN（paper）和 TabLLM（paper）一起读，就能看出“用合成数据训练的 Transformer”与“利用语言知识的 LLM”之间的区别。

最新进展可以按实际关注点挑选。关心运营成本的话，读激活对齐研究（paper）和数据流研究（paper）；如果处理涉及个人信息的数据，则读 PrivTab（paper）。