AI 术语表 · 基础 · 经典机器学习、推荐与搜索
梯度提升
梯度提升是一种通过逐个依次添加小型决策树、让每棵新树去弥补前面各棵树的误差，从而构建强预测模型的技术。XGBoost、LightGBM、CatBoost 是其代表性实现。
关于这个术语
- 难度
- 基础 · AI 新闻中常见的技术术语
- 分类
- 数据、运维与平台
- 加入时间
- 2026-10-08
工作原理
首先从一个非常简单的预测（例如整体平均值）开始。计算实际值与预测值之间的差距，即误差，然后下一棵树学习的目标不是原始答案，而是这个误差。新树的预测并不是一次性全部加到已有预测上，而是一点点地（按学习率）加上去，逐步减小误差。将这一过程重复数百次，单个都很弱的树合在一起就成为精细的模型。名称中的“梯度”指沿着让损失函数下降最快的方向前进，相当于把梯度下降的思路应用到了树的叠加上。
弥补误差，逐步叠加树
直到误差充分减小
- 1当前预测
- 2计算误差
- 3训练新树
- 4一点点加上
- 1. 当前预测 起初为平均值等简单值
- 2. 计算误差 与实际值的差距
- 3. 训练新树 以拟合误差为目标
- 4. 一点点加上 按学习率计入
为什么重要
对于客户信息、交易记录、传感器数值这类按行和列整理的表格数据，它至今仍常常能达到与深度学习相当甚至更好的预测效果。因此，它在数据分析竞赛以及金融、电商一线被当作基本武器使用。它的训练和预测相对较快，还能显示哪些项目（特征）在预测中用得最多，因此结果也比较容易解释。无需大型 GPU、在普通服务器上也能运行，这在实际工作中也是一大优势。
注意事项
树叠加得太多或太深，就会连训练数据中的噪声都记住，产生过拟合。因此常用“早停”方法：当单独留出的验证数据上的性能不再提升时就停止训练。树的数量、深度、学习率等需要调整的设置项很多，相当费工夫。对于图像、文本、语音这类非结构化数据，深度学习通常更有优势；而且由于树必须按顺序叠加，它比同时构建多棵树的随机森林更难并行处理。
示例
电商公司会把客户的访问次数、最近购买日期、购物车使用记录等表格数据输入 XGBoost 或 LightGBM，预测“下个月可能流失的客户”，并向风险较高的客户发送优惠券。银行的贷款审核评分、广告点击预测、需求预测中也广泛使用梯度提升模型，并会同时报告特征重要性，用来解释为什么会得出这样的判断。