AI 术语表 · 基础 · 经典机器学习、推荐与搜索
决策树
决策树是一种预测模型,它依次提出可以用“是/否”回答的问题来划分数据,并在最末端的分支给出答案。把多棵决策树组合起来、通过投票决定答案的方法称为随机森林。
关于这个术语
- 难度
- 基础 · AI 新闻中常见的技术术语
- 分类
- 数据、运维与平台
- 加入时间
- 2026-10-08
工作原理
训练时,模型会挑选能把数据划分得最干净的问题。划分后的每个组内,答案相同的数据聚集得越多,这个问题就越好。对划分出的每个组再寻找最佳问题、继续分枝,直到无需再分或达到预设深度时停止。最末端的叶子(叶节点)中存放的是“批准/拒绝”这类分类结果,或“预计金额”这类数值预测。新数据从根部开始逐一回答问题向下走,得到所到达叶子的答案。
为什么重要
由于模型的判断过程可以直接读成“满足这个条件就走这边”的规则,它在需要解释判断依据的金融、医疗和公共领域尤其受欢迎。它所需的预处理(如统一数值尺度)较少,也能很好地处理数值与类别混合的数据。更重要的是,决策树是随机森林和梯度提升的基本部件,是理解表格数据机器学习的起点。
用随机森林弥补弱点
单棵决策树越深,就越容易连训练数据中的偶然特征也记住,从而过拟合;而且数据稍有变化,树的形状就会大幅改变。随机森林随机选取部分数据和部分候选问题,构建多棵彼此略有不同的树,然后分类任务以投票、数值预测以平均来决定答案。各棵树的错误相互抵消,结果稳定得多;而且这些树可以同时构建,训练也很快。相比之下,梯度提升的不同之处在于按顺序叠加树,用后面的树弥补前面树的误差。
单棵树 vs 森林 vs 提升
决策树一棵树
- 规则可以直接读懂
- 容易过拟合
- 数据稍有变化,形状就大幅改变
随机森林多棵独立构建的树投票
- 随机构建多棵不同的树
- 错误相互抵消,结果稳定
- 可同时构建,速度快
梯度提升按顺序叠加的树
- 弥补前面树的误差
- 在表格数据上准确性高
- 参数调整较为棘手
공통 都以用“是/否”问题划分数据的树为基本部件
注意事项
使用单棵树时,需要通过限制深度或剪掉不必要分支的“剪枝”来防止过拟合。像随机森林那样树变多之后,准确性和稳定性会提高,但难以像单棵树那样一眼读懂规则。这时可以借助显示哪些字段在判断中被大量使用的特征重要性来补充解释。对于图像或句子这类没有结构的数据,深度学习往往更合适。
示例
银行利用贷款申请人的收入、现有贷款、逾期记录等信息构建决策树,得到像“是否有逾期记录 → 负债相对收入是否过高”这样可读的审核规则,并在向客户解释审核结果时使用。需要更高准确性时,则用同样的数据训练随机森林,用于客户流失预测、次品识别、疾病风险分类等问题。