决策森林的艺术解析

更新时间：2025-06-05 14:37  浏览量：1

随机森林算法是一种典型的集成学习方法，其定义是以决策树为基分类器，采用各种随机化措施来增强整体泛化能力的算法。随机森林主要指整个组合分类器由多棵树构成，即决策树。

随机森林的训练过程就像在培育一片真正的森林 - 每棵树都在不同的条件下生长，最终形成多样化的生态系统。

随机森林指训练每个基分类器的训练集，采用Bootstrap抽样方法随机抽取，在训练基分类器时使用的特征也是随机选择。甚至在决策树构造时，它的阈值都可以采用随机的阈值。这种随机化特性旨在使每个基分类器之间的独立性尽可能好，覆盖的数据分布尽可能全面。

这样经过投票器组合后的组合分类器泛化能力会比较强，过拟合现象能得到有效削弱。

随机森林算法的基础是决策树算法。接下来我们了解决策树分类器的基本规律。决策树是一种非常简单的原理和方法。

您是否玩过猜想游戏？例如，甲方手上有物品的名字，乙方可以提出各种问题，然而甲方只能回答是否，因此乙方通过一系列连续问题，通常可以猜测物品的名字。例如乙方可以先询问是否是食物，如果得到肯定回答，就询问是天然的物品等。这是决策树的典型案例。

要使用决策树分类器，首先需要构造出决策树。决策树的构造从根节点开始，该根节点代表整个样本集，然后在根节点上选择一个特征进行测试。其下属分支子节点则代表按照该特征的不同取值将样本集进行划分，持续至节点中仅包含同一类样本。

若没有合适的特征可用于测试或者再次划分后两个子集差别太小，达到这三个条件为止。此时无分支的节点则为叶节点，代表的类别为样本中样本数量最多的那一类，也可能只包含一类。

用决策树进行分类时，则将待分类的样本按照决策树的特征测试顺序进行测试，最后落入哪个叶节点，该样本便属于对应的那一类。

决策树就像一位经验丰富的侦探，通过一系列精心设计的问题，逐步缩小可能性范围，最终找到真相。

决策树分类器具有以下特点：

首先，它采用监督学习模式，只有了解训练集中每个样本的类别标签，才能构造出决策树。其次，决策树分类器的训练和分类非常高效，每级测试仅使用一个最有效的特征，因此分类决策规则非常明确清晰，具有可解释性。

第三，在理论上，我们可以根据每个样本与其他样本在特征上的细微差别构造出能精确分类所有训练集样本的决策树。然而，这个树的深度非常深，并且泛化能力较差。

因此在构造决策树时，每一级节点的测试特征都需要从所有特征中选择出最有效的一个。所谓有效是指分裂后的两个子节点，它们对应样本集的纯度最高以及紧致性最好的机会。

由于决策树并不要求样本集各个维度的特征具有同质性，因此一般无法用基于距离的指标衡量样本集划分结果的紧致性，而是用熵的概念度量每个总样本集具体的指标。

随机森林算法基于决策树的单点方法，其基本流程是首先对原始训练集采用Bootstrap抽样方法，得到多个彼此独立又同分布的训练子集。在训练集准备上引入随机性，基于每个训练子集构造出一棵决策树。

在随机森林算法中，使用的算法是基尼指数作为特征选择指标。然而在这一步，随机森林算法再次引入随机性，即所使用的供选择特征，并非样本集全部特征维度，而只是随机抽取出的一小部分特征。这使得决策树之间的相关性进一步减弱，过拟合的风险也进一步减小。

多样性不是缺陷，而是力量的源泉

构造完所有决策树之后，组合分类器的分类决策结果是各个决策树分类输出进行投票得到的结果，这种组合策略使得组合分类器的输出方差得到缩减。随机森林算法使用的是CART分类器，简单高效的决策树，分类器的无偏性较好，同时引入了许多随机性抑制过拟合现象，提升了系统的泛化能力。