欢迎您光临本公司官方网站!
全国服务热线:13713845237

行业新闻

主页 > 行业信息 > 行业新闻 >

决策树实战项目-鸢尾花分类

2020-11-12 04:19来源:本站 作者:admin点击:

  决策树是机器学习中一种简单而又经典的算法。本次实验将带领了解决策树的基本原理并学习使用 scikit-learn 来构建一个决策树分类模型最后使用此模型预测鸢尾花的种类。

  本课程难度为一般属于初级级别课程适合具有 Python 基础并对机器学习中决策树算法感兴趣的用户。

  决策树是一种特殊的树形结构一般由节点和有向边组成。其中节点表示特征、属性或者一个类•。而有向边包含有判断条件•。如图所示决策树从根节点开始延伸经过不同的判断条件后到达不同的子节点。而上层子节点又可以作为父节点被进一步划分为下层子节点。一般情况下我们从根节点输入数据经过多次判断后这些数据就会被分为不同的类别••。这就构成了一颗简单的分类决策树•。

  我们将决策数的思想引入到机器学习中就产生了一种简单而又经典的预测方法 —— 决策树学习Decision Tree Learning亦简称为决策树。决策树可以用来解决分类或回归问题分别称之为分类树或回归树。其中分类树的输出是一个标量而回归树的一般输出为一个实数。

  通常情况下决策树利用损失函数最小的原则建立模型然后再利用该模型进行预测。决策树学习通常包含三个阶段特征选择、树的生成树的修剪。

  特征选择是建立决策树之前十分重要的一步。如果是随机地选择特征那么所建立决策树的学习效率将会大打折扣。举例来讲银行采用决策树来解决信用卡审批问题判断是否向某人发放信用卡可以根据其年龄、工作单位、是否有不动产、历史信贷情况等特征决定。而选择不同的特征后续生成的决策树就会不一致这种不一致最终会影响到决策树的分类效率。

  通常我们在选择特征时会考虑到两种不同的指标分别为信息增益和信息增益比。要想弄清楚这两个概念我们就不得不提到信息论中的另一个十分常见的名词 —— 熵。

  上面这段定义读起来很拗口也不是特别容易理解。那么下面我使用更通俗的语言概述一下。简单来讲每一个特征针对训练数据集的前后信息变化的影响是不一样的信息增益越大即代表这种影响越大。而影响越大就表明该特征更加重要。

  当我们了解信息增益的概念之后我们就可以学习决策树的生成算法了•。其中最经典的就数 John Ross Quinlan 提出的 ID3 算法这个算法的核心理论即源于上面提到的信息增益。

  ID3 算法通过递归的方式建立决策树。建立时从根节点开始对节点计算每个独立特征的信息增益选择信息增益最大的特征作为节点特征。接下来对该特征施加判断条件建立子节点。然后针对子节点再此使用信息增益进行判断直到所有特征的信息增益很小或者没有特征时结束这样就逐步建立一颗完整的决策树。

  ID3 和 C4.5 算法简单高效但是他俩均存在一个缺点那就是用•“完美去造就了另一个不完美”。这两个算法从信息增益和信息增益比开始对整个训练集进行的分类拟合出来的模型针对该训练集的确是非常完美的••。但是这种完美就使得整体模型的复杂度较高而对其他数据集的预测能力就降低了也就是我们常说的过拟合而使得模型的泛化能力变弱。

  决策树的修剪其实就是通过优化损失函数来去掉不必要的一些分类特征降低模型的整体复杂度。修剪的方式就是从树的叶节点出发向上回缩逐步判断•。如果去掉某一特征后整棵决策树所对应的损失函数更小那就就将该特征及带有的分支剪掉。

  由于 ID3 和 C4•.5 只能生成决策树而修剪需要单独进行这也就使得过程更加复杂了。1984年Breiman 提出了 CART 算法使这个过程变得可以一步到位。CART 算法本身就包含了决策树的生成和修剪并且可以同时被运用到分类树和回归树。这就是和 ID3 及 C4.5 之间的最大区别。

  CART 算法在生成树的过程中分类树采用了基尼指数Gini Index最小化原则而回归树选择了平方损失函数最小化原则。基尼指数其实和前面提到的熵的概念是很相似的。简单概述区别的线c;就是数值相近但不同而基尼指数在运算过程中的速度会更快一些。

  CART 算法也包含了树的修剪。CART 算法从完全生长的决策树底端剪去一些子树使得模型更加简单。而修剪这些子树时是每次去除一颗逐步修剪直到根节点从而形成一个子树序列。最后对该子树序列进行交叉验证再选出最优的子树作为最终决策树•。

  如果你感觉理论看起来比较费劲不用担心。接下来就带领你用非常少的代码量来构建一个决策树分类模型实现对鸢尾花分类。

  鸢尾花数据集是机器学习领域一个非常经典的分类数据集。接下来我们就用这个训练集为基础一步一步地训练一个机器学习模型。首先我们来看一下该数据集的基本构成。数据集名称的准确名称为Iris Data Set总共包含 150 行数据。每一行数据由 4 个特征值及一个目标值组成。其中 4 个特征值分别为萼片长度、萼片宽度、花瓣长度、花瓣宽度。而目标值及为三种不同类别的鸢尾花分别为Iris SetosaIris VersicolourIris Virginica。

  你可以通过著名的 UCI 机器学习数据集网站下载该数据集。本实验中为了更加便捷地实验。我们直接实验 scikit-learn 提供的方法导入该数据集即可。打开实验环境右下角的菜单 附件 ipython依次键入代码。

  你会发现这些数据是按照鸢尾花类别的顺序排列的。所以如果我们将其直接划分为训练集和数据集的线c;就会造成数据的分布不均。详细来讲直接划分容易造成某种类型的花在训练集中一次都未出现训练的模型就永远不可能预测出这种花来。你可能会想到我们将这些数据大乱后再划分训练集和数据集。当然更方便地scikit-learn 为我们提供了训练集和数据集的方法•。

  现在你会发现花的种类已经变成了乱序状态并且只包含有整个训练集的 70% 数据。

  划分完训练集和测试集之后我们就可以开始预测了•。首先是从 scikit-learn 中导入决策树分类器。然后实验 fit 方法和 predict 方法对模型进行训练和预测•。

  当然我们可以通过 scikit-learn 中提供的评估计算方法查看预测结果的准确度•。

  你可以看出两种准确度方法输入参数的区别。一般情况下模型预测的准确度会和多方面因素相关。首先是数据集质量本实验中我们使用的数据集非常规范几乎不包含噪声所以预测准确度非常高•。其次模型的参数也会对预测结果的准确度造成影响•。

  首先通过决策树的原理加深了对介绍机器学习中决策树算法的理解。并采用 scikit-learn 中提供的决策树分类器构建预测模型实现对鸢尾花进行分类。

  weixin_40400738•:有张图片显示不了,可以问一下是通过霍克斯过程的什么性质降低了计算的复杂度哇

  donggua冬瓜:超棒的博客!翻了这么多终于翻到一篇如此详细的介绍VAR模型的博客了•,感谢!

99真人