选择分割，信息增益-决策树

在决策树中有想要进行分裂有一个人重要的一点就是我这个节点中应该放置什么特征来进行分裂呢对于这个例子而言是耳朵还是脸型还是胡须我们不知道这个时候就要计算信息增益就是在这一个小分支中从父节点到子节点他们的纯度变化的怎么样我们通过枚举挨个把三个特征都作为决策树的根节点测试一下第一个图我们呢用耳型把一个10个样本5猫5狗的样本分成了两个分支左分支和有分支1我们分别计算两个分支的纯度在计算两个分支的熵然后让他们加权平均 最终得到一个经过两个分支加权平均后的熵然后我们计算父节点的熵用父节点的熵减去下面分支中的熵就得到了计算熵现在有一个问题我们找到最小的加权熵就好了为什么要算 计算熵呢是因为这样的咋机器学习中我们有一个停止条件是如果熵的减少量太小小于某个阈值我们就要决策树停止分裂以第一个图片为例子父节点猫的纯度是 5/100.2 10个样本5个猫左分支 5个样本4个猫纯度是 4/50.8 熵是H(0.8)0.72右分支 5个样本1个猫纯度是 1/50.2 熵是H(0.2)0.72然后我们呢进行加权平均权重是 左右分支的样本数在总样本数中的占比 也叫 W左W右W左5/100.5W右5/100.5加权熵是 0.5*0.720.5*0.720.72熵变化是 父节点的熵-子节点的熵1-0.720.28然后我们就得到了熵的变化同理我们就可以计算出其他两个加点的熵变化这样我们找到熵变化最大的那一个就是我们要找的根节点应该写什么特征下面的通用地 公式所有的纯度P都是正样本的纯度也就是猫的纯度。