决策树-测量纯度

如果一个纯度在全是猫和非猫之间我们如何定义这个纯度呢我们看看熵的定义他是衡量样本集不纯度的一个指标我么你看这个图片左边是熵函数横轴代表的是一种占比宗哲则是熵值我们看左边的例子如果有个样本你3猫3狗则P10.5 在左边的图中对应的熵值是1说明这个样本相当的不纯如果有个样本你5猫1狗则P10.83 在左边的图中对应的熵值是0.65说明这个样本纯度有所提升如果有个样本你6猫0狗则P11 在左边的图中对应的熵值是0说明这个样本是纯的纯猫我们看一下熵函数的定义P0是非猫的比例 P01-P1下面是熵函数H(P1)的定义有一个叫做基尼准则的东西作用和这个差不多后面我们看一下如何根据这些东西在决策树的节点上根据什么特征来进行分割