一、信息熵
1. 信息熵提出背景
我们生活在一个信息爆炸的时代，从信息学的角度来说，人类进步的本质就是不断的打破信息的不对称性。我们讨厌不确定性，我们一生都在试图将所有的不确定性变成我们可能预测可能掌控的东西。
2. 什么是信息熵
在信息学中，对于接收者来说，发送者发送的信息是不确定的，所以对于接收者来说，他会接受到的信息是随机的，这里就引入了熵的概念。统计学中说熵的概念是一个系统可能存在的状态的个数的对数。虽然对于接收者来说，他可能接收的信息的个数是随机的，但是总是在一个范围内，他可能接收的信息的个数的对数就是信息熵。
3. 信息熵的公式
为了计算熵，我们需要计算所有类别所有肯能值所包含的期望值，事物的不确定越大，信息熵越大。
，其中 m 代表将事物分类的概率为k种， 代表了将事物分类为k类型的概率。
4. 信息熵使用场景
cart剪枝，一般有两种，利用基尼系数或信息熵。
5. 信息熵存在的问题
从信息熵的公式我们可以看到，信息越确定，信息熵越小。在生活场景中，像id之类的特征通过信息熵公式计算得到的信息熵很高，但是实际上这个特征对我们判断决策所起的作用很小，比如身份证号、手机号等信息。
二、条件熵
1. 条件熵提出背景
我们知道有的特征携带的熵很多，但是这个特征又真正对我要决策的事情有多大的重要性呢，这时候我们很容易想到条件概率，这时候我们引出了条件熵这个概念。
2. 什么是条件熵
条件熵 表示在已知随机变量X的条件下随机变量Y的不确定性。
3. 条件熵的公式
随机变量X给定的条件下随机变量Y的条件熵公式如下：
其中，
三、信息增益
1.信息增益提出背景
拿我们生活的场景来举个栗子， 比如闺蜜电话约我去逛街，提到我们逛街完了吃火锅，那天刚好下雪，然后我恰巧还来例假了，我这时候有两种决策，去或者不去。这里我们将上面场景中的信息概括下就是，买物品(买衣服？买包包？买鞋子？买花？买居家用品？)、吃饭（吃火锅？吃串串？吃小吃？吃披萨？）、天气（下雨？下雪？晴天？阴天？）；例假（是？否？），聊天，那么这么多特征中，哪些是决定我去或者不去的重要因素呢？如果单从信息熵的角度来看，那么哪个特征的属性越多，它的信息熵越大，重要性越大，事实却不是如此。对我来说，去的理由也许买物品不重要，吃什么也不重要，而我好长时间没有见到她了，想她了是真的，所以“聊天”这个特征决定我会做出赴约这个决策。串起来就是"在聊天这个特征条件下极大的增加了我做出赴约决策的确定性"。
2. 什么是信息增益
信息增益表示得知特征X的信息而使得类Y的信息不确定性减少的程度。
3. 信息增益公式
这里D是决策，A是条件特征
4. 信息增益的使用场景
信息处理中， ID3算法的核心是在决策树各个结点上对应信息增益准则选择特征，递归地构建决策树。
5. 信息增益存在的问题
从信息增益公式我们可以看到，前面唯一id特征信息熵的问题还是没有解决掉。那么有没有什么方法可以平衡id特征信息熵过大的问题，我们很容易想到将特征id自身的信息熵作为分母去平衡整个的计算结果，这时候就有人提出了信息增益率这个概念。
四、信息增益率
1. 信息增益率提出背景
信息增益率，其表示节点的信息与节点分裂信息度量的比值，增益率通常作为属性选择的方法之一
2. 什么是信息增益率
信息增益率，其表示节点的信息与节点分裂信息度量的比值，增益率通常作为属性选择的方法之一
3. 信息增益率公式
上图为盗图，解释的比较清楚，这里就不重复说了。
4. 信息增益率使用场景
C4.5算法就使用了信息增益率作为剪枝条件。
五、参考文献
https://www.cnblogs.com/ironan-liu/p/11769229.html