1948年，香农提出了 “信息熵（entropy）”的概念
信息熵是消除不确定性所需信息量的度量，即未知事件可能含有的信息量。通俗的讲信息熵是用来衡量信息量的大小。
信息熵是代表随机变量的复杂度（不确定度），条件熵代表在某一个条件下，随机变量的复杂度（不确定度）
例子：
信息增益 = 信息熵 - 条件熵
信息增益代表了在一个条件下，信息复杂度（不确定性）减少的程度
上面例子的 得知身高信息 后，信息增益为（我们知道信息熵与条件熵相减就是我们的信息增益）：
1 - 0.103 = 0.897
所以我们可以得出我们在知道了身高这个信息之后，信息增益是0.897