信息熵是什么?什么是熵?

如题所述

第1个回答  推荐于2017-09-11
信息是个很抽象的概念。我们常常说信息很多,或者信息较少,但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。
熵表示物质系统状态的一个物理量(记为S),它表示该状态可能出现的程度。在热力学中,是用以说明热学过程不可逆性的一个比较抽象的物理量。孤立体系中实际发生的过程必然要使它的熵增加。追问

熵等同于概率吗?

追答

当然不等同!
概率是个数字,概率越大数字越大
熵指混乱度
熵增加原理指混乱度越来越大
越来越混乱

追问

混乱度?可以举个简单易于理解的使用熵例子吗?熵用于什么情况?

追答

一盒新火柴,不小心散落一地,就是熵增的过程

追问

只能用于离散事件吗?

追答

......任何自然规律吧

参考资料:http://baike.baidu.com/view/401605.htm

本回答被提问者采纳
第2个回答  2012-09-27
在信息论中,熵被用来衡量一个随机变量出现的期望值。它代表了在被接收之前,信号传输过程中损失的信息量,又被称为信息熵。信息熵也称信源熵、平均自信息量。
在1948年,克劳德·艾尔伍德·香农将热力学的熵,引入到信息论,因此它又被称为香农熵。

参考资料:wiki