熵是什么？信息熵是什么
熵是物理学中的概念，是指系统混沌状态的一种量化指标。熵的大小与系统混沌程度正相关，也就是系统越混沌，熵值越大，反之，亦然。
## 信息熵
表征信息不确性的指标。与信息的不确定性相关，信息熵越大，信息的不确定性越大。
## 信息熵是怎么计算的？
涉及到信息论的内容，也就是信息编码问题。信息要全部表示完，共需多少个编码？或者说需要个二进制位数。
香农给出了理论也就是：
$$L(x)=log_2(1/p(x))$$
L表示所需要的二进制位，p(x)表示发生的概率。
通过此公式，可以计算出某种概率的结果所需要的二进制位。
知道了二进制位数，那么信息的平均编码长度是多少呢
$$H(x) = \sum_{x}(p(x)*L(x))$$
也就是最优的编码长度。
## 参考文献
1. [信息论入门教程](http://www.ruanyifeng.com/blog/2019/08/information-theory.html)
2. [markdown公式表示](https://www.jianshu.com/p/e74eb43960a1)
版权声明：本文为khldragon原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。