信息熵

文章目录

1. 1. 信息熵的公式
2. 2. 理解

Huffman编码树

1. 1. 应用
2. 2. 参考资料

信息熵的公式

计算信息熵的公式为:

\[ H(x)=-\sum p(x_i)logp(x_i) \]

其中\(p(x_i)\)表示事件结果为\(x_i\)的概率

理解

信息熵表示对事件不确定性的一个度量，计算思路为“编码一个事件的最短平均编码长度”（任意进制编码都行，彼此差一个常数，但常用的是二进制以及自然对数）

所以信息熵的计算也可以写作：

\[ H(x)=\sum p(x_i)f(x_i) \]

其中\(p(x_i)\)表示事件结果为\(x_i\)的概率，\(f(x_i)\)为编码\(x_i\)需要的位数（这也是为什么在比较概率分布的时候，会选择用拟合的概率来计算\(f(x_i)\)）

Huffman编码树

类比哈夫曼树，根据贪心思想，

• 出现概率大的结果应该占据相对短的编码
• 编码结果的种类和编码位数是指数级关系

所以我们得到

\[ f(x_i)=-logp(x_i) \]

代入就得到了最终形式。

应用

• KL散度
• 交叉熵损失

参考资料