Welcome to bg51717's Wiki and Blog
信息熵 信息熵
信息熵的公式 计算信息熵的公式为: \[ H(x)=-\sum p(x_i)logp(x_i) \] 其中\(p(x_i)\)表示事件结果为\(x_i\)的概率 理解 信息熵表示对事件不确定性的一个度量,计算思路为“编码一个事件的最短平均编