熵相关的一些概念

1. 信息量.

某事件 $p(x)$包含的信息量：

$$I(p) = \log \frac{1}{p(x)} = -\log p(x) \tag{1}$$

2. 熵 Entropy.

假设事件 $X$共有 $n$种可能，发生 $x_i$的概率为 $p(x_i)$，那么事件 $X$的熵定义为：

$$H(X) = E_{x\sim p(x)} [I(p(x))] = \sum_{i=1}^n p(x_i)I(p(x_i)) = -\sum_{i=1}^n p(x_i) \log p(x_i) \tag{2}$$

3. 条件熵 Conditional Entropy.

$$H(Y|X) = \sum_{i=1}^{n} p(x_i) H(Y|X=x_i) = -\sum_{i=1}^{n} p(x_i) \sum_{j=1}^{m} p(y_j|x_i) \log p(y_j|x_i) = -\sum_{i, j} p(x_i, y_j) \log \frac{p(x_i, y_j)}{p(x_i)} \tag{3}$$

4. 联合熵 Joint Entropy.

$$H(X, Y) = -\sum_{i, j} p(x_i, y_j) \log p(x_i, y_j) \tag{4}$$

当两个事件独立的时候：

$$H(X, Y) = -\sum_{i, j} p(x_i, y_j) \log p(x_i, y_j) = -\sum_{i, j} p(x_i, y_j) [\log p(x_i) + \log p(x_i)] = H(X) + H(Y) \tag{5}$$

5. 互信息 Mutual Information.

$$I(X, Y) = \sum_{i, j} p(x_i,y_j) \log \frac{p(x_i)p(y_j)}{p(x_i, y_j)} = I(Y, X) \tag{6}$$

6. 相互关系

A. 条件熵+互信息=熵

$$H(X) = H(Y|X) + I(X, Y) \tag{7}$$

B. 熵 + 条件熵 = 联合熵

$$H(X|Y) + H(Y|X) + I(X, Y) = H(Y|X) + H(X) = H(X, Y) \tag{8}$$

7. 差异度量

信息熵可以衡量已知一个事件后另一个事件中未知的信息量，未知的信息量越少则两个事件重合度越高，从而，信息熵可以拓展到度量两个分布的距离/差异。

A. 交叉熵 Cross Entropy

$$CE(X, Y) = \mathbb E_{x\sim P(x)} [I(q)] = \sum_{i=1}^{n} p(x) I(q(x)) = -\sum_{i=1}^{n} p(x) \log q(x) \tag{9}$$

交叉熵的**“交叉”体现在用真实分布概率 $p(x)$加权预测分布的信息量 $I(q)$**：

B. KL散度 Kullback-Leibler Divergence（相对熵Relative Entropy）

相对熵的关键在于相对，相对体现在真实分布与预测分布的概率之比 $\frac{p(x_i)}{q(x_j)}$，以真实分布概率加权

$$D_{KL}(p||q) = \sum_{i=1}^{n} p(x_i) \log \frac{p(x_i)}{q(x_i)}$$

$$D_{KL}(p||q) = \sum_{i=1}^{n} p(x_i) \log \frac{p(x_i)}{q(x_i)} = -\sum_{i=1}^{n} p(x_i) \log \frac{q(x_i)}{p(x_i)} = -\sum_{i=1}^{n} p(x_i) \log q(x_i) - (-\sum_{i=1}^{n} p(x_i) \log p(x_i)) = CE(P, Q) - H(P) \tag{10}$$

也即：KL散度 = 交叉熵 - 熵

在实际应用场景中，真实分布是确定的，故 H§ 是常数，所以 KL 散度与交叉熵仅相差一个常数，从而，在分类任务中，评估预测分布与真实分布的差异可以用交叉熵损失度量。这就是有监督多分类任务一般用交叉熵损失而不用 KL 散度作为目标函数优化的原因。

由 $\log \frac{p(x_i)}{q(x_i)}$可知，当预测分布q与真实分布p完全一致时, KL散度为0，预测越逼近真实分布则 KL 散度越小。

又由加权系数 $p(x_i)$可知，KL散度着重在真实分布中概率大的地方让预测逼近，极端情况下 $p(x_i)=0$处预测分布与真实分布的差异大小不予考虑。如上图例，着重让预测q在两峰逼近p，而忽略谷点。

a. 两个高斯分布的KL散度

$$D_{KL}(N(x;\mu_x, \Sigma_x) || N(y;\mu_y, \Sigma_y)) = \frac{1}{2}\left[\log \frac{|\Sigma_y|}{|\Sigma_x|} - d + tr(\Sigma_y^{-1} \Sigma_x) + (\mu_y - \mu_x)^T \Sigma_y^{-1} (\mu_y - \mu_x) \right] \tag{11}$$

C. KL散度和互信息的关系

$$D_{KL}(p||q) = \sum_{i=1}^{n} p(x_i) \log \frac{p(x_i)}{q(x_i)} \tag{12}$$

$$I(X, Y) = \sum_{i, j} p(x_i,y_j) \log \frac{p(x_i)p(y_j)}{p(x_i, y_j)} = I(Y, X) \tag{13}$$

$p = p(x,y)$， $q = p(x)p(y)$时，两个一样。

D. JS散度 Jensen-Shannon Divergence

$$D_{JS}(p||q) = \frac{1}{2} D_{KL}(p|| \frac{p+q}{2}) + \frac{1}{2} D_{KL}(q|| \frac{p+q}{2}) \tag{14}$$