信息熵

信息熵是一种信息不确定性的度量，而两个随机变量分布匹配程度的度量可以使用KL散度。 KL散度是两个概率分布$P$和$Q$差别的非对称性的度量。 KL散度是用来度量使用基于$Q$的编码来编码来自P的样本平均所需的额外的比特个数