信息熵

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。本文介绍基本概念。 信息是用来消除事情的不确定性的，不确定性的减少量等于信息的信息量

信息熵是一种信息不确定性的度量，而两个随机变量分布匹配程度的度量可以使用KL散度。 KL散度是两个概率分布$P$和$Q$差别的非对称性的度量。 KL散度是用来度量使用基于$Q$的编码来编码来自P的样本平均所需的额外的比特个数

C4.5是机器学习算法中的另一个分类决策树算法，它是基于ID3算法进行改进后的一种重要算法，相比于ID3算法，改进有如下几个要点： 用信息增益率来选择属性。ID3选择属性用的是子树的信息增益，这里可以用很多方法来定义信息，ID3使用的是熵（entropy， 熵是一种不纯度度量准则），也就是熵的变化值，而C4.5用的是信息增益率。 在决策树构造过程中进行剪枝，因为某些具有很少元素的结点可能会使构造的决策树过适应（Overfitting），如果不考虑这些结点可能会更好

采矿方法的选择是矿山企业众多生产经营决策中最重要的决策之一。为了确保决策结果科学有效，基于博弈论和逼近理想解排序法（TOPSIS）基本理论，运用层次分析法（AHP）和信息熵法分别计算评判指标权重，并利用博弈论集结模型对各单一权重计算方法所得结果进行加权集结得出评判指标综合权重，然后运用基于相对熵的TOPSIS模型计算各采矿方法的相对贴近度。最后，针对矿山拟选用的4种采矿方法，运用层次分析法（AHP）基本原理从经济、技术和安全3个方面选取采充成本、矿石回收率和矿石贫化率等10个重要指标建立采矿方法优选综合评判指标体系，并计算出这4种采矿方法的相对贴近度分别为0.420，0.401，0.492，0.115，得出采矿方法3最优

信息熵是一种信息不确定性的度量，而两个随机变量分布匹配程度的度量可以使用KL散度。 KL散度是两个概率分布$P$和$Q$差别的非对称性的度量。 KL散度是用来度量使用基于$Q$的编码来编码来自P的样本平均所需的额外的比特个数