ktt

结论 - 最大熵模型就是softmax分类 - 在满足广义线性模型的平衡条件下，满足最大熵条件的模型映射函数就是softmax函数 - 在统计机器学习方法一书中，给出了在特征函数定义下的最大熵模型，其与softmax回归都属于对数线性模型 - 当特征函数从二值函数扩展为特征值本身时，最大熵模型就化为softmax回归模型 - 最大熵最大化的是条件熵，不是条件概率的熵，也不是联合概率的熵。 分析这个等式： 大白话：我们希望得到这么一个映射函数\(\pi\)，对某一维(j)特征，用所有样本被映射函数归为第u类的概率加权所有样本的特征值之和，等于第u类内所有样本的特征值之和。显然，最好的情况就是左右两个累加式内的元素完全一样，只有第u类的样本被累加，且第u类样本被映射函数归为第u类的概率为1，其他类样本被归为第u类样本的概率为0. 但是，这个等式非常的宽松，它只要求两个和式相同，并不要求每一个元素相同，而且这个式子没有显示的写出映射函数的表达式，任何满足该式的非线性映射都有可能称为映射函数