朴素贝叶斯法(与贝叶斯估计是不同的概念)是基于 贝叶斯定理与 特征条件独立假设的分类方法。
根据我在概率论的所学,参数估计的方法有矩估计和极大似然估计。
朴素贝叶斯法对条件概率分布做了条件独立性假设。这是一个比较强的假设。具体而言,条件独立性假设是:
朴素贝叶斯实际上是学习到生成数据的机制,属于生成模型。
条件独立假设等于是说:用于分类的特征在类确定的条件下都是条件独立的。
极大似然估计的思想就是要让我观测到的,一定是概率大的。于是演变为了求频率的样子。
,则条件概率的极大似然估计是(注意,这里算的是特征的条件概率)
对于给定实例,逐类别计算贝叶斯公式的分母;
用极大似然法估计可能会出现所要估计的概率值为0的情况,这会影响后验概率的计算结果。