朴素贝叶斯(native Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。
对于给定的训练集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对于给定的输入$$x $$,利用贝叶斯定理求出后验概率最大的输出$$y$$。
朴素贝叶斯法通过对给定的输入$$x$$,通过学习到的模型计算后验概率分布$$P(Y=c_k|X=x)$$,然后将后验概率最大的类作为$$x $$的输出。是条件概率分布(似然函数)。假定条件概率分布中的每个特征是条件独立的,则
这一假设使得朴素贝叶斯法变得简单,但是会牺牲一定的分类准确率。
于是代入,可以得到:
朴素贝叶斯法属于生成模型(模型给定了输入$$X$$产生输出$$Y$$的生成关系,区别于判别模型)
则在$$X=x$$条件下,求得期望风险最小化,
然后条件概率对于所有可能的类标签总和为1,即$$\displaystyle\sum_{k=1}^KP(c_k|X=x)=1$$,于是得到:
转换成求最大:
这样便是在0-1损失函数的情况下,期望风险最小化准则得到了后验概率最大化准则,即朴素贝叶斯法的原理。