贝叶斯

贝叶斯估计是贝叶斯学派估计未知参数的主要方法，与频率学派相比，贝叶斯学派最主要的观点就是未知量是一个随机变量，在进行抽样分布之前，未知量有自己的分布函数，即所谓的先验分布。而贝叶斯估计也就是通过引入未知量的先验分布来将先验信息和传统频率学派的总体信息和样本信息结合起来，得到一个未知量的后验分布，然后对未知量进行统计推断。 关于未知量是否可看作随机变量 在经典学派与贝叶斯学派 间争论了很长时间，后来这一观点渐渐被经典学派认同

朴素贝叶斯（native Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法。 对于给定的训练集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对于给定的输入$$x $$，利用贝叶斯定理求出后验概率最大的输出$$y$$。 朴素贝叶斯法通过对给定的输入$$x$$，通过学习到的模型计算后验概率分布$$P(Y=c_k|X=x)$$，然后将后验概率最大的类作为$$x $$的输出

最小二乘法在统计学的地位不必多言。本文的目的是全面地讲解最小二乘法，打好机器学习的基础。本文主要内容是最小二乘法的思想及在线性回归问题中的应用

提到马尔可夫毯，就会有一堆从名字上看很相近的概念，比如马尔可夫链（Markov Chain MC）、隐马尔可夫模型（Hidden Markov Model HMM）、马尔可夫随机场（MarkovRandom Field MRF）等等。其实，马尔可夫毯与这些概念不同，它是一个局部的概念，而不是一个整体模型级别的概念。以下内容主要参考【何宪. 基于贝叶斯网络的马尔可夫毯发现算法研究[D]. 电子科技大学 2012.】，更多内容请参阅原文献