通常机器学习每一个算法中都会有一个目标函数

通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这个目标函数优化的过程。在分类或者回归问题中，通常使用损失函数（代价函数）作为其目标函数。损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的算法使用的损失函数不一样。

损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。通常表示为如下：

θ∗=argmin1N∑i=1NL(yif(xi;θi))+λΦ(θ)

0-1损失是指，预测值和目标值不相等为1，否则为0：

绝对值损失函数为：

逻辑斯特回归的损失函数就是对数损失函数，在逻辑斯特回归的推导中，它假设样本服从伯努利分布（0-1）分布，然后求得满足该分布的似然函数，接着用对数求极值。逻辑斯特回归并没有求对数似然函数的最大值，而是把极大化当做一个思想，进而推导它的风险函数为最小化的负的似然函数。从损失函数的角度上，它就成为了log损失函数。

log损失函数的标准形式：

最小二乘法是线性回归的一种方法，它将回归的问题转化为了凸优化的问题。最小二乘法的基本原则是：最优拟合曲线应该使得所有点到回归直线的距离和最小。通常用欧几里得距离进行距离的度量。平方损失的损失函数为：

AdaBoost就是一指数损失函数为损失函数的。

指数损失函数的标准形式：

这个式子和如下的式子非常像：

其中l(wxi+byi)就是hinge损失函数，后面相当于L2正则项。

Hinge函数的标准形式：

Eli发表在《tensorflow设置不同层不同学习率》