momentnum

开一个我的github传送门，可以看到代码。 普通的梯度下降法GradientDescent(带minibatch)的模型训练过程： 对比普通的梯度下降GD、动量梯度下降法momentum、Adam三种方法可知： GD和momentum的准确率accuracy都为0.797，Adam的准确率为0.94。这说明在相同的迭代次数即时间花费下，Adam的收敛速度最快，对算法的效率有明显提升