minibatch
开一个我的github传送门,可以看到代码
开一个我的github传送门,可以看到代码。 普通的梯度下降法GradientDescent(带minibatch)的模型训练过程: 对比普通的梯度下降GD、动量梯度下降法momentum、Adam三种方法可知: GD和momentum的准确率accuracy都为0.797,Adam的准确率为0.94。这说明在相同的迭代次数即时间花费下,Adam的收敛速度最快,对算法的效率有明显提升