anoverviewofgradientdescentoptimizationalgorithms

梯度下降优化算法综述 该文翻译自Anoverviewofgradientdescentoptimizationalgorithms。 总所周知，梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state-of-the-art)机器学习库或者深度学习库都会包括梯度下降算法的不同变种实现