链式法则

一个深度神经网络的权重参数有可能会达到百万级，权重的梯度计算非常耗时，反向传播是一种非常高效的梯度算法。 一个神经网络中的所有权重参数可以表示为： J(w)是代价函数，权重的梯度可以表示为： 训练时，权重值的调整可以表示为： 反向传播算法充分利用数学中的链式求导法则。 利用链式求导法则，计算代价函数相对于某个权重的偏导数（梯度），可以转化为这个权重之后所有层次的偏导数的表达式

循环神经网络（Recurrent Neural Networks）是目前非常流行的神经网络模型，在自然语言处理的很多任务中已经展示出卓越的效果。但是在介绍 RNN 的诸多文章中，通常都是介绍 RNN 的使用方法和实战效果，很少有文章会介绍关于该神经网络的训练过程。 循环神经网络是一个在时间上传递的神经网络，网络的深度就是时间的长度