激励函数

3.3 快速搭建回归神经网络 3.3 快速搭建回归神经网络 Table of contents Torch 中提供了很多方便的途径 同样是神经网络 能快则快 我们看看如何用更简单的方式搭建同样的回归神经网络. 我们先看看之前写神经网络时用到的步骤. 我们用 net1 代表这种方式搭建的神经网络. 我们用 class 继承了一个 torch 中的神经网络结构 然后对其进行了修改 不过还有更快的一招 用一句话就概括了上面所有的内容! 我们会发现 net2 多显示了一些内容 这是为什么呢? 原来他把激励函数也一同纳入进去了 但是 net1 中 激励函数实际上是在 forward() 功能中才被调用的. 这也就说明了 相比 net2 net1 的好处就是 你可以根据你的个人需要更加个性化你自己的前向传播过程 比如(RNN). 不过如果你不需要七七八八的过程 相信 net2 这种形式更适合你. 所以这也就是在我 github 代码 中的每一步的意义啦.

将训练一个机器学习模型用于预测图片里面的数字. 数据集被分成两部分：60000行的训练数据集（mnist.train）和10000行的测试数据集（mnist.test） 把这些图片设为“xs”，把这些标签设为“ys” 训练数据集的图片是 mnist.train.images ，训练数据集的标签是 mnist.train.labels 可以得到输入图片 x ，[784]的向量，它代表的是数字 i 的证据可以表示: softmax函数可以看成是激励函数(activation)，把线性函数输出转换成想要的格式:关于10个数字的概率分布。 结合上面的evidence可以知道，evidence越大，正则化后的结果更大，就是权重更大。 进一步写成: