根据生物学上的神经元规律来看，一个神经单元拥有带权值的一个或多个输入，输出分为‘有输出/无输出’，带权值之和大于某个固定值则输出信号 所以，假设神经元输出为 y，固定值为 θ，输入信号的权值和输入信号的强度为 wn 和 xn 可得到如下表达式： w1*x1 + w2*x2 + ... wn*xn < θ => y=0 w1*x1 + w2*x2 + ... wn*xn > θ => y=1
数学上有一个 单位阶跃函数的定义，自变量大于0时，函数值为1；自变量小于0时，函数值为0，自变量为0时函数值为不确定或不定义 单位阶跃函数的数学定义如下： 结合神经单元的表达式，可得到 z = w1*x1 + w2*x2 + ... + wn*xn - θ 点火的数学表达式即可确定为 y = u(w1*x1 + w2*x2 + ... + wn*xn - θ)
由生物学中的神经元特性推导出深度学习中的神经单元模型 在生物学中，对每一组输入的权值求和，超过阈值即输出1（激发态，点火），否则输出0（静息态） 深度学习中的神经单元，使用激活函数来表示一个神经元在一定的输入下的激活状态，表达式如下 y = a(x1*w1 + x2*w2 + ... xn*wn + b) 上述表达式中的 a 即为激活函数，b 为偏置，越高则神经元越敏感 Sigmoid 是激活函数的代表，输出接近1表示兴奋度越高，接近0表示兴奋度越低
本文作者：Jeffrey Wang