sigmoid

在神经网络最后的输出层，通常会使用激活函数将最后一层神经元得到的数据再进行计算，最终得到一个输出的结果，这里称该函数为激活函数，比对输出表达式为，当最后一层输出元得到的数据大于0，则输出1，小于0则输出0，这种称为阶跃函数，常见的激活函数有阶跃函数，sigmoid，ReLU，tanh函数 函数比较简单，但是通常情况下，我们输入的数一般不会只是简单的一个数，一般是一个向量，将上面的函数使用numpy模块进行一下改造。 y=x>0 利用numpy的广播功能，将numpy数组依次和0进行对比，当大于0的时候返回True，否则返回False再将True和False转换为int的0和1 阶跃函数在行为上表现的过于激进，更多的情况下我们希望在神经网络中得到一种更为平滑的输出，由其在分类问题中，比如我们一共可能有5种输出结果，我们希望在最后的激活函数中得到这5种结果的概率，取概率最大的那种可能结果，这时我们就不希望用到上面这种过于激进的函数，我们可以使用sigmoid函数。 版权声明： 本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。 本文为原创文章，未经本人允许，禁止转载。转载请注明出处

它的核心思想是，如果线性回归的结果输出是一个连续值，而值的范围是无法限定的，那我们有没有办法把这个结果值映射为可以帮助我们判断的结果呢。而如果输出结果是 (01) 的一个概率值，这个问题就很清楚了。我们在数学上找了一圈，还真就找着这样一个简单的函数了，就是很神奇的sigmoid函数(如下)： 如果把sigmoid函数图像画出来，是如下的样子： 假设你的一个朋友让你回答一道题

最近实验室在组织学习NG的机器学习视频，我也跟进了一下。讲到逻辑回归那一课，一直想不明白，逻辑回归到底是怎样分类的？逻辑回归的分类面在哪里？逻辑回归有像SVM的max margin那样清晰的推导过程吗？为什么需要Sigmoid函数？今天就让我们来一窥逻辑回归的始末。 假设有一堆学生样本，为了简单起见，只有两个特征，分别是两门课的分数score1和score2，类标号y表示这个学生是否能被录取

a.数据集太小，数据样本不足时，深度学习相对其它机器学习算法，没有明显优势。 b.数据集没有局部相关特性，目前深度学习表现比较好的领域主要是图像／语音／自然语言处理等领域，这些领域的一个共性是局部相关性。图像中像素组成物体，语音信号中音位组合成单词，文本数据中单词组合成句子，这些特征元素的组合一旦被打乱，表示的含义同时也被改变

根据生物学上的神经元规律来看，一个神经单元拥有带权值的一个或多个输入，输出分为‘有输出/无输出’，带权值之和大于某个固定值则输出信号 所以，假设神经元输出为 y，固定值为 θ，输入信号的权值和输入信号的强度为 wn 和 xn 可得到如下表达式： w1*x1 + w2*x2 + ... wn*xn < θ => y=0 w1*x1 + w2*x2 + ... wn*xn > θ => y=1 数学上有一个 单位阶跃函数的定义，自变量大于0时，函数值为1；自变量小于0时，函数值为0，自变量为0时函数值为不确定或不定义 单位阶跃函数的数学定义如下： 结合神经单元的表达式，可得到 z = w1*x1 + w2*x2 + ... + wn*xn - θ 点火的数学表达式即可确定为 y = u(w1*x1 + w2*x2 + ... + wn*xn - θ) 由生物学中的神经元特性推导出深度学习中的神经单元模型 在生物学中，对每一组输入的权值求和，超过阈值即输出1（激发态，点火），否则输出0（静息态） 深度学习中的神经单元，使用激活函数来表示一个神经元在一定的输入下的激活状态，表达式如下 y = a(x1*w1 + x2*w2 + ... xn*wn + b) 上述表达式中的 a 即为激活函数，b 为偏置，越高则神经元越敏感 Sigmoid 是激活函数的代表，输出接近1表示兴奋度越高，接近0表示兴奋度越低 本文作者：Jeffrey Wang

从第二层开始，每一个神经元都会获得它上一层所有神经元的结果。即每一个 y = wx + b的值。 具体分析如下： 如此下去就会非常可能出现了一个问题——就是越靠后的神经元获得的y值会非常大，试想一下，如果这个数远远大于它前面神经元的值，前面神经元对整个网络的表达就显得毫无意义

Logistic回归进行分类的主要思想是：根据现有数据对分类边界建立回归公式，以此进行分类。 优点：计算代价不高，易于理解和实现。 缺点：容易欠拟合，分类精度可能不高

本文为机器学习系统设计的好书 Machine Learning Design Patterns 中介绍的第六个模式：Multilabel pattern 的笔记。常见的例子像是帮一篇文章标上数个标签，或者预测一个人未来不同慢性病的患病几率等等。 在网络模型的最后一层用 sigmoid 就能让产生对于每个分类的几率