神经网络激活函数=生物转换器？

啊~昨晚躺了一个小时竟然没有睡着，美容觉泡汤了...于是竟然大半夜起来写了这篇文章

在《逻辑回归到神经网络》中，小夕让神经网络冒了个泡。在《一般化机器学习与神经网络》中，将神经网络这一火热的模型强制按回机器学习一般框架里。在《BP算法的本质》里，详细的阐述了BP算法的本质与目标。

好啦~这一篇回到简单、纯粹的状态，我们来一起戳一戳可爱的神经细胞。

学生物的人眼里的神经细胞：

学数学与机器学习的人眼里的神经细胞：

看，其实神经元就是一个小小的生命，它会用树突接收外面世界的多维信息，然后在它小小的脑袋里计算一下，来对当前外面的世界作出一个反应，这个反应通过轴突传递出去。

看，是不是也很像一个小小的机器学习模型呢？一个将多维的输入X转换成输出信号y的小模型。

那么，假如我们发现了好几堆（层）可爱的神经元，并且惊讶的发现它们可以交互信息，一起完成任务，但是我们并不知道它们之间怎么连接的。那怎么办呢？

我们当然可以给它们两两之间分配一条线呀。这个线就代表两个神经元之间的连接强度，如果两个神经元之间没有连接，这根线的值就是0，连接的越紧密，值就越大。

看。

这么多可爱的神经元一起工作的时候，在数学家眼里，其实并不复杂：

前一层的神经元的轴突（输出信号）与下一层的神经元的树突（输入）的信号传递过程，其实就是一个线性映射的过程。

前一层神经元们的信号经过线性映射，传递到下一层的神经元树突那里后，当然下一步就是经过神经元的细胞体啦。

而生物学上的神经元细胞体是干什么的呢？当然就是将树突的信号转换成轴突的信号啦。所以，它是一个生物信号的转换器！

而我们知道，多个线性映射叠加之后依然是线性映射。所以哪怕你叠加再多的线性映射，整体的函数依然是个线性函数，这也太鸡肋啦。所以细胞体决不能同流合污，它要完成复杂而神秘的信号转换，也就是数学上的非线性映射！

而非线性映射的灵活度就一下子无限大了，有无数的非线性函数可以完成这个非线性映射的过程：

比如，Sigmoid函数：

 tanh函数：

Hard tanh函数：

Soft sign函数：

ReLU函数：

Leaky ReLU函数：

其中0<k<1。

没错，这些单调上升的非线性函数都可以当做神经网络的激活函数，在不同的任务中，总有一个在该任务中表现最好的激活函数。

所以，将视角拉的更远一些：

那么有没有一个通用的最优激活函数呢？

只能等生物学家把神经元的细胞体研究透彻着再说啦。

所以，激活函数的选择，准确的说是构造，目前就是一个黑匣子。所以很难解释清楚为什么ReLU函数在图像相关的任务中往往表现的比广为人知的Sigmoid、tanh更好，恐怕只有你体内的神经元自己知道啦~快想办法让它告诉你呀~ 

同样的道理，为什么非要选择单调上升的函数呢？就不能用y=sin(x)这种非单调的吗？就不能用单调下降的吗？

答：首先是激活函数的生物学依据，激活函数模仿的也是神经细胞的实验特性——当树突的输入足够强时，就会让细胞体兴奋，从而在轴突输出一个兴奋信号。而当细胞体对树突的输入不感兴趣或者它认为不够强时，就处于抑制态，在轴突输出的信号很弱，或者说相当于输出电路中的低电平。除此之外，就是依靠大量面向任务的选择经验+少量感性推理+少量理性推理。也就是说，这个问题并没有被严谨的否决，所以不要轻易说不可以哦。

而具体的什么函数在什么领域，什么任务中表现的好，大家就自己去积累经验吧。也有很多博客和论文有讲这些经验性的trick。比如在斯坦福大学的CS224D课程(自然语言处理与深度学习)中，就有较为详细的讲解。

下面这个是CS224D的中文笔记（不是我记的），这篇文章里的激活函数的公式和仿真图也是从这里直接抠出来的。作者笔记里还有这些激活函数的导函数等，建议没时间刷视频的可以看这个笔记：

http://blog.csdn.net/han_xiaoyang/article/details/51711134

还有一篇文章也比较有营养：

http://www.cnblogs.com/pinard/p/6437495.html

还有一篇论文，数学差的就要慎重些了：

Mhaskar H N, Micchelli C A. How to choose an activationfunction[J]. Advances in Neural Information Processing Systems, 1994: 319-319.