神经网络里有个很常见但也经常让人迷糊的词，“激活函数”。比如 ReLU、Tanh、Sigmoid，这些名字你可能都听过，但它们到底是干嘛的、为什么这么重要，很多人其实并不太清楚。

在这期的视频中 AI 科普达人 New Machina 仍以深入浅出的方式向大家介绍激活函数的基本功能，以及 5 个常见的激活函数。

简单来说，激活函数的作用就是让神经网络变得更灵活，能看懂更复杂的数据。如果没有激活函数，神经网络其实就和普通的线性模型没啥两样，很多复杂的东西都搞不定。因此，在每个神经元在处理信息时，先把输入加权相加，再加个偏置，最后经过激活函数决定要不要把信号传到下一层。

几种常见的激活函数各有特色。Sigmoid 输出值在 0 到 1 之间，S 形曲线，很适合二分类，但容易让网络学习变慢。Tanh 跟 Sigmoid 有点像，但输出在 -1 到 1 之间，通常收敛得更快，不过也有梯度消失的问题。ReLU 用得很广，输入是正数就原样输出，负数就给 0，这样能让网络训练得更快，但有时候神经元会“失活”，就是一直输出 0。Leaky ReLU 算是 ReLU 的改进版，负数那边也给个很小的斜率，不至于完全“罢工”。还有 Softmax，主要用在多分类的输出层，把一堆分数转成概率。

不同函数适合不同场景。Sigmoid 一般用在二分类的输出层，Tanh 常见于浅层网络的隐藏层，深层网络的隐藏层多半用 ReLU。如果遇到神经元失活的问题，可以试试 Leaky ReLU。多分类输出就上 Softmax。

选对激活函数，对神经网络的表现很关键。实际用的时候，往往需要根据问题和数据的特点多试几种，找到最适合自己的那个。

#AI技术[超话]##激活函数##AI生活指南##AI创造营# http://t.cn/AX7VdZBl