sigmod激活函数（sigmod激活函数的导数）



函数表达式：

优点：

1. 是一个便于求导的平滑函数；
2. 能压缩数据，使输出保证在之间（相当于对输出做了归一化），保证数据幅度不会有问题；(有上下界)
3. 适合用于前向传播，但是不利于反向传播。

缺点：

1. 容易出现梯度消失(gradient vanishing)，不利于权重更新；
2. 不是0均值（zero-centered）的，这会导致后层的神经元的输入是非0均值的信号，这会对梯度产生影响。以 f=sigmoid(wx+b)为例， 假设输入均为正数（或负数），那么对w的导数总是正数（或负数），这样在反向传播过程中要么都往正方向更新，要么都往负方向更新，导致有一种捆绑效果，使得收敛缓慢。
3. 指数运算，相对耗时。

hard-Sigmoid函数时Sigmoid激活函数的分段线性近似。

函数公式：

优点：

1. 从公示和曲线上来看，其更易计算，没有指数运算，因此会提高训练的效率。

缺点：

1. 首次派生值为零可能会导致神经元died或者过慢的学习率。

函数表达式：

Tanh函数图像及其导函数图像:

优点：

1. 解决了Sigmoid函数的非zero-centered问题
2. 能压缩数据，使输出保证在之间（相当于对输出做了归一化），保证数据幅度不会有问题；(有上下界)

缺点:

1. 还是容易出现梯度消失(gradient vanishing)，不利于权重更新；
2. 指数运算，相对耗时。

函数表达式：

优点:

1. ReLu的收敛速度比 sigmoid 和 tanh 快；
2. 输入为正时，解决了梯度消失的问题，适合用于反向传播。；
3. 计算复杂度低，不需要进行指数运算；

缺点:

1. ReLU的输出不是zero-centered；
2. ReLU不会对数据做幅度压缩，所以数据的幅度会随着模型层数的增加不断扩张。(有下界无上界)
3. Dead ReLU Problem（神经元坏死现象）：x为负数时，梯度都是0，这些神经元可能永远不会被激活，导致相应参数永远不会被更新。（输入为负时，函数存在梯度消失的现象）

函数表达式：

函数表达式：

1. 解决上述的dead ReLU现象， 让负数区域也会梯度消失；

理论上Leaky ReLU 是优于ReLU的，但是实际操作中，并不一定。

函数公式：

注意：

• , 变为ReLU
• , 变为Leaky ReLU
• 是可学习的参数, 变为PReLU

1. 可以避免dead ReLU现象；
2. 与ELU相比,输入为负数时不会出现梯度消失。

函数表达式：

ELU函数图像及其导数图像（）：

优点：

1. 有ReLU的所有优点，且没有Dead ReLU Problem（神经元坏死现象）；
2. 输出是zero-centered的，输出平均值接近0；
3. 通过减少偏置偏移的影响，使正常梯度更加接近自然梯度，从而使均值向0加速学习。

缺点：

1. 计算量更高了。

理论上ELU优于ReLU, 但是真实数据下，并不一定。

SELU就是在ELU的基础上添加了一个参数，且

函数表达式：

ELU函数图像和SELU函数图像对比()：

SELU函数图像及其导数图像（）：

1. 以前的ReLU、P-ReLU、ELU等激活函数都是在负半轴坡度平缓，这样在激活的方差过大时可以让梯度减小，防止了梯度爆炸，但是在正半轴其梯度简答的设置为了1。而SELU的正半轴大于1，在方差过小的时候可以让它增大，但是同时防止了梯度消失。这样激活函数就有了一个不动点，网络深了之后每一层的输出都是均值为0，方差为1.

函数表达式：

Swish函数图像()：

Swish函数梯度图像()：

优点：

1. 在x > 0的时候，同样是不存在梯度消失的情况；而在x < 0时候，神经元也不会像ReLU一样出现死亡的情况。
2. 同时Swish相比于ReLU导数不是一成不变的，这也是一种优势。
3. 而且Swish处处可导，连续光滑。

缺点：

1. 计算量大，本来sigmoid函数就不容易计算，它比sigmoid还难。

hard = 硬，就是让图像在整体上没那么光滑（从下面两个图都可以看出来）

函数表达式：

hard-Swish函数图像和Swish()函数图像对比：

hard-Swish函数图像和Swish()函数梯度图像对比：

1. hard-Swish近似达到了Swish的效果；
2. 且改善了Swish的计算量过大的问题，在量化模式下，ReLU函数相比Sigmoid好算太多了；

论文地址：

https://arxiv.org/pdf/1908.08681.pdf

关于激活函数改进的最新一篇文章，且被广泛用于YOLO4中，相比Swish有0.494%的提升，相比ReLU有1.671%的提升。

Mish函数公式：

Mish函数图像和Swish()函数图像对比：

Mish函数图像和Swish()函数导数图像对比：

到此这篇sigmod激活函数（sigmod激活函数的导数）的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章，希望大家都能在编程的领域有一番成就！

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/haskellbc/52789.html