参考答案：
这里答案应该是计算错了，正确结果应该是 -37。
详细解析：
如果在第1题中，在第一层与第二层计算后附加了RLU激活函数，结果是怎样的？
参考答案：
详细解析：
参考答案：
详细解析：
请从优化的角度谈谈，为什么在实际应用中，人们会优先选择ReLU作为激活函数，而不是Sigmoid？请谈谈你的理解。
参考答案：
神经网络主要靠反向传播进行优化，而反向传播需要求导数。
Sigmoid函数在远离0点的时候导数非常小，影响优化。
而ReLU的梯度非常容易求，对于优化是非常方便的。
详细解析：
ReLU函数优于Sigmoid函数主要体现在以下几个方面：
Sigmoid激活函数的输出范围在0到1之间，函数图像在两侧（接近0或1）时趋向于平缓，在输入非常大或非常小时会接近饱和。由于这种平缓的饱和区域存在，Sigmoid在反向传播计算梯度时，梯度值可能会变得非常小，导致梯度的快速衰减。这种现象称为“梯度消失”。
版权声明：
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！
转载请注明出处，原文链接：https://www.xkablog.com/haskellbc/50110.html