RMsprop适用于轻量级网络（rmsprop适用于轻量级网络,收敛速度快）



示例：简单的两层神经网络

假设我们有一个简单的神经网络，包括一个输入层、一个隐藏层和一个输出层。

• 输入层
• 隐藏层：权重为 1 ，激活函数为
• 输出层：权重为 2 ，损失函数为

1. 计算隐藏层输出：

2. 1 = 1

3. 1 = ( 1 )

5. 计算输出层输出：

6. 2 = 2 1

7. 2 = ( 2 )

9. 其中 是输出层的激活函数（例如Sigmoid或Softmax）。

10. 计算损失：

    = Loss ( 2 , )

    其中 是真实标签。

1. 计算输出层误差：

   2 = ∂ ∂ 2 ⋅ ′ ( 2 )

   这里， ′ 是输出激活函数的导数。

2. 计算权重梯度：

   ∂ / ∂ 2 = 2 ⋅ 1

1. 计算隐藏层误差：

   1 = ( 2 2 ) ⋅ ′ ( 1 )

   这里， ′ 是隐藏层激活函数的导数。

2. 计算权重梯度：

   ∂ / ∂ 1 = 1 ⋅

使用计算得到的梯度更新权重：

2 = 2 − ∂ / ∂ 2

1 = 1 − ∂ / ∂ 1

其中 是学习率。

通过这个例子，我们看到了如何使用链式法则计算损失对各层权重的梯度。前向传播用于计算输出和损失，而反向传播则利用链式法则将误差从输出层向后传播，以更新每一层的权重。这个过程是深度学习模型训练的基础。

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/rfx/42539.html