rmsprop优化器优缺点（优化器optimizer）



文章

• 一、优化器

• 1.SGD(Stochastic gradient descent)
• 2.Momentum
• 3.NAG(Nesterov accelerated gradient)
• 4.Adagrad
• 5.RMSprop
• 6.Adadelta
• 7.Adam
• 效果对比：

• 二、优化器的简单使用

• 完整代码

常见的一些优化器有：SGD、Adagrad、Adadelta、RMSprop、Adam、Adamax、Nadam、TFOptimizer等等。

1.SGD(Stochastic gradient descent)

标准梯度下降法:
标准梯度下降法计算所有样本汇总误差，然后根据总误差来更新权值。
随机梯度下降法:
随机梯度下降法随机抽取一个样本来计算误差，然后更新权值。
批量梯度下降法:
批量梯度下降算是一种折中的方案，从总样本中选取一个批次（比如一共有10000个样本，随机选取100个样本作为一个batch），然后计算这个batch的总误差，根据总误差来更新权值。

2.Momentum

动力，通常设置为0.9。

3.NAG(Nesterov accelerated gradient)

动力，通常设置为0.9。

4.Adagrad

5.RMSprop

动力，通常设置为0.9。

6.Adadelta

动力，通常设置为0.9。

7.Adam

效果对比：

变化为

使用前需要先导入。

完整代码

2.加载数据及数据预处理

3.训练模型

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/hd-xnyh/39694.html