pointnet++改进（pointnet改进专栏）



目录

1.理论介绍

2.修改步骤

2.1 步骤一

2.2 步骤二

2.3 步骤三

1.理论介绍

考虑到语言模型预训练的巨大成本，对优化算法进行重大改进将大大减少训练的时间和成本。Adam及其变体多年来一直是最先进的，而更复杂的二阶(基于hessian的)优化器通常会导致过多的每一步开销。在本文中，我们提出了索菲亚，二阶裁剪随机优化，一个简单的可扩展的二阶优化器，它使用对角线Hessian的轻量级估计作为前置条件。更新是梯度的移动平均值除以估计的Hessian的移动平均值，然后是元素裁

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/cjjbc/75939.html