resnet网络架构（Resnet网络架构改进算法）



神经网络剪枝是将基于深度神经网络（DNN）的人工智能（AI）模型部署在诸如移动设备等资源受限平台上的一项关键技术。然而，不同平台的硬件条件和资源可用性差别极大，这使得设计出最适配特定硬件配置的剪枝模型变得至关重要。

具备硬件感知能力的神经网络剪枝提供了一种使该过程自动化的有效方式，但它需要平衡多个相互冲突的目标，比如网络准确性、推理延迟和内存使用，这些是传统数学方法难以解决的。

在发表于《基础研究》杂志的一项研究中，来自中国深圳的一组研究人员提出了一种基于多目标进化优化的新型具备硬件感知能力的神经网络剪枝方法。

“我们提议采用多目标进化算法（MOEAs）来解决硬件神经网络剪枝问题，”该研究的资深及通讯作者唐柯表示。

与传统的优化算法相比，MOEAs 在解决这个问题上有两个优势。其一，MOEAs 无需像可微性或连续性这类特定的假设，并且具备强大的黑箱优化能力。另一点是它们能够在一次模拟运行中寻得多个帕累托最优解，这在实践中极为有用，因为其提供了灵活性，能够满足不同用户的要求。

“具体而言，一旦找到这样一组解决方案，终端用户只需点击相应的解决方案，便能轻松选择他们所偏好的 DNN 压缩配置，比如优先考虑延迟或者优先考虑内存消耗，”唐补充说道。

该团队的研究结果进一步显示，虽说多目标进化算法具备极大的潜力，可它们依旧面临着搜索效率低下的问题。为此，研究人员研发出了一种新的 MOEA，也就是硬件感知多目标进化网络剪枝（HAMP），来解决这个问题。

“这是一种模因式多目标进化算法（MOEA），它结合了高效的基于投资组合的选择方式以及代理辅助的局部搜索算子。HAMP 是目前唯一能够有效同时处理多种硬件直接反馈和准确性问题的网络剪枝方法，”第一作者洪文婧解释说。“在移动 NVIDIA Jetson Nano 上进行的实验研究表明，HAMP 相对于最先进的方法是有效的，并且展示了 MOEAs 在硬件感知网络剪枝方面的潜力。”

该团队的研究结果显示，HAMP 不仅成功地实现了在所有目标上都更优的解决方案，而且同时提供了一组替代方案。

“这些解决方案在延迟、内存消耗以及准确性方面呈现出不同的权衡取舍，”洪如此总结道。

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/kjbd-jg/29650.html