ResNet ----> EfficientNet
v1的做法：一个层级上配置不同尺寸的滤波器，默认1x1，3x3，5x5，max pooling，为了降低算力，在 3x3 和 5x5 卷积层之前添加额外的 1x1 卷积层，来限制输入信道的数量。尽管添加额外的卷积操作似乎是反直觉的，但是 1x1 卷积比 5x5 卷积要廉价很多，而且输入信道数量减少也有利于降低算力成本。不过一定要注意，1x1 卷积是在最大池化层之后，而不是之前。但是由于同样是深层网络，同样还是会遇到梯度消失的问题。9 个线性堆叠的 Inception 模块。额外添加两个辅助分类器，用作softmax函数操作。
卷积类型（Convolutional ops ConvOp）: regular conv (conv), depthwise conv (dconv), and mobile inverted bottleneck conv with various expansion ratios
卷积内核 Convolutional kernel size KernelSize: 3x3, 5x5.
跳跃层连接方式 Skip operations SkipOp: max or average pooling, identity residual skip, or no skip path.
输出滤波器尺寸 Output filter size Fi
每个 block 卷积层个数 Number of layers per block Ni.
ConvOp, KernelSize, SkipOp, Fi 决定每一卷积层架构，而 Ni 决定每一个 block 重复卷积层的次数。
神经网络结构搜索（NAS）：搜索策略：强化学习基本思想-强化学习把架构的生成看成一个有自我思想的结构可以自己选择架构 的过程，通过在测试集上测试网络性能来获取奖励值 ( reward )，从而指导架构的生成。这里的算法都是用RNN控制器。RNN 控制器可以预测出以这些主题为基础的一般卷积单元，然后，多个单元按顺序堆叠。控制器的循环神经网络生成描述子网络结构的串，从而确定子网络的结构。EfficientNet：加宽网络、加深网络和增大分辨率。原因：单独优化一个维度Acc在80左右就很难提升了。做法：找到三个维度的最优scaling。网络结构作者主要借鉴了 MnasNet，采取了同时优化精度(ACC)以及计算量(FLOPS)的方法。
#FLOPS：是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。
到此这篇resnet18和resnet50区别（resnet50和resnet101区别）的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章，希望大家都能在编程的领域有一番成就！
版权声明：
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！
转载请注明出处，原文链接：https://www.xkablog.com/rfx/39260.html