resnet模型训练过程（resnet训练cifar10）



🌞欢迎莅临我的个人主页👈🏻这里是我专注于深度学习领域、用心分享知识精粹与智慧火花的独特角落！🍉

🌈如果大家喜欢文章，欢迎：关注🍷+点赞👍🏻+评论✍🏻+收藏🌟，如有错误敬请指正！🪐

🍓“请不要相信胜利就像山坡上的蒲公英一样唾手可得，但是请相信生活中总有美好值得我们全力以赴，哪怕粉身碎骨！”🌹

目录

创建数据集/导入自己的数据集

加载数据集

搭建网络模型并实例化

定义损失函数和优化器

设置网络模型训练参数

验证模型

训练曲线可视化

保存模型参数

参数知识补充

完整的模型训练代码

创建数据集/导入自己的数据集

• 导入官方数据集：官方数据集存在于 torchvision.datasets 里面，详细内容请查看官方文档：
• 导入自己的数据集：需要重写 datasets 和 dataloader 部分，并将数据集进行标注，详细请参考： 和 

一般进行模型训练时我们需要3个数据集，分别是训练集、测试集、验证集，数据比例大概是1:1:8。其中，训练集是用于对模型进行训练，验证集用于模型的参数和超参数调整以提高模型的准确性，测试集用于模型的检测，以验证模型的检测效果。训练集和验证集都可以重复使用用于模型参数调整，但测试集只可用1次，这主要是确保模型的检测准确性。

加载数据集

此处的数据集加载用于传入神经网络进行模型训练，因此只能使用 dataloader 方法。详细可参考：

搭建网络模型并实例化

可参考：、 、

定义损失函数和优化器

可参考： 和 ​​​​​​​

设置网络模型训练参数

将训练集输入训练时，我们需要设置损失函数来检验输出得分与目标值间的差异，并通过误差进行反向传播求出梯度，将梯度用于优化器优化改善模型相关参数。可参考：

验证模型

一般将模型训练一轮后，为检验模型的训练效果，我们需要使用验证集对优化后的模型进行验证，在此过程中，我们只使用了该模型，并未对其相关参数进行调整。故使用文件的方式调用torch.no_grad() 方法以保留模型梯度，在验证过程中可使用误差率，正确率等相关参数对其检验。

训练曲线可视化

一般只有数据的显示难以直观的表现出模型的具体性能，因此我们需要将验证方法中的相关参数进行可视化，一般为损失率、准确率、召回率等。一般可以使用 matplotlib 和 tensorboard 进行可视化，tensorboard 可参考：

保存模型参数

在训练过程中我们需要将性能效果最好的模型进行保存。保存和加载的方式：（以ResNet为例）

使用torch.save()可以保存整个模型。若只想保存模型参数，可以用state_dict()方法获取模型的参数字典，然后再保存。加载保存的模型或参数，可以使用torch.load() 函数，并传入文件名，得到相应的模型或参数。

如果保存和加载模型参数时使用的是不同的设备，例如 CPU 和 GPU，会导致加载失败。因此，在保存模型时应该保证模型和参数都在同一个设备上，并在加载时指定相同的设备。例如：

参数知识补充

学习率（Learning Rate）：学习率决定了参数在每次迭代中的更新幅度。较大的学习率可以加快收敛速度，但可能导致不稳定的训练过程；较小的学习率可以增加稳定性，但可能导致收敛速度较慢。通常需要根据具体问题进行调整。

迭代次数（Epochs）：迭代次数表示模型在整个训练数据集上的训练轮数。增加迭代次数通常可以提高模型的性能，但过多的迭代可能导致过拟合。

批量大小（Batch Size）：批量大小表示每次迭代中用于更新参数的样本数量。较大的批量大小可以加快训练速度，但可能会占用更多的内存资源；较小的批量大小可以提供更好的梯度估计，但可能会导致训练过程更加不稳定。

正则化参数（Regularization）：正则化参数用于控制模型的复杂度，防止过拟合。常见的正则化方法包括L1正则化、L2正则化等，通过在损失函数中引入正则化项来限制参数的大小。

优化器（Optimizer）：优化器决定了参数更新的具体策略和算法。常见的优化器包括随机梯度下降（Stochastic Gradient Descent, SGD）、Adam、RMSprop等，它们采用不同的参数更新规则和调整策略。

损失函数（Loss Function）：损失函数用于衡量模型预测结果与真实标签之间的差异。不同的任务和场景可能需要选择不同的损失函数，例如均方误差（Mean Squared Error, MSE）适用于回归问题，交叉熵损失（Cross-Entropy Loss）适用于分类问题等。

完整的模型训练代码

训练结果：

 可视化曲线：

可以明显看出，相比于控制台输出的数据，将相关参数进行可视化会更加直观的体现出模型的性能，实线通常表示模型在训练集或验证集上的表现，虚线通常表示一个基准线或参考线，用于衡量模型表现的优劣。

总结：本文是使用神经网络进行模型训练的一套完整基本流程。通常我们会选择已有的网络结构作为基础，并根据具体任务的需求进行改良，同时会着重关注损失函数和优化器模块，通过不断地迭代和调整，我们可以逐步改进模型，使其更好地拟合数据集，并提高模型的性能和泛化能力。

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/rfx/75900.html