预训练模型怎么微调（预训练模型微调方法）



图注：AI文生图

在人们谈论大模型时，同时也会经常提起“微调”。

什么是模型微调？它的作用表现在哪些方面？目前又有哪些常见微调的方法？

如果你也好奇，下面跟随司普科技1号解说员小司一起来看看。

什么是微调？

微调，翻译自Finetuning，简称FT，也被很多人称为“精调”。

从字面意思理解，微调其实相当于在通用大模型的基础上，对超出范围或不擅长的领域，使用专门的数据集或方法对其进行相应的调整和优化，以提升其在特定领域或任务中的适用性和完成度。

虽然微调以“微”见长，但在实际应用中，依然包含全量调整。

只是从0开始做下游任务全模型的微调，不仅工作量大，成本高，遇上百万级乃至亿级参数的大模型，还可能导致过拟合。所以，现阶段人们常说的微调，仍以在预训练模型基础上针对特定任务或行业需求做局部调整居多。

在技术领域，微调还被视为一种应用广泛的深度学习（Deep Learning）尤其是迁移学习(Transfer Learning)技术，一种常用的行业大模型构建方法。

它提升着通用大模型在垂直领域的性能，也加速推动着大模型在各行业的落地。

微调的价值体现在哪？

简单来说，微调的最大价值在于让大模型更接地气、更具适用性。

众所周知，通用大模型基于互联网公开的海量知识进行预训练，它的通识能力很强，但特定领域和行业的专业知识储备却很有限。

这导致基础大模型在处理特定行业或私域的专业知识文档、专业术语、业务流程时，可能存在理解不足或胜任力有限的情况。

而微调恰好能根据实际需求，针对性提升大模型与行业的契合度，让大模型在行业化调整中，更好地为人们所用。

举例来说，以往保险行业的专业核保通常需要5年以上医学背景和3年以上保险背景。因为入行门槛高，又涉及数据安全和隐私保护，常规的大模型很难解决业务问题。

而以司普科技为代表的大模型应用服务商则通过微调，将医疗保险专业知识内化到行业大模型中，并通过AI Agent联动核保数据结构化、QA质检、模型自学习、核保规则引擎、行业知识库等环节，从而让自动化、智能化核保成为了可能。

司普科技在制药行业的商用案例——智能偏差写作同样如此。

该项目通过精调，加速大模型对行业专门知识的学习和掌握，并根据实际业务需求，提升了大模型生成符合偏差IQS要求的报告内容的能力。

目前类似通过微调加快大模型与行业融合的案例正越来越多。只是部分行业对产品定制、私有化部署、训练数据源、数据量级、训练模式等有较高要求，一定程度上加大了技术攻关难度。

有哪些常见的微调方法？

关于微调的种类，目前各家各有说法。

不过总的来说，现阶段的微调方案包含模型结构、学习策略、数据预处理、参数等方面，只是很多并非孤立，而是相互结合在使用。

比如RLHF（人类反馈强化学习）、SFT（监督学习）等就属于学习策略方面的微调。

数据清洗、数据转换、特征提取、数据归类划分等，属于数据预处理方面的微调。

参数类的微调，可能我们听得更多。

目前，主要包括FFT（Full Fine-Tuning，全参数微调）、PeFT（Parameter-Efficient Fine-Tuning，参数高效微调）、ReFT（Representation Finetuning，表示微调，也被称为表征微调）等几种。

其中，FFT（全参数微调）聚焦对下游任务的模型全量参数进行微调，因为参数更新力度大，计算成本高，且效果未必有保障，所以固定大部分预训练参数，只微调少数参数的PeFT（参数高效微调）是目前更为热门的选择。

而大家常见的Adapter Tuning（适配器微调）就是参数高效微调的一种。它不用添加新组件，通过调整部分权重或添加新的权重就能实现和原始模型的协作。

另一种我们熟悉的LoRA微调，则是Adapter Tuning（适配器微调）的升级版，也是目前适配器微调中最流行的微调方法。它能提升参数调整效度，高效切换任务、减少推理延迟，最关键的是，还能进一步降低微调成本，使其更具性价比。

伴随LoRA微调的广泛使用，为了进一步改善内存需求和微调性能，科学家们还在此基础上推出了QLoRA、LoReFT等版本。

Soft Prompt（软提示）是参数高效微调另一种常见的方法，主要通过在输入序列的头部添加学习向量，以实现模型参数的高效微调。在这其中，前缀提示微调(Prefix-Tuning)和提示调整(Prompt-Tuning)是Soft Prompt中最具代表性的两种方法。

除了以上几种，今年4月斯坦福大学的研究人员还提出了一种新型的参数类微调方法——ReFT（表征微调）。ReFT是一种无需修改权重，通过干预语言模型学习推理中的隐藏表示，就能有效适配和解决下游任务的微调方法。

因为它在提高参数微调效率、减少计算资源、训练时间和内存需求等方面更有优势，且更具解释性，也被很多人看好。

写在最后

以上介绍了大模型微调的基本概念、价值表现和常见方案。

总的来说，上面提到的各种微调方案都有其独特的优势和适用场景，建议根据实际的任务需求、模型类型、数据集大小、计算资源消耗等来进行选择。

眼下，出于行业或特定任务需要，通过微调优化大模型，强化SLM(小模型)的性能，正变得越发普遍。这或许也解释了，为何包括周鸿祎在内的行业KOL会认为：

今天的重点不在于反复做通用大模型，而在于找到细分场景，做出具体应用，并通过微调，落实商用价值。

毕竟加快行业落地，能给大模型带来更多商用机会。而微调，会是优化垂类模型必不可少的一环。

以上就是今天的全部分享，希望有用~

注：本文原创，首发司普科技，有参考机器之心、CSDN、数据派THU、paperspace等，仅做分享。

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/hd-wfwjg/41477.html