预训练权重（预训练权重和模型没有匹配上）

本文介绍的是 ACL 2020 论文《 Dice Loss for Data-imbalanced Tasks》，论文作者来自香侬科技、浙江大学。

作者 | 香侬科技

编辑 | 丛末

论文链接：https://arxiv.org/pdf/1911.02855.pdf

在本文中，我们提出用Dice Loss缓解大量任务中的数据不平衡问题，从而能够提高基于F1评分的表现。Dice Loss 形式简单且十分有效，将Cross Entropy Loss替换为Dice Loss能够在词性标注数据集CTB5、CTB6、UD1.4，命名实体识别数据集CoNLL2003、OntoNotes5.0、MSRA、OntoNotes4.0，和问答数据集SQuAD、Quoref上接近或超过当前最佳结果。

在各类任务中，数据不平衡是一个非常常见的问题，尤其见于序列标注任务中。比如，对词性标注任务来说，我们一般使用BIEOS，如果我们把O视为负例，其他视为正例，那么负例数和正例数之比是相当大的。

这种不平衡会导致两个问题：

总的来说，大量简单负例会在交叉熵的作用下推动模型忽视困难正例的学习，而序列标注任务往往使用F1衡量，从而在正例上预测欠佳直接导致了F1值偏低。

在本文，我们认为这种问题是交叉熵本身的特点带来的：交叉熵“平等”地看待每一个样本，无论正负，都尽力把它们推向1（正例）或0（负例）。但实际上，对分类而言，将一个样本分类为负只需要它的概率＜0.5即可，完全没有必要将它推向0。

基于这个观察，我们使用现有的Dice Loss，并提出一个基于Dice Loss的自适应损失——，在训练时推动模型更加关注困难的样本，降低简单负例的学习度，从而在整体上提高基于F1值的效果。

我们在多个任务上实验，包括：词性标注、命名实体识别、问答和段落识别。

我们按照逻辑顺序来梳理如何从交叉熵损失到Dice Loss。我们以二分类作为说明，记输入为

，输出为一个二值概率

，并且有一个二元真值

。

首先，传统的交叉熵损失是：

显然，对每个样本，CE对它们都一视同仁，不管当前样本是简单还是复杂。当简单样本有很多的时候，模型的训练就会被这些简单样本占据，使得模型难以从复杂样本中学习。于是，一种简单的改进方法是，降低模型在简单样本上的学习速率，从而得到下述加权交叉熵损失：

对不同样本，我们可以设置不同的权重，从而控制模型在该样本上学习的程度。但是此时，权重的选择又变得比较困难。因为我们的目标是缓解数据集的不平衡问题从而提高基于F1评测指标的效果，我们希望有一种损失函数能够直接作用于F1。

幸运的是，我们可以利用一种现有的方法——Sørensen–Dice系数（简称）——去衡量F1。DSC是一种用于衡量两个集合之间相似度的指标：

如果我们令A是所有模型预测为正的样本的集合，令B为所有实际上为正类的样本集合，那么DSC就可以重写为：

其中，TP是True Positive，FN是False Negative，FP是False Negative，D是数据集，f是一个分类模型。于是，在这个意义上，DSC是和F1等价的。

既然如此，我们就想直接优化DSC，然而上述表达式是离散的。为此，我们需要把上述DSC表达式转化为连续的版本，从而视为一种soft F1。

对单个样本x，我们直接定义它的DSC：

注意这和一开始DSC的定义是一致的。可以看到，若x是负类，那么它的DSC就为0，从而不会对训练有贡献。为了让负类也能有所贡献，我们增加一个平滑项：

但这样一来，又需要我们根据不同的数据集手动地调整平滑项。而且，当easy-negative样本很多的时候，即便使用上述平滑项，整个模型训练过程仍然会被它们主导。基于此，我们使用一种“自调节”的DSC：

比较上面两个DSC，可以发现，

实际上充当了缩放系数，对于简单样本（

趋于1或0），

使得模型更少地关注它们。从导数上看，一旦模型正确分类当前样本（刚刚经过0.5），DSC就会使模型更少关注它，而不是像交叉熵那样，鼓励模型迫近0或1这两个端点，这就能有效避免因简单样本过多导致模型训练受到简单样本的支配。

事实上，这比较类似Focal Loss (FL)，即降低已分好类的样本的学习权重：

不过，FL即使能对简单样本降低学习权重，但是它本质上仍然是在鼓励简单样本趋向0或1，这就和DSC有了根本上的区别。因此，我们说DSC通过“平衡”简单样本和困难样本的学习过程，从而提高了最终的F1值（因为F1要求各类都有比较好的结果）。

除了上述DSC之外，我们还比较了两种

的变体，分别是下述的Dice Loss（DL）和Tversky Loss（TL）：

特别地，在TL中，如果

，它就退化到了DSC。

最后，我们来总结一下各损失：

我们把后面三个损失统称为Dice Loss。

我们首先在词性标注任务上实验，数据集有中文的CTB5/6、UD1.4和英文的WSJ、Tweets。基线模型包括Joint-POS、Lattice-LSTM及BERT。下表分别是中文和英文的实验结果：

可以看到，DSC在各个数据集上都能得到最好的效果提升，而其他方法的提升并不一致。

下面我们在命名实体识别任务上实验，数据集有中文的Ontonotes4、MSRA和英文的CoNLL2003、OntoNotes5，基线模型有ELMo、CVT、BERT-Tagger与BERT-MRC。下表是实验结果：

与词性标注一样，DSC能够保持效果一致的提高。

下面我们在SQuAD1/2和QuoRef上对问答任务进行实验，基线模型有QANet、BERT与XLNet，下表是实验结果：

无论是对BERT还是对XLNet，DSC都有显著的提升。

段落识别是一个分类任务，需要判断两个给定的段落语义是否相同。和标注任务相比，该任务的不平衡度要轻得多。下表是实验结果：

尽管效果提升没有序列标注任务大，但仍然有接近一个点的提升。

既然Dice Loss的提出是为了缓解数据分布不平衡的问题，我们自然想问，不平衡的程度对效果的提升影响如何。我们使用段落识别的P数据集进行实验。P原始数据包含37%的正类和63%的负类，我们使用下述方法改变数据分布：

以上+方法最终都得到了相同大小的数据集。下表是实验结果：

首先观察到，数据的平衡性对最终结果影响是非常大的，即使是基线模型BERT，大体上讲，数据越不平衡，最终结果就越差，当然这也受到整体数据量的影响。而对平衡的数据集（+positive,+positive&+negative）来说，DSC带来的提高略小于不平衡的数据集（original,+negative），而-negative提高最差可能与它的数据量有关。

通过上述实验我们知道，Dice Loss有助于提高F1值的表现，那么对以准确率为指标的任务又如何呢？我们在SST2和SST5上实验，下表是实验结果：

可以看到，使用Dice Loss实际上是降低了准确率，这是因为Dice Loss考虑的实际上是类间的“平衡”，而不是笼统地考虑所有的数据。

本文使用现有的Dice Loss，并提出了一种新型的自适应损失DSC，用于各种数据分布不平衡的任务中，以缓解训练时的交叉熵与时的F1的问题。实验表明，使用该损失可以显著提高标注任务、分类任务的F1值，并且也说明了F1效果的提升与数据不平衡的程度、数据量大小有密切的关系。

ACL 2020原定于2020年7月5日至10日在美国华盛顿西雅图举行，因新冠肺炎疫情改为线上会议。为促进学术交流，方便国内师生提早了解（NLP）前沿研究，科技评论将推出「ACL 实验室系列论文解读」内容，同时欢迎更多实验室参与分享，敬请期待！

点击"阅读原文"，直达“ACL 交流小组”了解更多会议信息。

到此这篇预训练权重（预训练权重和模型没有匹配上）的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章，希望大家都能在编程的领域有一番成就！

上一篇：漫步者蓝牙耳机怎么断开连接（漫步者耳机如何断开蓝牙）

下一篇：来自远方作者简介（来自远方的作品集简介）

版权声明：
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/bcyy/69528.html

相关文章：