Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding
今天,橙子姐姐带大家了解下NLP相关知识,我们一起来看一下吧~
领域分类是自然语言理解 (NLU) 的基本任务,它通常需要快速适应新兴领域。这种约束使得不可能重新训练所有以前的域,即使它们可以被新模型访问。大多数现有的持续学习方法都存在准确性低和性能波动的问题,尤其是当新旧数据的分布显着不同时。事实上,现实世界的关键问题不在于旧数据的缺失,而在于用整个旧数据集重新训练模型的效率低下。是否有可能利用一些旧数据来产生高精度并保持稳定的性能,同时又不引入额外的超参数?
在本文中,提出了一种无超参数的文本数据连续学习模型,可以在各种环境下稳定地产生高性能。具体来说,利用Fisher信息来选择可以“记录”原始模型关键信息的样本。此外,还提出了一种称为动态权重合并的新方案,以在再训练过程中实现超参数自由学习。大量实验表明,基线受到性能波动的影响,因此在实践中毫无用处。相反,提出的模型 CCFI 在平均准确度上显着并始终优于最佳的最先进方法高达 20%,并且 CCFI 的每个组件都有效地对整体性能做出了贡献。 本文提出了一个用于连续域分类的无超参数模型称为CCFI。CCFI可以通过Fisher信息采样选择的exemlars记录旧模型的信息,并通过动态权重合并进行有效的再训练。与现有模型的比较表明CCFI在各种实验环境下表现最好,无需额外的超参数搜索工作。
本文来自橙子投稿,不代表知行编程网立场,版权归原作者所有,欢迎分享本文,转载请保留出处!
你可能也喜欢
- ♥ 深度学习人脸识别中的统一表示学习12/28
- ♥ 这篇顶会paper,讲述了疫情期间憋疯的你和我01/23
- ♥ 当混合密集网络与高光谱分类相遇~01/06
- ♥ 一人之力,刷爆三路榜单!信息抽取竞赛夺冠经验分享01/28
- ♥ NLP太卷,我去研究蛋白质了~01/26
- ♥ 看论文头疼吗?这里有一份学术论文阅读指南请查收~02/26
内容反馈