最新的自然语言理解领域分类的无超参数连续学习

Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding

今天，橙子姐姐带大家了解下NLP相关知识，我们一起来看一下吧~

领域分类是自然语言理解 (NLU) 的基本任务，它通常需要快速适应新兴领域。这种约束使得不可能重新训练所有以前的域，即使它们可以被新模型访问。大多数现有的持续学习方法都存在准确性低和性能波动的问题，尤其是当新旧数据的分布显着不同时。事实上，现实世界的关键问题不在于旧数据的缺失，而在于用整个旧数据集重新训练模型的效率低下。是否有可能利用一些旧数据来产生高精度并保持稳定的性能，同时又不引入额外的超参数？

在本文中，提出了一种无超参数的文本数据连续学习模型，可以在各种环境下稳定地产生高性能。具体来说，利用Fisher信息来选择可以“记录”原始模型关键信息的样本。此外，还提出了一种称为动态权重合并的新方案，以在再训练过程中实现超参数自由学习。大量实验表明，基线受到性能波动的影响，因此在实践中毫无用处。相反，提出的模型 CCFI 在平均准确度上显着并始终优于最佳的最先进方法高达 20%，并且 CCFI 的每个组件都有效地对整体性能做出了贡献。 本文提出了一个用于连续域分类的无超参数模型称为CCFI。CCFI可以通过Fisher信息采样选择的exemlars记录旧模型的信息，并通过动态权重合并进行有效的再训练。与现有模型的比较表明CCFI在各种实验环境下表现最好，无需额外的超参数搜索工作。