XLNet

超一流 | 从XLNet的多流机制看最新预训练模型的研究进展 12

知行编程网 人工智能前沿 2年前 (2022-01-19) 37 0

导读 作为 NLP 近两年来的当红炸子鸡，以 ELMo/BERT 为代表的语言预训练技术相信大家已经很熟悉了。简单回顾下 18 年以来几个预训练的重要工作: ELMo, GPT and BERT ELMo 首先提出了基于语言模型的预训练技术，成功验证了在大规模语料上基于语言模型进行文本自监督学习的有效性。 GPT 提出了 NLP 预训练技术使用时应该像 CV 预训练技术一样，在下游任务中通过 fi...