超一流 | 从XLNet的多流机制看最新预训练模型的研究进展 12
导读 作为 NLP 近两年来的当红炸子鸡，以 ELMo/BERT 为代表的语言预训练技术相信大家已经很熟悉了。简单回顾下 18 年以来几个预训练的重要工作: ELMo, GPT and BERT ELMo 首先提出了基于语言模型的预训练技术，成功验证了在大规模语料上基于语言模型进行文本自监督学习的有效性。 GPT 提出了 NLP 预训练技术使用时应该像 CV 预训练技术一样，在下游任务中通过 fi...
NLP哪个细分方向最具社会价值？ 14
让我们来大胆设想一个场景，老板突然发财搞到一笔钱，大手一挥给你五百万，让你去做自然语言处理的研究，你该先研究哪一个细分领域？ 机器翻译好像不错，信息抽取也很必要，对话系统更是 NLP 落地的重要方向。而如何评估这些 NLP 任务的重要程度是一个极其开放的问题，从商业价值应用前景的角度出发是一套评价体系，从科学研究学科贡献角度出发又是另一套排名标准，但如果将我们的高度拔高一点，站在一个社会成员的角度...
智能问答（Question Answering）的主要研究方向有哪些？
非事实类问题大多数研究关注于事实类问题，而非事实类问题的研究相对不足，包括数学类的问题、判断类的问题等。 [EMNLP 2019] NumNet: Machine Reading Comprehension with Numerical Reasoning 数学类问题 [NAACL19] MathQA: Towards Interpretable Math Word Problem Solving...
工业界求解NER问题的12条黄金法则
众所周知，命名实体识别（Named Entity Recognition，NER）是一项基础而又重要的NLP词法分析任务，也往往作为信息抽取、问答系统、机器翻译等方向的或显式或隐式的基础任务。在很多人眼里，NER似乎只是一个书本概念，跟句法分析一样存在感不强。一方面是因为深度学习在NLP领域遍地开花，使得智能问答等曾经复杂的NLP任务，变得可以端到端学习，于是分词、词性分析、NER、句法分析等曾经...
写了一篇关于 NLP 综述的综述！ 19
综述，往往是了解一个子领域最为高效的起点。然而，对于AI这样一个日新月异高速发展的行业，时效性也自然地成为了我们选择综述的衡量指标之一。即使一篇 AI 综述具有超高 citation，如果它写于 20 年前，那对今天的我们来说，这份综述的总结必然是不够全面的。那么，站在 NLP 发展轨迹中的此时此刻，哪些综述是当前最值得阅读的呢？ 本文参考了 Elvis Saravia 相关主题的 twitter...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利