ACL20 | 让笨重的BERT问答匹配模型变快！ 10
一只小狐狸带你解锁炼丹术&NLP秘籍 背景 BERT、XLNet、RoBERTa等基于Transformer[1]的预训练模型推出后，自然语言理解任务都获得了大幅提升。问答任务（Question Answering，QA）[2]也同样取得了很大的进步。 用BERT类模型来做问答或阅读理解任务，通常需要将问题和问题相关文档拼接一起作为输入文本，然后用自注意力机制对输入文本进行多层交互编码，之...
无需人工！无需训练！构建知识图谱 BERT一下就行了！ 13
今天给大家带来的是一篇号称可以自动建立知识图谱的文章《Language Models are Open Knowledge Graphs》，文中提出了一个叫Match and Map（MAMA）的模型，无需人工！无需训练！只需语料和预训练好模型，就可以从头建立出知识图谱，甚至可以挖掘出人类发现不了的新关系。当Wikipedia再次邂逅BERT，知识图谱就诞生啦！ 通常来说知识图谱的建立需要人工定义...
那些击溃了所有NLP系统的样本 10
非常重要的前言 无论你是PM还是QA还是java开发，请不要拿本文刺激你身边的NLP工程师，人生已经如此的艰难，有些事情就 击溃拼音标注系统篇 写给卖豆芽的对联，我想打印出拼音 长长长长长长长，长长长长长长长。 (solution: changzhangchangzhangchangchangzhangzhangchangzhangchangzhangzhangchang, zhangchan...
百度提出ERNIE，多项中文NLP任务表现出色（已开源） 3
整理 | Jane出品 | AI科技大本营【导语】近日，百度提出知识增强的语义表示模型 ERNIE（Enhanced Representation from kNowledge IntEgration），通过对词、实体等语义单元的掩码，使得模型学习完整概念的语义表示。在语言推断、语义相似度、命名实体识别、情感分析、问答匹配等多项中文 NLP 任务上表现出色，有些甚至优于 BERT 在处理同类中文任...
NLP中的少样本困境问题探究 25
一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 在医疗、金融、法律等领域，高质量的标注数据十分稀缺、昂贵，我们通常面临少样本低资源问题。本文从「文本增强」和「半监督学习」这两个角度出发，谈一谈如何解决少样本困境。 正式介绍之前，我们首先需要思考什么才是一种好的解决少样本困境的方案？本文尝试给出了三个层次的评价策略，我们希望采取相关数据增强或弱监督技术后： 在少样本场景下，比起同等标注量的无...
NLP领域的首次Hard Label黑盒攻击！ 16
背景 前段时间已经和大家分享了两篇关于NLP Privacy的文章。今天，我们又来给大家推送优质论文了（公众号学习法）。其实，NLP与其他方向的跨界结合这段时间层出不穷，且都发表到了非常好的顶会上。目前有越来越多的 NLP 研究者开始探索文本对抗攻击这一方向，以 2020 年 ACL 为例，粗略统计有超过 10 篇相关论文。NLP Privacy可谓是NLP研究的下一个风口。 本次给大家介绍一篇文...
对话系统&聊天机器人的设计艺术（上） 2
前言 关于本文的阅读方式： 这不是一篇学术综述，也不是单纯的科普文，而是试图从目标出发来渐进式的思考对话系统的设计，顺便科普。因此本文不适合跳读，也不适合5分钟式浏览，而是适合在夜深人静的时候一个人... 我知道你们夜深人静的时候肯定不会看这个的(￣∇￣) 言归正传，其实本文最主要的目的还是试图理清楚对话系统的若干概念，对话是一个很大的概念，有非常非常多的子问题，刚入坑的小伙伴...
数学转CS，看斯坦福NLP博士、Manning高徒Abigail See怎么学AI 6
选自 | deeplearning.ai编译 |机器之心参与 | 路雪、王淑婷近日，deeplearning.ai 采访了斯坦福 NLP 博士 Abigail See，她师从 Chris Manning，在 NLP 领域已经取得很多成绩，她还是斯坦福经典课程 CS224n 课程的助教。这篇文章介绍了她的日常工作、研究兴趣、对 AI 研究人员的建议等。问：你是如何开始 AI 研究的？答：我在英国剑桥...
超一流 | 从XLNet的多流机制看最新预训练模型的研究进展 12
导读 作为 NLP 近两年来的当红炸子鸡，以 ELMo/BERT 为代表的语言预训练技术相信大家已经很熟悉了。简单回顾下 18 年以来几个预训练的重要工作: ELMo, GPT and BERT ELMo 首先提出了基于语言模型的预训练技术，成功验证了在大规模语料上基于语言模型进行文本自监督学习的有效性。 GPT 提出了 NLP 预训练技术使用时应该像 CV 预训练技术一样，在下游任务中通过 fi...
NLP哪个细分方向最具社会价值？ 14
让我们来大胆设想一个场景，老板突然发财搞到一笔钱，大手一挥给你五百万，让你去做自然语言处理的研究，你该先研究哪一个细分领域？ 机器翻译好像不错，信息抽取也很必要，对话系统更是 NLP 落地的重要方向。而如何评估这些 NLP 任务的重要程度是一个极其开放的问题，从商业价值应用前景的角度出发是一套评价体系，从科学研究学科贡献角度出发又是另一套排名标准，但如果将我们的高度拔高一点，站在一个社会成员的角度...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利