图灵奖大佬 Lecun 发表对比学习新作，比 SimCLR 更好用！ 11
文 | Rukawa_Y 编 | 智商掉了一地，Sheryc_王苏 比 SimCLR 更好用的 Self-Supervised Learning，一起来看看吧！ Self-Supervised Learning作为深度学习中的独孤九剑，当融汇贯通灵活应用之后，也能打败声名在外的武当太极剑。比如在NLP领域中，每当遇到文本分类的问题，BERT + funetuning的套路来应对，但是也正因为如此大...
BERT重计算：用22.5%的训练时间节省5倍的显存开销（附代码） 14
一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 虽然TPU的显存令人羡慕，但是由于众所周知的原因，绝大部分人还是很难日常化使用的。英伟达又一直在挤牙膏，至今单卡的最大显存也仅仅到32G（参考V100、DGX-2）。然而，训练一个24层的BERT Large模型的时候，如果sequence length开满512，那么batch size仅仅开到8（有时候能到10）就把这寥寥32G的显存打满...
一句话超短摘要，速览752篇EMNLP论文 2
今年的EMNLP今天开始召开啦，不知道大家的论文列表都刷完没有呀~ 什么？论文太多，看不过来，怎么办？看了论文题目还是不知道讲的是什么，怎么办？ 别担心，今天阿花给大家带来一个刷论EMNLP论文列表的利器，帮助大家划重点啦！那就是Paper Digest团队给大家提供的 “One sentence highlight for every EMNLP-2020 Paper”。 Paper Diges...
从 ACL’22 投稿情况，速览当下 NLP 研究热点！ 9
卖萌屋的作者们，最近可真是忙秃了头~，不仅要苦哈哈地赶 ACL 2022 提前了两个月的Deadline，还要尽心尽力为读者们提供高质量的内容。如果大家心疼卖萌屋的作者们的话，还请多多一键三连:) ACL2022 全部转向了使用 ACL Rolling Review(ARR) 投稿，所有的投稿必须提交到 ARR 11 月及其之前的 Rolling Review (每月可以投稿一次)。考虑到大多数 ...
GPT-3诞生，Finetune也不再必要了！NLP领域又一核弹！ 5
一只小狐狸带你解锁炼丹术&NLP秘籍 2018年10月推出的BERT一直有着划NLP时代的意义，然而还有一个让人不能忽略的全程陪跑模型——OpenAI GPT（Generative Pre-Training）在以它的方式坚持着，向更通用的终极目标进发。 最初的GPT只是一个12层单向的Transformer，通过预训练+精调的方式进行训练，BERT一出来就被比下去了。之后2019年初的GP...
NLP未来，路在何方？12位巨佬联名指路！ 7
CMU、华盛顿大学、南加州大学、MIT、MILA、密歇根大学、爱丁堡大学、DeepMind、伯克利、Apple…如果我说来自这些地方的dalao共同发表了一篇文章，你相信么？但别惊讶，在即将召开的EMNLP'20的长文列表里，我们就真找到了这样一篇“奇文”。一篇论文引得众星云集，那解决的必然不是小问题。这不，作者也很贴心地把他们所希望解决的问题斜体独行地放在了论文的首栏里—— Where is N...
如何打造高质量的NLP数据集
无论是做研究还是解决业务问题，做数据集都是绕不开的问题。很多刚入行的同学觉得发布一个数据集是最容易灌水的了，燃鹅如果你真的做过就会发现，随意产生一个数据集很容易，但是若以解决实际问题或让大家能在上面磕盐玩耍为目的，来产生一个能用的、质量高的、难度适中的数据集一点都不容易，超级费时费脑子甚至费钱好不好(╯°□°）╯︵┻━┻ 虽然并没有刻意的研究数据集该怎么做，不过因为项目或研究需要，已经被赶鸭子上架...
一步步教你构建 NLP 流水线 16
前 言 计算机更擅长理解结构化数据，让计算机去理解主要以文化习惯沉淀下来的人类语言实在是太为难它们了。那自然语言处理获得的成功又是如何成就的呢？那就是，把人类语言（尽可能）结构化。本文以简单的例子一步步向我们展示了自然语言处理流水线的每个阶段的工作过程，也就是将语言结构化的过程，从句子分割、词汇标记化、...、到共指解析一步步展现。作者的解释很直观、好理解，对于刚入门 NLP 的小伙伴是不可多得...
ACL20 | 让笨重的BERT问答匹配模型变快！ 10
一只小狐狸带你解锁炼丹术&NLP秘籍 背景 BERT、XLNet、RoBERTa等基于Transformer[1]的预训练模型推出后，自然语言理解任务都获得了大幅提升。问答任务（Question Answering，QA）[2]也同样取得了很大的进步。 用BERT类模型来做问答或阅读理解任务，通常需要将问题和问题相关文档拼接一起作为输入文本，然后用自注意力机制对输入文本进行多层交互编码，之...
无需人工！无需训练！构建知识图谱 BERT一下就行了！ 13
今天给大家带来的是一篇号称可以自动建立知识图谱的文章《Language Models are Open Knowledge Graphs》，文中提出了一个叫Match and Map（MAMA）的模型，无需人工！无需训练！只需语料和预训练好模型，就可以从头建立出知识图谱，甚至可以挖掘出人类发现不了的新关系。当Wikipedia再次邂逅BERT，知识图谱就诞生啦！ 通常来说知识图谱的建立需要人工定义...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利