NLP太卷，我去研究蛋白质了~ 16
为什么“单词”被省略了：单词的本质是含义简单且可以高频重复的信息，句子的本质是经过多个单词不断消歧最终包含指向性含义的信息。从基因角度来看，大的片段相当于句子，对这些片段再分段起单词作用，密码子（每三个核苷酸）对应一个氨基酸，本质上还是字母。从蛋白质角度来看，二级结构中由氢键造成的较为规律的折叠、螺旋可以视作单词，能实现特定功能的蛋白质才称得上句子。 参考文献 理论基础，思想很重要，但论证得并不好...
图灵奖大佬 Lecun 发表对比学习新作，比 SimCLR 更好用！ 11
文 | Rukawa_Y 编 | 智商掉了一地，Sheryc_王苏 比 SimCLR 更好用的 Self-Supervised Learning，一起来看看吧！ Self-Supervised Learning作为深度学习中的独孤九剑，当融汇贯通灵活应用之后，也能打败声名在外的武当太极剑。比如在NLP领域中，每当遇到文本分类的问题，BERT + funetuning的套路来应对，但是也正因为如此大...
BERT重计算：用22.5%的训练时间节省5倍的显存开销（附代码） 14
一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 虽然TPU的显存令人羡慕，但是由于众所周知的原因，绝大部分人还是很难日常化使用的。英伟达又一直在挤牙膏，至今单卡的最大显存也仅仅到32G（参考V100、DGX-2）。然而，训练一个24层的BERT Large模型的时候，如果sequence length开满512，那么batch size仅仅开到8（有时候能到10）就把这寥寥32G的显存打满...
一句话超短摘要，速览752篇EMNLP论文 2
今年的EMNLP今天开始召开啦，不知道大家的论文列表都刷完没有呀~ 什么？论文太多，看不过来，怎么办？看了论文题目还是不知道讲的是什么，怎么办？ 别担心，今天阿花给大家带来一个刷论EMNLP论文列表的利器，帮助大家划重点啦！那就是Paper Digest团队给大家提供的 “One sentence highlight for every EMNLP-2020 Paper”。 Paper Diges...
从 ACL’22 投稿情况，速览当下 NLP 研究热点！ 9
卖萌屋的作者们，最近可真是忙秃了头~，不仅要苦哈哈地赶 ACL 2022 提前了两个月的Deadline，还要尽心尽力为读者们提供高质量的内容。如果大家心疼卖萌屋的作者们的话，还请多多一键三连:) ACL2022 全部转向了使用 ACL Rolling Review(ARR) 投稿，所有的投稿必须提交到 ARR 11 月及其之前的 Rolling Review (每月可以投稿一次)。考虑到大多数 ...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利