预训练卷不动，可以卷输入预处理啊！ 24
目前伴随着预训练预言模型的兴起，越来越多的 NLP 任务开始脱离对分词的依赖。通过 Fine-Tune Bert 这类预训练预言模型，能直接在下游任务上取得一个很好的结果。同时也有文章探讨中文分词在神经网络时代的必要性。对于分词任务本身也是如此。 那中文分词这个任务有还意义吗？或者换句话说中文分词是不是一个已经解决的任务。那么接下来笔者将会带大家梳理目前分词的研究方向和进展。 本文的思维导图如下图...
近期神奇机器学习应用大赏 10
大家好久不见呀这里是你们的白鹡鸰，不知道各位有没有想我反正我是有想各位了～由于各种大人的原因，最近在卖萌屋存在感不高。虽然还要再等一段时间才能搞事情，但是，在日常的刷文章过程中，白鹡鸰实在是被整乐(yue)了，于是忍不住提前爬上来众乐乐一波。 众所周知，Arxiv本质上是一个预注册研究想法的网站，优点是文章更新又多又快，缺点是文章质量良莠不齐，全得靠人肉分辨。今天的主题就是最近白鹡鸰看到的一些Ar...
从论文到PPT，一键生成！从此报告不用愁！ 10
俗话说：“行百步者半九十”，论文接受固然可喜可贺，然而这只是万里长征第一步。一份具有影响力的工作少不了一个后期的宣传，做好一个PPT绝对是一个技术活。不知道小伙伴们平时怎么做PPT，是复制粘贴长篇大论抑或提纲挈领图文并茂。直接拷贝论文固然简单，但是动辄大半页的文字实在很难让人提起兴趣，大家都明白应该抓住要点，并辅以图片，但是怎么总结文章各个板块并且合理排布呢，这又是个难题。 虽然论文千变万化，但是...
屠榜CV还不是这篇论文的终极目标，它更大的目标其实是…… 17
当 BERT 模型出来之后，Transformer 架构基本成为 NLP 任务的底色。诸如 Roberta、XLNet、ELECTRA、GPT3 等刷榜各类 NLP 任务的模型，无一不是基于 Transformer 框架。 无疑，Transformer 开启了 NLP 的统治时代，或者说，Transformer 已经成为 NLP 的 Back-bone Networks （基石网络）。 但是，隔壁...
论文投稿新规则，不用跑出SOTA，还能“内定”发论文？！ 15
从5月初开始，CV圈似乎开始了一阵MLP“文艺复兴”的热潮：在短短4天时间里，来自谷歌、清华、牛津、Facebook四个顶级研究机构的研究者分别独立发布了4篇关于MLP结构在图像任务上取得不错效果的论文。虽然研究本身令人兴奋，但发表的过程却让人一言难尽：来自牛津的小哥Luke就在reddit上抱怨到他正在进行的实验被谷歌的MLP-Mixer抢先发表（scoop）了，所以他正在撰写的实验总结也只能以...
撑起百万亿参数模型想象力！英伟达发布新一代SuperPOD超算，AI算力新巅峰！ 14
周一，黄教主又很淡定的在自家厨房里开完了GTC发布会。 众所周知，NLP领域的模型一个比一个大，自从百亿参数的Google T5出来后，大部分AI研究者只能望着手里的蹩脚算力兴叹。如今动辄就是千亿、万亿参数模型，目前比较流行的V100主机显然已经无法满足需求。而本周刚落幕的GTC发布会，则为如今的万亿模型想象力的时代提供了一份极其重要的保障，不仅使得造万亿模型都成为了可能，甚至打开了通往十万亿乃至...
预训练语言模型真的是世界模型？ 10
自GPT、BERT问世以来，预训练语言模型在NLP领域大放异彩，刷新了无数榜单，成为当前学界业界的心头爱，其主体结构——Transformer——也在逐步的运用于其他领域的任务中，常见的如与CV的跨界，也有相对小众的bioinfo的任务（如蛋白质分类），然后此时问题来了，NLP领域技术成熟数据丰富，相比之下，其他领域或许不那么充足，那么曾经在 文本 数据上预训练的模型对 模态 有没有迁移作用呢？ ...
NLP领域的首次Hard Label黑盒攻击！ 16
背景 前段时间已经和大家分享了两篇关于NLP Privacy的文章。今天，我们又来给大家推送优质论文了（公众号学习法）。其实，NLP与其他方向的跨界结合这段时间层出不穷，且都发表到了非常好的顶会上。目前有越来越多的 NLP 研究者开始探索文本对抗攻击这一方向，以 2020 年 ACL 为例，粗略统计有超过 10 篇相关论文。NLP Privacy可谓是NLP研究的下一个风口。 本次给大家介绍一篇文...
天天说常识推理，究竟常识是什么？ 9
写这篇文章的时候，我去搜了搜常识的例子。 “睁开眼睛打喷嚏是不可能的。（还真没留意。）““北极熊是左撇子。“”长颈鹿没办法咳嗽。” 呃？好吧，我需要补一补自己的常识。那么这些所谓的“常识”真的是常识吗？ 关于常识的研究近年来是比较火热的话题，在NLP领域，研究的方向主要有两条线，一是各种benchmark数据集的构建，各种刷榜以测试我们的模型是否具备某些类型的常识；二是常识知识图谱的构建，关注点主...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利