把数据集刷穿是什么体验？MetaQA已100%准确率 16
文 | 炼丹学徒 编 | 小轶 开始炼丹以来，估计很多小伙伴都和我一样幻想过直接把数据集做到 100% 准确率，然后大吼一声：这数据集，我做到头了！ 然而愿望终究是愿望。大多时候，看着自己手头上用了浑身解数才提了零点几个点的数据集，只想把它换掉。体谅到我们没吃过猪肉——最近清华大学李涓子组发表了一篇多跳问答工作TransferNet，怕是可以带大家看看猪跑了。 把数据集刷穿究竟是一种什么体验？出于...
论文投稿新规则，不用跑出SOTA，还能“内定”发论文？！ 15
从5月初开始，CV圈似乎开始了一阵MLP“文艺复兴”的热潮：在短短4天时间里，来自谷歌、清华、牛津、Facebook四个顶级研究机构的研究者分别独立发布了4篇关于MLP结构在图像任务上取得不错效果的论文。虽然研究本身令人兴奋，但发表的过程却让人一言难尽：来自牛津的小哥Luke就在reddit上抱怨到他正在进行的实验被谷歌的MLP-Mixer抢先发表（scoop）了，所以他正在撰写的实验总结也只能以...
NAACL’21 | 来看如何让模型学会因为所以但是如果 19
有一些标准考试那是真的难，难到能分分钟教你做人。对于留学党来说，申请法学博士需要 LSAT 考试成绩、申请商学院需要 GMAT 考试成绩。这些标准考试到底有多难，大概考过的都懂8（嘤嘤嘤_(:з」∠)_） 要想在这些考试中取得高分，需要有很强的理解和分析复杂文本的能力。而具体而言，这类复杂文本可以被称作论证文本，英文叫做 Argument。什么是 Argument 呢？最简单的形式，有前提（Pre...
撑起百万亿参数模型想象力！英伟达发布新一代SuperPOD超算，AI算力新巅峰！ 14
周一，黄教主又很淡定的在自家厨房里开完了GTC发布会。 众所周知，NLP领域的模型一个比一个大，自从百亿参数的Google T5出来后，大部分AI研究者只能望着手里的蹩脚算力兴叹。如今动辄就是千亿、万亿参数模型，目前比较流行的V100主机显然已经无法满足需求。而本周刚落幕的GTC发布会，则为如今的万亿模型想象力的时代提供了一份极其重要的保障，不仅使得造万亿模型都成为了可能，甚至打开了通往十万亿乃至...
别只关注GPT3！细如发丝的模型更具现实杀伤力！ 14
这个世界上有两种极具难度的工程：第一种是把很平常的东西做到最大，例如把语言模型扩大成能够写诗写文写代码的GPT-3；而另一种恰恰相反，是把很平常的东西做到最小。 GPT3自从诞生以来，便受到了学术界、工业界乃至行外大众的夸张式吹捧（我都怕哪天我妈突然让我给她讲GPT3是啥），当然，其中也不乏批评和质疑的声音。不过，本文不讨论GPT3的是是非非，而是讨论另一个相反的极端——边缘计算！用人话讲，你考虑...
这篇论文提出了一个文本<->知识图谱的格式转换器... 21
Hello, 大家好，我是小花。今天给大家介绍一篇有野心的paper。为何如此说呢？因为该工作提出了一个知识的格式转换器，用于转换 无结构化的纯文本(Text)和结构化的知识图谱(KG) 。换句话说，给模型一打句子，它能够将其转换为一个图。图中的节点是句子中的关键信息，边表示不同节点的关系。反过来，给模型一个图，它能将其格式化为流畅的自然语言。 举个例子，就是实现下面句子和图之间的格式转换： Th...
千呼万唤始出来——GPT-3终于开源！ 5
GPT3终于开源！不过，不是官方开的（别打我 Eleuther AI推出的名为GPT-Neo的开源项目，于今晨4点于twitter正式宣布：已经开源了复现版GPT-3的模型参数（1.3B和2.7B级别），并将其更新在Colab notebook之上。需要指出的是这次开源的模型里较大的那个版本也只是到了GPT-3商用版里最小模型的参数量，不过Eleuther AI表示未来会进一步开源10B版本和原始...
全栈深度学习第5期: 神经网络调试技巧
简介 Berkeley全栈深度学习追剧计划是由夕小瑶的卖萌屋发起的优质公开课打卡项目，通过微信群为同期追剧的小伙伴提供交流平台。关于该计划的详请见这里。 Berkeley深度学习追剧群 目前已有1000+小伙伴加入，公众号后台回复口令 深度学习追剧 入群。 课程主页 https://course.fullstackdeeplearning.com 第5期内容 神经网络的调试确实是让人头秃的事情，如...
天天说常识推理，究竟常识是什么？ 9
写这篇文章的时候，我去搜了搜常识的例子。 “睁开眼睛打喷嚏是不可能的。（还真没留意。）““北极熊是左撇子。“”长颈鹿没办法咳嗽。” 呃？好吧，我需要补一补自己的常识。那么这些所谓的“常识”真的是常识吗？ 关于常识的研究近年来是比较火热的话题，在NLP领域，研究的方向主要有两条线，一是各种benchmark数据集的构建，各种刷榜以测试我们的模型是否具备某些类型的常识；二是常识知识图谱的构建，关注点主...
惊了，掌握了这个炼丹技巧的我开始突飞猛进 3
从不拖稿的小夕今天在知乎上刷到一个问题： 哈？一向求真务实、高逼格讨论的知乎画风怎么突然就不一样了。 我以为回答区会有这张图： ▲如来神掌 结果竟然没有！知乎果然没有让我失望，还是一如既往的认真、严谨、有逼格。咳咳，作为一枚知乎算法圈的老司机小可爱，感觉自己有必要来添砖加瓦一下。 相信我，深刻理解数据的重要性与数据构造&迭代&使用技术，你会从算法小白突飞猛进到即将入门！（认真脸 首...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利