数学转CS，看斯坦福NLP博士、Manning高徒Abigail See怎么学AI 6
选自 | deeplearning.ai编译 |机器之心参与 | 路雪、王淑婷近日，deeplearning.ai 采访了斯坦福 NLP 博士 Abigail See，她师从 Chris Manning，在 NLP 领域已经取得很多成绩，她还是斯坦福经典课程 CS224n 课程的助教。这篇文章介绍了她的日常工作、研究兴趣、对 AI 研究人员的建议等。问：你是如何开始 AI 研究的？答：我在英国剑桥...
Google | 突破瓶颈，打造更强大的Transformer 4
一只小狐狸带你解锁炼丹术&NLP秘籍 前言 《Attention is All You Need》一文发布后，基于Multi-Head Attention的Transformer模型开始流行起来，而去年发布的BERT模型更是将Transformer模型的热度推上了又一个高峰。当然，技术的探索是无止境的，改进的工作也相继涌现：有改进预训练任务的，比如XLNET的PLM、ALBERT的SOP等...
中文分词的古今中外，你想知道的都在这里 30
一只小狐狸带你解锁NLP/ML/DL秘籍 前言 分词（word tokenization），也叫切词，即通过某种方式将句子中的各个词语识别并分离开来，使得文本从“字序列”的表示升级为“词序列”表示。分词技术不仅仅适用于中文，对于英文、日文、韩文等语言也同样适用。 虽然英文中有天然的单词分隔符（空格），但是常有单词与其他标点黏滞的情况，比如"Hey, how are you."中的"Hey"和"yo...
如何打造高质量的NLP数据集
无论是做研究还是解决业务问题，做数据集都是绕不开的问题。很多刚入行的同学觉得发布一个数据集是最容易灌水的了，燃鹅如果你真的做过就会发现，随意产生一个数据集很容易，但是若以解决实际问题或让大家能在上面磕盐玩耍为目的，来产生一个能用的、质量高的、难度适中的数据集一点都不容易，超级费时费脑子甚至费钱好不好(╯°□°）╯︵┻━┻ 虽然并没有刻意的研究数据集该怎么做，不过因为项目或研究需要，已经被赶鸭子上架...
一训练就显存爆炸？Facebook 推出 8 比特优化器，两行代码拯救你的显存！ 24
“小夕，小夕！又出来了个 SOTA 模型！赶紧 follow ！” 小夕看了看新模型的参数量， 然后看了看实验室服务器的几张小破卡。 小夕，陷入了沉默。 自从人们发现越大的模型性能越好后，神经网络模型的参数量就在越来越大的道路上一去不复返了。从XX-large到GPT3，再到5300亿参数的Megatron Turing-NLG，深度学习越来越像是只有财大气粗的大公司才能玩得起的玩具。如果，我们想...
打破BERT天花板：11种花式炼丹术刷爆NLP分类SOTA！ 8
在2020这个时间节点，对于NLP分类任务，我们的关注重点早已不再是如何构造模型、拘泥于分类模型长什么样子了。如同CV领域当前的重点一样，我们更应该关注如何利用机器学习思想，更好地去解决NLP分类任务中的低耗时、小样本、鲁棒性、不平衡、测试检验、增量学习、长文本等问题。 本文以QA形式探讨了以下问题： NLP分类任务我们每个NLPer都异常熟悉了，其在整个NLP业务中占据着举足轻重的地位，更多领域...
那些击溃了所有NLP系统的样本 10
非常重要的前言 无论你是PM还是QA还是java开发，请不要拿本文刺激你身边的NLP工程师，人生已经如此的艰难，有些事情就 击溃拼音标注系统篇 写给卖豆芽的对联，我想打印出拼音 长长长长长长长，长长长长长长长。 (solution: changzhangchangzhangchangchangzhangzhangchangzhangchangzhangzhangchang, zhangchan...
谷歌：一篇论文，让研究者吃我三份安利 18
前言 计算机视觉、机器学习，这两个词会让你想到什么？ 相信绝大多数人第一反应都是CNN，而持续关注这些领域发展的人，则会进一步联想到近几年大火的Transformer，它不仅在自然语言相关任务上表现优秀，在图像领域同样取得了相当不错的效果。去年10月份Google推出的Vision Transformer (ViT)，就在图像识别任务上用更高的学习效率，达到了不亚于ResNet的精度。当一个模型性...
NLP中的少样本困境问题探究 25
一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 在医疗、金融、法律等领域，高质量的标注数据十分稀缺、昂贵，我们通常面临少样本低资源问题。本文从「文本增强」和「半监督学习」这两个角度出发，谈一谈如何解决少样本困境。 正式介绍之前，我们首先需要思考什么才是一种好的解决少样本困境的方案？本文尝试给出了三个层次的评价策略，我们希望采取相关数据增强或弱监督技术后： 在少样本场景下，比起同等标注量的无...
NLP未来，路在何方？12位巨佬联名指路！ 7
CMU、华盛顿大学、南加州大学、MIT、MILA、密歇根大学、爱丁堡大学、DeepMind、伯克利、Apple…如果我说来自这些地方的dalao共同发表了一篇文章，你相信么？但别惊讶，在即将召开的EMNLP'20的长文列表里，我们就真找到了这样一篇“奇文”。一篇论文引得众星云集，那解决的必然不是小问题。这不，作者也很贴心地把他们所希望解决的问题斜体独行地放在了论文的首栏里—— Where is N...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利