数学转CS，看斯坦福NLP博士、Manning高徒Abigail See怎么学AI 6
选自 | deeplearning.ai编译 |机器之心参与 | 路雪、王淑婷近日，deeplearning.ai 采访了斯坦福 NLP 博士 Abigail See，她师从 Chris Manning，在 NLP 领域已经取得很多成绩，她还是斯坦福经典课程 CS224n 课程的助教。这篇文章介绍了她的日常工作、研究兴趣、对 AI 研究人员的建议等。问：你是如何开始 AI 研究的？答：我在英国剑桥...
百度提出ERNIE，多项中文NLP任务表现出色（已开源） 3
整理 | Jane出品 | AI科技大本营【导语】近日，百度提出知识增强的语义表示模型 ERNIE（Enhanced Representation from kNowledge IntEgration），通过对词、实体等语义单元的掩码，使得模型学习完整概念的语义表示。在语言推断、语义相似度、命名实体识别、情感分析、问答匹配等多项中文 NLP 任务上表现出色，有些甚至优于 BERT 在处理同类中文任...
一步步教你构建 NLP 流水线 16
前 言 计算机更擅长理解结构化数据，让计算机去理解主要以文化习惯沉淀下来的人类语言实在是太为难它们了。那自然语言处理获得的成功又是如何成就的呢？那就是，把人类语言（尽可能）结构化。本文以简单的例子一步步向我们展示了自然语言处理流水线的每个阶段的工作过程，也就是将语言结构化的过程，从句子分割、词汇标记化、...、到共指解析一步步展现。作者的解释很直观、好理解，对于刚入门 NLP 的小伙伴是不可多得...
从 ACL’22 投稿情况，速览当下 NLP 研究热点！ 9
卖萌屋的作者们，最近可真是忙秃了头~，不仅要苦哈哈地赶 ACL 2022 提前了两个月的Deadline，还要尽心尽力为读者们提供高质量的内容。如果大家心疼卖萌屋的作者们的话，还请多多一键三连:) ACL2022 全部转向了使用 ACL Rolling Review(ARR) 投稿，所有的投稿必须提交到 ARR 11 月及其之前的 Rolling Review (每月可以投稿一次)。考虑到大多数 ...
一训练就显存爆炸？Facebook 推出 8 比特优化器，两行代码拯救你的显存！ 24
“小夕，小夕！又出来了个 SOTA 模型！赶紧 follow ！” 小夕看了看新模型的参数量， 然后看了看实验室服务器的几张小破卡。 小夕，陷入了沉默。 自从人们发现越大的模型性能越好后，神经网络模型的参数量就在越来越大的道路上一去不复返了。从XX-large到GPT3，再到5300亿参数的Megatron Turing-NLG，深度学习越来越像是只有财大气粗的大公司才能玩得起的玩具。如果，我们想...
图灵奖大佬 Lecun 发表对比学习新作，比 SimCLR 更好用！ 11
文 | Rukawa_Y 编 | 智商掉了一地，Sheryc_王苏 比 SimCLR 更好用的 Self-Supervised Learning，一起来看看吧！ Self-Supervised Learning作为深度学习中的独孤九剑，当融汇贯通灵活应用之后，也能打败声名在外的武当太极剑。比如在NLP领域中，每当遇到文本分类的问题，BERT + funetuning的套路来应对，但是也正因为如此大...
学完文本知识，我就直接看懂图片了！ 18
2020年, OpenAI的大作GPT-3 (Language Models are few shot learners) 横空出世，震惊整个NLP/AI圈。大家在惊叹于GPT-3 1750B参数的壕无人性同时，想必对GPT-3中的Prompt方法印象深刻。简单来说，(GPT-3中的)Prompt就是为输入的数据提供模板（例如对于翻译任务 Translate English to Chinese:...
谷歌：一篇论文，让研究者吃我三份安利 18
前言 计算机视觉、机器学习，这两个词会让你想到什么？ 相信绝大多数人第一反应都是CNN，而持续关注这些领域发展的人，则会进一步联想到近几年大火的Transformer，它不仅在自然语言相关任务上表现优秀，在图像领域同样取得了相当不错的效果。去年10月份Google推出的Vision Transformer (ViT)，就在图像识别任务上用更高的学习效率，达到了不亚于ResNet的精度。当一个模型性...
发现一篇专门吐槽 NLP 内卷现状的 ACL 论文 ... 12
随着大模型的发展，NLP领域的榜单可说是内卷到了无以复加，现在去浏览各大公开榜单，以至于各个比赛，随处可见BERT、RoBERTa的身影，甚至榜单中见到各大large模型的集成版也并非偶然。在发论文的时候，又要不断地去内卷SOTA，今天的SOTA在明天就有可能被打败，成为了过眼云烟。极端情况下，某一篇论文正在撰写，ArXiv上就突然刷新了SOTA，又足以让研究者们头疼应该怎样应对。 同时，参数规模...
写了一篇关于 NLP 综述的综述！ 19
综述，往往是了解一个子领域最为高效的起点。然而，对于AI这样一个日新月异高速发展的行业，时效性也自然地成为了我们选择综述的衡量指标之一。即使一篇 AI 综述具有超高 citation，如果它写于 20 年前，那对今天的我们来说，这份综述的总结必然是不够全面的。那么，站在 NLP 发展轨迹中的此时此刻，哪些综述是当前最值得阅读的呢？ 本文参考了 Elvis Saravia 相关主题的 twitter...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利