软硬兼施极限轻量BERT！能比ALBERT再轻13倍？！ 28
这个世界上有两种极具难度的工程：第一种是把很平常的东西做到最大，例如把语言模型扩大成能够写诗写文写代码的GPT-3；而另一种恰恰相反，是把很平常的东西做到最小。对于NLPer来说，这种“小工程”最迫在眉睫的施展对象非BERT莫属。 从18年那个109M参数的BERT，到52M参数的蒸馏后的DistilBERT，再到14.5M参数的蒸馏更多层的TinyBERT，最后到12M参数的层级共享的ALBER...
当NLPer爱上CV：后BERT时代生存指南之VL-BERT篇 13
一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 BERT的出现让NLP发展实现了一个大飞跃，甚至有大佬说NLP已经没有可以做的啦，后面就是拼机器拼money了。但是，我认为任何领域的进步之后都会有更苛刻的要求，科研没有尽头，需求也永远无法满足。而多模态，要求机器拥有多维度的感知能力，就是一个更强的挑战。 关于这个话题也逐渐成为另外一个新热点。从19年到现在的论文数量就可见一斑。 所以，为了...
吊打BERT、GPT、DALL·E，跨模态榜单新霸主诞生！ 8
最近，三个重量级榜单，视觉推理VCR、文本推理ANLI、视觉问答VQA同时被统一模态模型UNIMO霸榜。一个模型统一了视觉和文本两大主阵地，重塑了小编的认知和期望。如此全能，堪称是AI领域的外（一）星（拳）选（超）手（人）！带着兴奋与好奇，我们来解读一下这篇ACL佳作！ 论文题目: UNIMO: Towards Unified-Modal Understanding and Generation ...
ACL2020 | FastBERT：放飞BERT的推理速度 9
一只小狐狸带你解锁 炼丹术&NLP 秘籍 FastBERT 自从BERT问世以来，大多数NLP任务的效果都有了一次质的飞跃。BERT Large在GLUE test上甚至提升了7个点之多。但BERT同时也开启了模型的“做大做深”之路，普通玩家根本训不起，高端玩家虽然训得起但也不一定用得起。 所以BERT之后的发展也比较清晰，一部分壕大佬们继续搞预训练提升效果，当你对BERT Large望而...
中文BERT上分新技巧，多粒度信息来帮忙 15
自然语言处理实在是太难啦！中文尤其难！ 相比于英文，中文是以词作为语义的基本单位的，因此传统的中文 NLP 都需要先进行分词。分词这步就劝退了很多人，比如“研究生活很充实”，怎么让模型分出“研究|生活”，而不是“研究生”呢？ 随着预训练模型的到来，中文模型通常直接用字作为输入。甚至 19 年的一篇 ACL[1] 给出结论：基于“字”的模型要好于基于“词”的模型。但是，中文是以词作为语义的基本单位的...
ACL2020 | 对话数据集Mutual：论对话逻辑，BERT还差的很远 9
一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 自然语言处理是人工智能领域的掌上明珠，而人机对话则是自然语言处理领域的最终极一环。 以BERT为代表的预训练模型为自然语言处理领域带来了新的春天，在人机对话问题上也不例外。检索式多轮对话任务中，最有名的对话数据集就是Ubuntu Dialogue Corpus了，ACL2018提出的DAM是76.7%的，然而基于BERT来做却直接刷到了85....
成本砍砍砍！不用数据也能用 BERT 做对比学习？ 19
大家好，我是小昌，今天和大家聊一聊如何从 BERT 中获取好的句子表征。 大家都知道，BERT 的设计初衷是为了获得更好的单词表征。但是，利用 BERT 来表征句子的需求无论在学术界还是工业界都是非常紧迫的。因此，当下有许多方法被研究者们提出来去利用 BERT 来获取更好的句子表征。最直接的，就是对句子中的每一个单词的表征相加求均值。 而今天带来的这篇文章则是利用了对比学习，使得只使用 BERT ...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利