成本砍砍砍！不用数据也能用 BERT 做对比学习？ 19
大家好，我是小昌，今天和大家聊一聊如何从 BERT 中获取好的句子表征。 大家都知道，BERT 的设计初衷是为了获得更好的单词表征。但是，利用 BERT 来表征句子的需求无论在学术界还是工业界都是非常紧迫的。因此，当下有许多方法被研究者们提出来去利用 BERT 来获取更好的句子表征。最直接的，就是对句子中的每一个单词的表征相加求均值。 而今天带来的这篇文章则是利用了对比学习，使得只使用 BERT ...
ACL2020 | FastBERT：放飞BERT的推理速度 9
一只小狐狸带你解锁 炼丹术&NLP 秘籍 FastBERT 自从BERT问世以来，大多数NLP任务的效果都有了一次质的飞跃。BERT Large在GLUE test上甚至提升了7个点之多。但BERT同时也开启了模型的“做大做深”之路，普通玩家根本训不起，高端玩家虽然训得起但也不一定用得起。 所以BERT之后的发展也比较清晰，一部分壕大佬们继续搞预训练提升效果，当你对BERT Large望而...
当NLPer爱上CV：后BERT时代生存指南之VL-BERT篇 13
一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 BERT的出现让NLP发展实现了一个大飞跃，甚至有大佬说NLP已经没有可以做的啦，后面就是拼机器拼money了。但是，我认为任何领域的进步之后都会有更苛刻的要求，科研没有尽头，需求也永远无法满足。而多模态，要求机器拥有多维度的感知能力，就是一个更强的挑战。 关于这个话题也逐渐成为另外一个新热点。从19年到现在的论文数量就可见一斑。 所以，为了...
打破BERT天花板：11种花式炼丹术刷爆NLP分类SOTA！ 8
在2020这个时间节点，对于NLP分类任务，我们的关注重点早已不再是如何构造模型、拘泥于分类模型长什么样子了。如同CV领域当前的重点一样，我们更应该关注如何利用机器学习思想，更好地去解决NLP分类任务中的低耗时、小样本、鲁棒性、不平衡、测试检验、增量学习、长文本等问题。 本文以QA形式探讨了以下问题： NLP分类任务我们每个NLPer都异常熟悉了，其在整个NLP业务中占据着举足轻重的地位，更多领域...
学会提问的BERT：端到端地从篇章中构建问答对 3
机器阅读理解任务，相比不少读者都有所了解了，简单来说就是从给定篇章中寻找给定问题的答案，即“篇章 + 问题 → 答案”这样的流程，笔者之前也写过一些关于阅读理解的文章，比如《基于CNN的阅读理解式问答模型：DGCNN》[1]等。至于问答对构建，则相当于是阅读理解的反任务，即“篇章 → 答案 + 问题”的流程，学术上一般直接叫“问题生成（Question Generation）”，因为大多数情况下，...
如何让BERT拥有视觉感知能力？两种方式将视频信息注入BERT 35
一只小狐狸带你解锁NLP/ML/DL秘籍 老板老板，听说BERT是个瞎子 此话怎讲？ 它能理解语言，但是理解不了小夕的自拍！ video-BERT了解一下 喵喵喵？ AI的三大核心板块（CV/Speech/NLP）近几年都相继取得了非常大的发展和进步。但是正所谓成也萧何，败也萧何，深度学习一直在能力泛化和鲁棒性问题上饱受诟病，通用AI之路遥遥无期。 不过，近期得益于预训练模型的成功，似乎跨模态问题...
NLP的游戏规则从此改写？从word2vec, ELMo到BERT 20
前言 还记得不久之前的机器阅读理解领域，微软和阿里在SQuAD上分别以R-Net+和SLQA超过人类，百度在MS MARCO上凭借V-Net霸榜并在BLEU上超过人类。这些网络可以说一个比一个复杂，似乎“如何设计出一个更work的task-specific的网络"变成了NLP领域政治正确的研究方向。而在这种风向下，不管word2vec也好，glove也好，fasttext也好，都只能充当一个锦上添...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利