成本砍砍砍!不用数据也能用 BERT 做对比学习?

成本砍砍砍!不用数据也能用 BERT 做对比学习? 19

知行编程网 人工智能前沿 11个月前 (02-13) 35 0

大家好,我是小昌,今天和大家聊一聊如何从 BERT 中获取好的句子表征。 大家都知道,BERT 的设计初衷是为了获得更好的单词表征。但是,利用 BERT 来表征句子的需求无论在学术界还是工业界都是非常紧迫的。因此,当下有许多方法被研究者们提出来去利用 BERT 来获取更好的句子表征。最直接的,就是对句子中的每一个单词的表征相加求均值。 而今天带来的这篇文章则是利用了对比学习,使得只使用 BERT ...

中文BERT上分新技巧,多粒度信息来帮忙

中文BERT上分新技巧,多粒度信息来帮忙 15

知行编程网 人工智能前沿 11个月前 (02-10) 113 0

自然语言处理实在是太难啦!中文尤其难! 相比于英文,中文是以词作为语义的基本单位的,因此传统的中文 NLP 都需要先进行分词。分词这步就劝退了很多人,比如“研究生活很充实”,怎么让模型分出“研究|生活”,而不是“研究生”呢? 随着预训练模型的到来,中文模型通常直接用字作为输入。甚至 19 年的一篇 ACL[1] 给出结论:基于“字”的模型要好于基于“词”的模型。但是,中文是以词作为语义的基本单位的...

吊打BERT、GPT、DALL·E,跨模态榜单新霸主诞生!

吊打BERT、GPT、DALL·E,跨模态榜单新霸主诞生! 8

知行编程网 人工智能前沿 11个月前 (02-09) 148 0

最近,三个重量级榜单,视觉推理VCR、文本推理ANLI、视觉问答VQA同时被统一模态模型UNIMO霸榜。一个模型统一了视觉和文本两大主阵地,重塑了小编的认知和期望。如此全能,堪称是AI领域的外(一)星(拳)选(超)手(人)!带着兴奋与好奇,我们来解读一下这篇ACL佳作! 论文题目: UNIMO: Towards Unified-Modal Understanding and Generation ...

还在用[CLS]?从BERT得到最强句子Embedding的打开方式!

还在用[CLS]?从BERT得到最强句子Embedding的打开方式! 17

知行编程网 人工智能前沿 1年前 (2022-01-30) 283 0

文:涅生 编:兔子酱 你有尝试从 BERT 提取编码后的 sentence embedding 吗?很多小伙伴的第一反应是:不就是直接取顶层的[CLS] token的embedding作为句子表示嘛,难道还有其他套路不成? nono,你知道这样得到的句子表示捕捉到的语义信息其实很弱吗?今天向大家介绍一篇来自于 CMU 和字节跳动合作,发表在 EMNLP2020 的 paper, 详尽地分析了从预训...

软硬兼施极限轻量BERT!能比ALBERT再轻13倍?!

软硬兼施极限轻量BERT!能比ALBERT再轻13倍?! 28

知行编程网 人工智能前沿 1年前 (2022-01-30) 28 0

这个世界上有两种极具难度的工程:第一种是把很平常的东西做到最大,例如把语言模型扩大成能够写诗写文写代码的GPT-3;而另一种恰恰相反,是把很平常的东西做到最小。对于NLPer来说,这种“小工程”最迫在眉睫的施展对象非BERT莫属。 从18年那个109M参数的BERT,到52M参数的蒸馏后的DistilBERT,再到14.5M参数的蒸馏更多层的TinyBERT,最后到12M参数的层级共享的ALBER...

我的BERT!改改字典,让BERT安全提速不掉分(已开源)

我的BERT!改改字典,让BERT安全提速不掉分(已开源) 3

知行编程网 人工智能前沿 1年前 (2022-01-24) 76 0

背景 当前,大部分中文预训练模型都是以字为基本单位的,也就是说中文语句会被拆分为一个个字。中文也有一些多粒度的语言模型,比如创新工场的ZEN和字节跳动的AMBERT,但这类模型的基本单位还是字,只不过想办法融合了词信息。目前以词为单位的中文预训练模型很少,据笔者所了解到就只有腾讯UER开源了一个以词为颗粒度的BERT模型,但实测效果并不好。 那么,纯粹以词为单位的中文预训练模型效果究竟如何呢?有没...

学会提问的BERT:端到端地从篇章中构建问答对

学会提问的BERT:端到端地从篇章中构建问答对 3

知行编程网 人工智能前沿 1年前 (2022-01-22) 4 0

机器阅读理解任务,相比不少读者都有所了解了,简单来说就是从给定篇章中寻找给定问题的答案,即“篇章 + 问题 → 答案”这样的流程,笔者之前也写过一些关于阅读理解的文章,比如《基于CNN的阅读理解式问答模型:DGCNN》[1]等。至于问答对构建,则相当于是阅读理解的反任务,即“篇章 → 答案 + 问题”的流程,学术上一般直接叫“问题生成(Question Generation)”,因为大多数情况下,...

打破BERT天花板:11种花式炼丹术刷爆NLP分类SOTA!

打破BERT天花板:11种花式炼丹术刷爆NLP分类SOTA! 8

知行编程网 人工智能前沿 1年前 (2022-01-22) 2 0

在2020这个时间节点,对于NLP分类任务,我们的关注重点早已不再是如何构造模型、拘泥于分类模型长什么样子了。如同CV领域当前的重点一样,我们更应该关注如何利用机器学习思想,更好地去解决NLP分类任务中的低耗时、小样本、鲁棒性、不平衡、测试检验、增量学习、长文本等问题。 本文以QA形式探讨了以下问题: NLP分类任务我们每个NLPer都异常熟悉了,其在整个NLP业务中占据着举足轻重的地位,更多领域...

万能的BERT连文本纠错也不放过

万能的BERT连文本纠错也不放过 5

知行编程网 人工智能前沿 1年前 (2022-01-18) 30 0

一只小狐狸带你解锁炼丹术&NLP秘籍 背景 文本纠错(Spelling Error Correction)技术常用于文本的预处理阶段。在搜索引擎、输入法和 OCR 中有着广泛的应用。2020年的文本纠错自然也离不开 BERT 的表演。但原生的 BERT 在一些NLP任务如error detection、NER中表现欠佳,说明预训练阶段的学习目标中对相关模式的捕获非常有限,需要根据任务进行一...

别再蒸馏3层BERT了!变矮又能变瘦的DynaBERT了解一下

别再蒸馏3层BERT了!变矮又能变瘦的DynaBERT了解一下 10

知行编程网 人工智能前沿 1年前 (2022-01-17) 35 0

一只小狐狸带你解锁炼丹术&NLP秘籍 神经网络模型除了部署在远程服务器之外,也会部署在手机、音响等智能硬件上。比如在自动驾驶的场景下,大部分模型都得放在车上的终端里,不然荒山野岭没有网的时候就尴尬了。对于BERT这类大模型来说,也有部署在终端的需求,但考虑到设备的运算速度和内存大小,是没法部署完整版的,必须对模型进行瘦身压缩。 说到模型压缩,常用的方法有以下几种: 量化:用FP16或者IN...

扫一扫二维码分享