45个小众而实用的NLP开源字典和工具 3
一只小狐狸带你解锁NLP/ML/DL秘籍 前言 随着BERT、ERNIE、XLNet等预训练模型的流行，解决NLP问题时不用上预训练模型似乎总显得自己有点过时。但是这显然是不对的。 众所周知，无论训练还是推理，预训练模型都会消耗大量的算力，且高度依赖GPU计算资源。然而，有很多的NLP问题实际上仅仅靠字典+规则就可以做到够用，那么这时候强行上笨重的模型无异于高射炮打蚊子，性价比是非常低的。 于...
NLP太卷，我去研究蛋白质了~ 16
为什么“单词”被省略了：单词的本质是含义简单且可以高频重复的信息，句子的本质是经过多个单词不断消歧最终包含指向性含义的信息。从基因角度来看，大的片段相当于句子，对这些片段再分段起单词作用，密码子（每三个核苷酸）对应一个氨基酸，本质上还是字母。从蛋白质角度来看，二级结构中由氢键造成的较为规律的折叠、螺旋可以视作单词，能实现特定功能的蛋白质才称得上句子。 参考文献 理论基础，思想很重要，但论证得并不好...
如何让BERT拥有视觉感知能力？两种方式将视频信息注入BERT 35
一只小狐狸带你解锁NLP/ML/DL秘籍 老板老板，听说BERT是个瞎子 此话怎讲？ 它能理解语言，但是理解不了小夕的自拍！ video-BERT了解一下 喵喵喵？ AI的三大核心板块（CV/Speech/NLP）近几年都相继取得了非常大的发展和进步。但是正所谓成也萧何，败也萧何，深度学习一直在能力泛化和鲁棒性问题上饱受诟病，通用AI之路遥遥无期。 不过，近期得益于预训练模型的成功，似乎跨模态问题...
NLP未来，路在何方？12位巨佬联名指路！ 7
CMU、华盛顿大学、南加州大学、MIT、MILA、密歇根大学、爱丁堡大学、DeepMind、伯克利、Apple…如果我说来自这些地方的dalao共同发表了一篇文章，你相信么？但别惊讶，在即将召开的EMNLP'20的长文列表里，我们就真找到了这样一篇“奇文”。一篇论文引得众星云集，那解决的必然不是小问题。这不，作者也很贴心地把他们所希望解决的问题斜体独行地放在了论文的首栏里—— Where is N...
当NLPer爱上CV：后BERT时代生存指南之VL-BERT篇 13
一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 BERT的出现让NLP发展实现了一个大飞跃，甚至有大佬说NLP已经没有可以做的啦，后面就是拼机器拼money了。但是，我认为任何领域的进步之后都会有更苛刻的要求，科研没有尽头，需求也永远无法满足。而多模态，要求机器拥有多维度的感知能力，就是一个更强的挑战。 关于这个话题也逐渐成为另外一个新热点。从19年到现在的论文数量就可见一斑。 所以，为了...
一人之力，刷爆三路榜单！信息抽取竞赛夺冠经验分享 24
在现如今的NLP竞赛中，信息抽取（IE）任务已占据半壁江山。来，让我们看看今年的一些IE竞赛都有啥： 看到如此众多的IE竞赛，心动的JayJay抽空参加了CHIP2020（中国健康信息处理大会）中的3个评测，最终获得了2个冠军、1个季军，具体如下表所示： 评测任务名称 所获名次 评测网址 中文医学实体关系抽取 第一 http://cips-chip.org.cn/2020/eval2 临床医学术语...
ACL2020 | 对话数据集Mutual：论对话逻辑，BERT还差的很远 9
一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 自然语言处理是人工智能领域的掌上明珠，而人机对话则是自然语言处理领域的最终极一环。 以BERT为代表的预训练模型为自然语言处理领域带来了新的春天，在人机对话问题上也不例外。检索式多轮对话任务中，最有名的对话数据集就是Ubuntu Dialogue Corpus了，ACL2018提出的DAM是76.7%的，然而基于BERT来做却直接刷到了85....
Transformer哪家强？Google爸爸辨优良！ 13
2017年Attention is all you need横空出世，Transformer横扫机器翻译，隔年诞生的BERT建立在层层堆叠的Transformer之上，凭借这个平平无奇的Attention点乘模型一举刷新了各种沉积许久的榜单，一夜间仿佛不懂Transformer，都不敢说自己是NLPer了，曾经最心爱的RNN也瞬间黯然失色。 Transformer有着简易的的结构、SOTA的能力，...
ACL2020 | 线上搜索结果大幅提升！亚马逊提出对抗式query-doc相关性模型 10
一只小狐狸带你解锁 炼丹术&NLP 秘籍 背景 搜索和推荐经常会被放在一起对比，其中最突出的区别就是搜索中存在query，需要充分考虑召回内容和query之间的相关性，而如果内容是搜索广告，则对内容有更高的要求，相关性过低的内容被展示会让用户有很差的体验。 相关性在一定程度上可以被抽象成doc和query之间的语义相似度问题，其实当前语义相似度的研究已经非常成熟，在sigir2018中有人...
我删掉了Transformer中的这几层…性能反而变好了？ 13
基于Transformer结构的各类语言模型（Bert基于其encoder,Gpt-2基于其decoder）早已经在各类NLP任务上大放异彩，面对让人眼花缭乱的transformer堆叠方式，你是否也会感到迷茫？没关系，现在让我们回到最初，再次看看transformer 本来的模样——Rethinking the Value of Transformer Components。该文收录已于COLI...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利