当NLPer爱上CV:后BERT时代生存指南之VL-BERT篇

当NLPer爱上CV:后BERT时代生存指南之VL-BERT篇 13

知行编程网 人工智能前沿 2年前 (2022-01-15) 22 0

一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 BERT的出现让NLP发展实现了一个大飞跃,甚至有大佬说NLP已经没有可以做的啦,后面就是拼机器拼money了。但是,我认为任何领域的进步之后都会有更苛刻的要求,科研没有尽头,需求也永远无法满足。而多模态,要求机器拥有多维度的感知能力,就是一个更强的挑战。 关于这个话题也逐渐成为另外一个新热点。从19年到现在的论文数量就可见一斑。 所以,为了...

45个小众而实用的NLP开源字典和工具

45个小众而实用的NLP开源字典和工具 3

知行编程网 人工智能前沿 2年前 (2022-01-14) 42 0

一只小狐狸带你解锁NLP/ML/DL秘籍   前言 随着BERT、ERNIE、XLNet等预训练模型的流行,解决NLP问题时不用上预训练模型似乎总显得自己有点过时。但是这显然是不对的。 众所周知,无论训练还是推理,预训练模型都会消耗大量的算力,且高度依赖GPU计算资源。然而,有很多的NLP问题实际上仅仅靠字典+规则就可以做到够用,那么这时候强行上笨重的模型无异于高射炮打蚊子,性价比是非常低的。 于...

文本分类有哪些论文中很少提及却对性能有重要影响的tricks?

文本分类有哪些论文中很少提及却对性能有重要影响的tricks?

知行编程网 人工智能前沿 2年前 (2022-01-07) 38 0

前言 正好在刷一个比较有趣的task,结果发现奇奇怪怪的tricks可以带来不少的性能收益。再加上后来为了验证一个小idea跑了一堆公开的文本分类数据集,虽然idea没有多亮,倒是积累和摸索了不少刷性能的tricks╮( ̄▽ ̄””)╭然后呢,小夕后续又用这些tricks刷了不少相关的比赛(哪怕是文本匹配这种特殊的文本分类问题),发现baseline+一堆tricks+简单集成就可以随随便便刷到一个...

最新的自然语言理解领域分类的无超参数连续学习

最新的自然语言理解领域分类的无超参数连续学习 2

橙子 每日Arxiv 2年前 (2022-01-07) 7 0

Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding 今天,橙子姐姐带大家了解下NLP相关知识,我们一起来看一下吧~ 领域分类是自然语言理解 (NLU) 的基本任务,它通常需要快速适应新兴领域。这种约束使得不可能重新训练所有以前的域,即使它们可以被新模型...

如何匹配两段文本的语义?

如何匹配两段文本的语义? 5

知行编程网 人工智能前沿 2年前 (2022-01-06) 7 0

喵喵喵,好久不见啦。首先很抱歉大家期待的调参手册(下)迟迟没有出稿,最近两个月连着赶了4个DDL,整个人都不好了。最近几天终于有时间赶一下未完成的稿子了。在赶DDL的时候夹着写了这篇文章,就先发布这一篇吧~调参手册(下)不出意外的话最近也可以发布啦。 本文由来 一年前在知乎上关注过这么一个问题: 如何判断两段文本说的是「同一件事情」? - 知乎 https://www.zhihu.com/ques...

NLP的游戏规则从此改写?从word2vec, ELMo到BERT

NLP的游戏规则从此改写?从word2vec, ELMo到BERT 20

知行编程网 人工智能前沿 2年前 (2022-01-06) 2 0

前言 还记得不久之前的机器阅读理解领域,微软和阿里在SQuAD上分别以R-Net+和SLQA超过人类,百度在MS MARCO上凭借V-Net霸榜并在BLEU上超过人类。这些网络可以说一个比一个复杂,似乎“如何设计出一个更work的task-specific的网络"变成了NLP领域政治正确的研究方向。而在这种风向下,不管word2vec也好,glove也好,fasttext也好,都只能充当一个锦上添...

扫一扫二维码分享