学完文本知识,我就直接看懂图片了!

学完文本知识,我就直接看懂图片了! 18

知行编程网 人工智能前沿 2年前 (2022-02-16) 51 0

2020年, OpenAI的大作GPT-3 (Language Models are few shot learners) 横空出世,震惊整个NLP/AI圈。大家在惊叹于GPT-3 1750B参数的壕无人性同时,想必对GPT-3中的Prompt方法印象深刻。简单来说,(GPT-3中的)Prompt就是为输入的数据提供模板(例如对于翻译任务 Translate English to Chinese:...

当NLPer爱上CV:后BERT时代生存指南之VL-BERT篇

当NLPer爱上CV:后BERT时代生存指南之VL-BERT篇 13

知行编程网 人工智能前沿 2年前 (2022-01-15) 22 0

一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 BERT的出现让NLP发展实现了一个大飞跃,甚至有大佬说NLP已经没有可以做的啦,后面就是拼机器拼money了。但是,我认为任何领域的进步之后都会有更苛刻的要求,科研没有尽头,需求也永远无法满足。而多模态,要求机器拥有多维度的感知能力,就是一个更强的挑战。 关于这个话题也逐渐成为另外一个新热点。从19年到现在的论文数量就可见一斑。 所以,为了...

NLP未来,路在何方?12位巨佬联名指路!

NLP未来,路在何方?12位巨佬联名指路! 7

知行编程网 人工智能前沿 2年前 (2022-01-27) 8 0

CMU、华盛顿大学、南加州大学、MIT、MILA、密歇根大学、爱丁堡大学、DeepMind、伯克利、Apple…如果我说来自这些地方的dalao共同发表了一篇文章,你相信么?但别惊讶,在即将召开的EMNLP'20的长文列表里,我们就真找到了这样一篇“奇文”。一篇论文引得众星云集,那解决的必然不是小问题。这不,作者也很贴心地把他们所希望解决的问题斜体独行地放在了论文的首栏里—— Where is N...

我删掉了Transformer中的这几层…性能反而变好了?

我删掉了Transformer中的这几层…性能反而变好了? 13

知行编程网 人工智能前沿 2年前 (2022-02-03) 14 0

基于Transformer结构的各类语言模型(Bert基于其encoder,Gpt-2基于其decoder)早已经在各类NLP任务上大放异彩,面对让人眼花缭乱的transformer堆叠方式,你是否也会感到迷茫?没关系,现在让我们回到最初,再次看看transformer 本来的模样——Rethinking the Value of Transformer Components。该文收录已于COLI...

肝了1W字!文本生成评价指标的进化与推翻

肝了1W字!文本生成评价指标的进化与推翻 28

知行编程网 人工智能前沿 2年前 (2022-01-19) 81 0

一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 文本生成目前的一大瓶颈是如何客观,准确的评价机器生成文本的质量。一个好的评价指标(或者设置合理的损失函数)不仅能够高效的指导模型拟合数据分布,还能够客观的让人评估文本生成模型的质量,从而进一步推动text generation 商业化能力。 然而由于语言天生的复杂性和目前技术限制,我们目前还没有一个完美的评价指标。 本文就三方面对文本生成的评...

一人之力,刷爆三路榜单!信息抽取竞赛夺冠经验分享

一人之力,刷爆三路榜单!信息抽取竞赛夺冠经验分享 24

知行编程网 人工智能前沿 2年前 (2022-01-28) 33 0

在现如今的NLP竞赛中,信息抽取(IE)任务已占据半壁江山。来,让我们看看今年的一些IE竞赛都有啥: 看到如此众多的IE竞赛,心动的JayJay抽空参加了CHIP2020(中国健康信息处理大会)中的3个评测,最终获得了2个冠军、1个季军,具体如下表所示: 评测任务名称 所获名次 评测网址 中文医学实体关系抽取 第一 http://cips-chip.org.cn/2020/eval2 临床医学术语...

陈丹琦“简单到令人沮丧”的屠榜之作:关系抽取新SOTA!

陈丹琦“简单到令人沮丧”的屠榜之作:关系抽取新SOTA! 5

知行编程网 人工智能前沿 2年前 (2022-01-26) 172 0

大家好,我是卖萌屋的JayJay,好久不见啦~ 最近在「夕小瑶@知识图谱与信息抽取」群里和群友交流时,JayJay发现了来自陈丹琦大佬(女神)的一篇最新的关系抽取SOTA《A Frustratingly Easy Approach for Joint Entity and Relation Extraction》,光看题目就让人眼前一亮:是啥子简单方法,让实体关系的联合抽取方法“沮丧”了? 仔细阅...

FLAT:中文NER屠榜之作!

FLAT:中文NER屠榜之作! 11

知行编程网 人工智能前沿 2年前 (2022-01-23) 20 0

近年来,引入词汇信息逐渐成为提升中文NER指标的重要手段。ACL2020中一篇来自复旦大学邱锡鹏老师团队的 FLAT: Chinese NER Using Flat-Lattice Transformer 刷新了中文NER任务的新SOTA。 如上图所示,在MSRA-NER任务中,FLAT+BERT登顶榜首;而单独的FLAT(1层TransFormer)也超越了预训练模型ERNIE。相比于之前引入词...

关于知识图谱,我们接下来该研究什么?斯坦福教授们给出了答案

关于知识图谱,我们接下来该研究什么?斯坦福教授们给出了答案 2

知行编程网 人工智能前沿 2年前 (2022-01-20) 105 0

本文整理了斯坦福大学 CS 520 知识图谱研讨会课程的第 10 集的内容,主要是关于知识图谱未来的研究方向,推荐给研究知识图谱的同学们~ 1 使用强化学习进行多跳知识图谱推理 第一位演讲者:Richard Sochar Richard 认为知识图谱未来的一个重要研究方向是使用强化学习进行多跳知识图谱推理。 知识图谱的缺陷之一是不完整性,即知识图谱能存储的事实是有限的。对于知识图谱的重要应用——聊...

文本分类有哪些论文中很少提及却对性能有重要影响的tricks?

文本分类有哪些论文中很少提及却对性能有重要影响的tricks?

知行编程网 人工智能前沿 2年前 (2022-01-07) 38 0

前言 正好在刷一个比较有趣的task,结果发现奇奇怪怪的tricks可以带来不少的性能收益。再加上后来为了验证一个小idea跑了一堆公开的文本分类数据集,虽然idea没有多亮,倒是积累和摸索了不少刷性能的tricks╮( ̄▽ ̄””)╭然后呢,小夕后续又用这些tricks刷了不少相关的比赛(哪怕是文本匹配这种特殊的文本分类问题),发现baseline+一堆tricks+简单集成就可以随随便便刷到一个...

扫一扫二维码分享