自然语言

如何匹配两段文本的语义？ 5

知行编程网人工智能前沿 2年前 (2022-01-06) 7 0

喵喵喵，好久不见啦。首先很抱歉大家期待的调参手册（下）迟迟没有出稿，最近两个月连着赶了4个DDL，整个人都不好了。最近几天终于有时间赶一下未完成的稿子了。在赶DDL的时候夹着写了这篇文章，就先发布这一篇吧～调参手册（下）不出意外的话最近也可以发布啦。本文由来一年前在知乎上关注过这么一个问题：如何判断两段文本说的是「同一件事情」？ - 知乎 https://www.zhihu.com/ques...

FLAT：中文NER屠榜之作！ 11

知行编程网人工智能前沿 2年前 (2022-01-23) 20 0

近年来，引入词汇信息逐渐成为提升中文NER指标的重要手段。ACL2020中一篇来自复旦大学邱锡鹏老师团队的 FLAT: Chinese NER Using Flat-Lattice Transformer 刷新了中文NER任务的新SOTA。如上图所示，在MSRA-NER任务中，FLAT+BERT登顶榜首；而单独的FLAT（1层TransFormer）也超越了预训练模型ERNIE。相比于之前引入词...

学完文本知识，我就直接看懂图片了！ 18

知行编程网人工智能前沿 2年前 (2022-02-16) 51 0

2020年, OpenAI的大作GPT-3 (Language Models are few shot learners) 横空出世，震惊整个NLP/AI圈。大家在惊叹于GPT-3 1750B参数的壕无人性同时，想必对GPT-3中的Prompt方法印象深刻。简单来说，(GPT-3中的)Prompt就是为输入的数据提供模板（例如对于翻译任务 Translate English to Chinese:...

如何让BERT拥有视觉感知能力？两种方式将视频信息注入BERT 35

知行编程网人工智能前沿 2年前 (2022-01-15) 6 0

一只小狐狸带你解锁NLP/ML/DL秘籍老板老板，听说BERT是个瞎子此话怎讲？它能理解语言，但是理解不了小夕的自拍！ video-BERT了解一下喵喵喵？ AI的三大核心板块（CV/Speech/NLP）近几年都相继取得了非常大的发展和进步。但是正所谓成也萧何，败也萧何，深度学习一直在能力泛化和鲁棒性问题上饱受诟病，通用AI之路遥遥无期。不过，近期得益于预训练模型的成功，似乎跨模态问题...

我删掉了Transformer中的这几层…性能反而变好了？ 13

知行编程网人工智能前沿 2年前 (2022-02-03) 14 0

基于Transformer结构的各类语言模型（Bert基于其encoder,Gpt-2基于其decoder）早已经在各类NLP任务上大放异彩，面对让人眼花缭乱的transformer堆叠方式，你是否也会感到迷茫？没关系，现在让我们回到最初，再次看看transformer 本来的模样——Rethinking the Value of Transformer Components。该文收录已于COLI...

当NLPer爱上CV：后BERT时代生存指南之VL-BERT篇 13

知行编程网人工智能前沿 2年前 (2022-01-15) 23 0

一只小狐狸带你解锁炼丹术&NLP 秘籍前言 BERT的出现让NLP发展实现了一个大飞跃，甚至有大佬说NLP已经没有可以做的啦，后面就是拼机器拼money了。但是，我认为任何领域的进步之后都会有更苛刻的要求，科研没有尽头，需求也永远无法满足。而多模态，要求机器拥有多维度的感知能力，就是一个更强的挑战。关于这个话题也逐渐成为另外一个新热点。从19年到现在的论文数量就可见一斑。所以，为了...

ACL2020 | 线上搜索结果大幅提升！亚马逊提出对抗式query-doc相关性模型 10

知行编程网人工智能前沿 2年前 (2022-01-17) 1 0

一只小狐狸带你解锁炼丹术&NLP 秘籍背景搜索和推荐经常会被放在一起对比，其中最突出的区别就是搜索中存在query，需要充分考虑召回内容和query之间的相关性，而如果内容是搜索广告，则对内容有更高的要求，相关性过低的内容被展示会让用户有很差的体验。相关性在一定程度上可以被抽象成doc和query之间的语义相似度问题，其实当前语义相似度的研究已经非常成熟，在sigir2018中有人...

NLP未来，路在何方？12位巨佬联名指路！ 7

知行编程网人工智能前沿 2年前 (2022-01-27) 8 0

CMU、华盛顿大学、南加州大学、MIT、MILA、密歇根大学、爱丁堡大学、DeepMind、伯克利、Apple…如果我说来自这些地方的dalao共同发表了一篇文章，你相信么？但别惊讶，在即将召开的EMNLP'20的长文列表里，我们就真找到了这样一篇“奇文”。一篇论文引得众星云集，那解决的必然不是小问题。这不，作者也很贴心地把他们所希望解决的问题斜体独行地放在了论文的首栏里—— Where is N...

ACL2020 | 对话数据集Mutual：论对话逻辑，BERT还差的很远 9

知行编程网人工智能前沿 2年前 (2022-01-16) 76 0

一只小狐狸带你解锁炼丹术&NLP 秘籍前言自然语言处理是人工智能领域的掌上明珠，而人机对话则是自然语言处理领域的最终极一环。以BERT为代表的预训练模型为自然语言处理领域带来了新的春天，在人机对话问题上也不例外。检索式多轮对话任务中，最有名的对话数据集就是Ubuntu Dialogue Corpus了，ACL2018提出的DAM是76.7%的，然而基于BERT来做却直接刷到了85....

Transformer哪家强？Google爸爸辨优良！ 13

知行编程网人工智能前沿 2年前 (2022-01-28) 12 0

2017年Attention is all you need横空出世，Transformer横扫机器翻译，隔年诞生的BERT建立在层层堆叠的Transformer之上，凭借这个平平无奇的Attention点乘模型一举刷新了各种沉积许久的榜单，一夜间仿佛不懂Transformer，都不敢说自己是NLPer了，曾经最心爱的RNN也瞬间黯然失色。 Transformer有着简易的的结构、SOTA的能力，...