自然语言

陈丹琦“简单到令人沮丧”的屠榜之作：关系抽取新SOTA！ 5

知行编程网人工智能前沿 2年前 (2022-01-26) 178 0

大家好，我是卖萌屋的JayJay，好久不见啦～最近在「夕小瑶@知识图谱与信息抽取」群里和群友交流时，JayJay发现了来自陈丹琦大佬（女神）的一篇最新的关系抽取SOTA《A Frustratingly Easy Approach for Joint Entity and Relation Extraction》，光看题目就让人眼前一亮：是啥子简单方法，让实体关系的联合抽取方法“沮丧”了？仔细阅...

Google Research新成果，让表格理解和检索更上一层楼！ 10

知行编程网人工智能前沿 2年前 (2022-02-18) 123 0

如何更好地理解自然语言查询问题与表格信息？Google Research给出了一个改进版Transformer，一起来看看吧！表格以结构化方式存储信息，广泛地存在于web世界中。表格最为常见的一种用法就是人们查询其中的信息。在很多情况下，我们可能只能够用自然语言描述出心中的查询条件，那么，自然语言处理技术是否能理解我们的问题，理解表格信息，帮助我们自动地从表格中检索答案呢？那就让Transfor...

关于知识图谱，我们接下来该研究什么？斯坦福教授们给出了答案 2

知行编程网人工智能前沿 2年前 (2022-01-20) 105 0

本文整理了斯坦福大学 CS 520 知识图谱研讨会课程的第 10 集的内容，主要是关于知识图谱未来的研究方向，推荐给研究知识图谱的同学们～ 1 使用强化学习进行多跳知识图谱推理第一位演讲者：Richard Sochar Richard 认为知识图谱未来的一个重要研究方向是使用强化学习进行多跳知识图谱推理。知识图谱的缺陷之一是不完整性，即知识图谱能存储的事实是有限的。对于知识图谱的重要应用——聊...

我的BERT！改改字典，让BERT安全提速不掉分（已开源） 3

知行编程网人工智能前沿 2年前 (2022-01-24) 98 0

背景当前，大部分中文预训练模型都是以字为基本单位的，也就是说中文语句会被拆分为一个个字。中文也有一些多粒度的语言模型，比如创新工场的ZEN和字节跳动的AMBERT，但这类模型的基本单位还是字，只不过想办法融合了词信息。目前以词为单位的中文预训练模型很少，据笔者所了解到就只有腾讯UER开源了一个以词为颗粒度的BERT模型，但实测效果并不好。那么，纯粹以词为单位的中文预训练模型效果究竟如何呢？有没...

从论文到PPT，一键生成！从此报告不用愁！ 10

知行编程网人工智能前沿 2年前 (2022-02-11) 86 0

俗话说：“行百步者半九十”，论文接受固然可喜可贺，然而这只是万里长征第一步。一份具有影响力的工作少不了一个后期的宣传，做好一个PPT绝对是一个技术活。不知道小伙伴们平时怎么做PPT，是复制粘贴长篇大论抑或提纲挈领图文并茂。直接拷贝论文固然简单，但是动辄大半页的文字实在很难让人提起兴趣，大家都明白应该抓住要点，并辅以图片，但是怎么总结文章各个板块并且合理排布呢，这又是个难题。虽然论文千变万化，但是...

肝了1W字！文本生成评价指标的进化与推翻 28

知行编程网人工智能前沿 2年前 (2022-01-19) 81 0

一只小狐狸带你解锁炼丹术&NLP 秘籍前言文本生成目前的一大瓶颈是如何客观，准确的评价机器生成文本的质量。一个好的评价指标（或者设置合理的损失函数）不仅能够高效的指导模型拟合数据分布，还能够客观的让人评估文本生成模型的质量，从而进一步推动text generation 商业化能力。然而由于语言天生的复杂性和目前技术限制，我们目前还没有一个完美的评价指标。本文就三方面对文本生成的评...

ACL2020 | 对话数据集Mutual：论对话逻辑，BERT还差的很远 9

知行编程网人工智能前沿 2年前 (2022-01-16) 76 0

一只小狐狸带你解锁炼丹术&NLP 秘籍前言自然语言处理是人工智能领域的掌上明珠，而人机对话则是自然语言处理领域的最终极一环。以BERT为代表的预训练模型为自然语言处理领域带来了新的春天，在人机对话问题上也不例外。检索式多轮对话任务中，最有名的对话数据集就是Ubuntu Dialogue Corpus了，ACL2018提出的DAM是76.7%的，然而基于BERT来做却直接刷到了85....

学完文本知识，我就直接看懂图片了！ 18

知行编程网人工智能前沿 2年前 (2022-02-16) 51 0

2020年, OpenAI的大作GPT-3 (Language Models are few shot learners) 横空出世，震惊整个NLP/AI圈。大家在惊叹于GPT-3 1750B参数的壕无人性同时，想必对GPT-3中的Prompt方法印象深刻。简单来说，(GPT-3中的)Prompt就是为输入的数据提供模板（例如对于翻译任务 Translate English to Chinese:...

45个小众而实用的NLP开源字典和工具 3

知行编程网人工智能前沿 2年前 (2022-01-14) 42 0

一只小狐狸带你解锁NLP/ML/DL秘籍前言随着BERT、ERNIE、XLNet等预训练模型的流行，解决NLP问题时不用上预训练模型似乎总显得自己有点过时。但是这显然是不对的。众所周知，无论训练还是推理，预训练模型都会消耗大量的算力，且高度依赖GPU计算资源。然而，有很多的NLP问题实际上仅仅靠字典+规则就可以做到够用，那么这时候强行上笨重的模型无异于高射炮打蚊子，性价比是非常低的。于...

文本分类有哪些论文中很少提及却对性能有重要影响的tricks？

知行编程网人工智能前沿 2年前 (2022-01-07) 38 0

前言正好在刷一个比较有趣的task，结果发现奇奇怪怪的tricks可以带来不少的性能收益。再加上后来为了验证一个小idea跑了一堆公开的文本分类数据集，虽然idea没有多亮，倒是积累和摸索了不少刷性能的tricks╮(￣▽￣””)╭然后呢，小夕后续又用这些tricks刷了不少相关的比赛（哪怕是文本匹配这种特殊的文本分类问题），发现baseline+一堆tricks+简单集成就可以随随便便刷到一个...