自然语言

超硬核 ICML’21 | 如何使自然语言生成提速五倍，且显存占用减低99% 8

知行编程网人工智能前沿 2年前 (2022-02-10) 32 0

我们忽略掉引言和介绍，直接把工作的效果丢上来，相信就足够令自然语言生成的相关同学心动——对于任何一个已有的Transformer生成模型，只需根据本文算法更改attention的计算顺序，就可以实现成倍速度提升！显存使用量降低到原来百分之个位数！不需要重新训练！保证输出结果与原来完全一致! 以BART为例，本文方法可以把显存使用率降低为原来的96分之一！是的，不需要在效率和质量中做权衡！无...

关于知识图谱，我们接下来该研究什么？斯坦福教授们给出了答案 2

知行编程网人工智能前沿 2年前 (2022-01-20) 105 0

本文整理了斯坦福大学 CS 520 知识图谱研讨会课程的第 10 集的内容，主要是关于知识图谱未来的研究方向，推荐给研究知识图谱的同学们～ 1 使用强化学习进行多跳知识图谱推理第一位演讲者：Richard Sochar Richard 认为知识图谱未来的一个重要研究方向是使用强化学习进行多跳知识图谱推理。知识图谱的缺陷之一是不完整性，即知识图谱能存储的事实是有限的。对于知识图谱的重要应用——聊...

从论文到PPT，一键生成！从此报告不用愁！ 10

知行编程网人工智能前沿 2年前 (2022-02-11) 86 0

俗话说：“行百步者半九十”，论文接受固然可喜可贺，然而这只是万里长征第一步。一份具有影响力的工作少不了一个后期的宣传，做好一个PPT绝对是一个技术活。不知道小伙伴们平时怎么做PPT，是复制粘贴长篇大论抑或提纲挈领图文并茂。直接拷贝论文固然简单，但是动辄大半页的文字实在很难让人提起兴趣，大家都明白应该抓住要点，并辅以图片，但是怎么总结文章各个板块并且合理排布呢，这又是个难题。虽然论文千变万化，但是...

如何匹配两段文本的语义？ 5

知行编程网人工智能前沿 2年前 (2022-01-06) 7 0

喵喵喵，好久不见啦。首先很抱歉大家期待的调参手册（下）迟迟没有出稿，最近两个月连着赶了4个DDL，整个人都不好了。最近几天终于有时间赶一下未完成的稿子了。在赶DDL的时候夹着写了这篇文章，就先发布这一篇吧～调参手册（下）不出意外的话最近也可以发布啦。本文由来一年前在知乎上关注过这么一个问题：如何判断两段文本说的是「同一件事情」？ - 知乎 https://www.zhihu.com/ques...

KDD2020 | 揭秘Facebook搜索中的语义检索技术 7

知行编程网人工智能前沿 2年前 (2022-01-21) 2 0

导读：今天分享一下 Facebook 发表在 KDD2020 的一篇关于社交网络搜索中的 embedding 检索问题的工作，干货很多，推荐一读。论文题目： Embedding-based Retrieval in Facebook Search 论文链接： https://arxiv.org/abs/2006.11632 Arxiv访问慢的小伙伴也可以在【夕小瑶的卖萌屋】订阅号后台回复关键词【...

学完文本知识，我就直接看懂图片了！ 18

知行编程网人工智能前沿 2年前 (2022-02-16) 51 0

2020年, OpenAI的大作GPT-3 (Language Models are few shot learners) 横空出世，震惊整个NLP/AI圈。大家在惊叹于GPT-3 1750B参数的壕无人性同时，想必对GPT-3中的Prompt方法印象深刻。简单来说，(GPT-3中的)Prompt就是为输入的数据提供模板（例如对于翻译任务 Translate English to Chinese:...

NLP的游戏规则从此改写？从word2vec, ELMo到BERT 20

知行编程网人工智能前沿 2年前 (2022-01-06) 2 0

前言还记得不久之前的机器阅读理解领域，微软和阿里在SQuAD上分别以R-Net+和SLQA超过人类，百度在MS MARCO上凭借V-Net霸榜并在BLEU上超过人类。这些网络可以说一个比一个复杂，似乎“如何设计出一个更work的task-specific的网络"变成了NLP领域政治正确的研究方向。而在这种风向下，不管word2vec也好，glove也好，fasttext也好，都只能充当一个锦上添...

FLAT：中文NER屠榜之作！ 11

知行编程网人工智能前沿 2年前 (2022-01-23) 20 0

近年来，引入词汇信息逐渐成为提升中文NER指标的重要手段。ACL2020中一篇来自复旦大学邱锡鹏老师团队的 FLAT: Chinese NER Using Flat-Lattice Transformer 刷新了中文NER任务的新SOTA。如上图所示，在MSRA-NER任务中，FLAT+BERT登顶榜首；而单独的FLAT（1层TransFormer）也超越了预训练模型ERNIE。相比于之前引入词...

Google Research新成果，让表格理解和检索更上一层楼！ 10

知行编程网人工智能前沿 2年前 (2022-02-18) 123 0

如何更好地理解自然语言查询问题与表格信息？Google Research给出了一个改进版Transformer，一起来看看吧！表格以结构化方式存储信息，广泛地存在于web世界中。表格最为常见的一种用法就是人们查询其中的信息。在很多情况下，我们可能只能够用自然语言描述出心中的查询条件，那么，自然语言处理技术是否能理解我们的问题，理解表格信息，帮助我们自动地从表格中检索答案呢？那就让Transfor...