肝了1W字!文本生成评价指标的进化与推翻 28
一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 文本生成目前的一大瓶颈是如何客观,准确的评价机器生成文本的质量。一个好的评价指标(或者设置合理的损失函数)不仅能够高效的指导模型拟合数据分布,还能够客观的让人评估文本生成模型的质量,从而进一步推动text generation 商业化能力。 然而由于语言天生的复杂性和目前技术限制,我们目前还没有一个完美的评价指标。 本文就三方面对文本生成的评...
一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 文本生成目前的一大瓶颈是如何客观,准确的评价机器生成文本的质量。一个好的评价指标(或者设置合理的损失函数)不仅能够高效的指导模型拟合数据分布,还能够客观的让人评估文本生成模型的质量,从而进一步推动text generation 商业化能力。 然而由于语言天生的复杂性和目前技术限制,我们目前还没有一个完美的评价指标。 本文就三方面对文本生成的评...
我们忽略掉引言和介绍,直接把工作的效果丢上来,相信就足够令自然语言生成的相关同学心动——对于任何一个已有的Transformer生成模型,只需根据本文算法更改attention的计算顺序,就可以实现 成倍速度提升! 显存使用量降低到原来百分之个位数! 不需要重新训练! 保证输出结果与原来完全一致! 以BART为例,本文方法可以把显存使用率降低为原来的96分之一!是的,不需要在效率和质量中做权衡!无...
本文整理了斯坦福大学 CS 520 知识图谱研讨会课程的第 10 集的内容,主要是关于知识图谱未来的研究方向,推荐给研究知识图谱的同学们~ 1 使用强化学习进行多跳知识图谱推理 第一位演讲者:Richard Sochar Richard 认为知识图谱未来的一个重要研究方向是使用强化学习进行多跳知识图谱推理。 知识图谱的缺陷之一是不完整性,即知识图谱能存储的事实是有限的。对于知识图谱的重要应用——聊...
俗话说:“行百步者半九十”,论文接受固然可喜可贺,然而这只是万里长征第一步。一份具有影响力的工作少不了一个后期的宣传,做好一个PPT绝对是一个技术活。不知道小伙伴们平时怎么做PPT,是复制粘贴长篇大论抑或提纲挈领图文并茂。直接拷贝论文固然简单,但是动辄大半页的文字实在很难让人提起兴趣,大家都明白应该抓住要点,并辅以图片,但是怎么总结文章各个板块并且合理排布呢,这又是个难题。 虽然论文千变万化,但是...
喵喵喵,好久不见啦。首先很抱歉大家期待的调参手册(下)迟迟没有出稿,最近两个月连着赶了4个DDL,整个人都不好了。最近几天终于有时间赶一下未完成的稿子了。在赶DDL的时候夹着写了这篇文章,就先发布这一篇吧~调参手册(下)不出意外的话最近也可以发布啦。 本文由来 一年前在知乎上关注过这么一个问题: 如何判断两段文本说的是「同一件事情」? - 知乎 https://www.zhihu.com/ques...
导读:今天分享一下 Facebook 发表在 KDD2020 的一篇关于社交网络搜索中的 embedding 检索问题的工作,干货很多,推荐一读。 论文题目: Embedding-based Retrieval in Facebook Search 论文链接: https://arxiv.org/abs/2006.11632 Arxiv访问慢的小伙伴也可以在【夕小瑶的卖萌屋】订阅号后台回复关键词【...
2020年, OpenAI的大作GPT-3 (Language Models are few shot learners) 横空出世,震惊整个NLP/AI圈。大家在惊叹于GPT-3 1750B参数的壕无人性同时,想必对GPT-3中的Prompt方法印象深刻。简单来说,(GPT-3中的)Prompt就是为输入的数据提供模板(例如对于翻译任务 Translate English to Chinese:...
前言 还记得不久之前的机器阅读理解领域,微软和阿里在SQuAD上分别以R-Net+和SLQA超过人类,百度在MS MARCO上凭借V-Net霸榜并在BLEU上超过人类。这些网络可以说一个比一个复杂,似乎“如何设计出一个更work的task-specific的网络"变成了NLP领域政治正确的研究方向。而在这种风向下,不管word2vec也好,glove也好,fasttext也好,都只能充当一个锦上添...
近年来,引入词汇信息逐渐成为提升中文NER指标的重要手段。ACL2020中一篇来自复旦大学邱锡鹏老师团队的 FLAT: Chinese NER Using Flat-Lattice Transformer 刷新了中文NER任务的新SOTA。 如上图所示,在MSRA-NER任务中,FLAT+BERT登顶榜首;而单独的FLAT(1层TransFormer)也超越了预训练模型ERNIE。相比于之前引入词...
如何更好地理解自然语言查询问题与表格信息?Google Research给出了一个改进版Transformer,一起来看看吧! 表格以结构化方式存储信息,广泛地存在于web世界中。表格最为常见的一种用法就是人们查询其中的信息。在很多情况下,我们可能只能够用自然语言描述出心中的查询条件,那么,自然语言处理技术是否能理解我们的问题,理解表格信息,帮助我们自动地从表格中检索答案呢?那就让Transfor...
推广返利