NLP中的少样本困境问题探究 25
一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 在医疗、金融、法律等领域,高质量的标注数据十分稀缺、昂贵,我们通常面临少样本低资源问题。本文从「文本增强」和「半监督学习」这两个角度出发,谈一谈如何解决少样本困境。 正式介绍之前,我们首先需要思考什么才是一种好的解决少样本困境的方案?本文尝试给出了三个层次的评价策略,我们希望采取相关数据增强或弱监督技术后: 在少样本场景下,比起同等标注量的无...
一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 在医疗、金融、法律等领域,高质量的标注数据十分稀缺、昂贵,我们通常面临少样本低资源问题。本文从「文本增强」和「半监督学习」这两个角度出发,谈一谈如何解决少样本困境。 正式介绍之前,我们首先需要思考什么才是一种好的解决少样本困境的方案?本文尝试给出了三个层次的评价策略,我们希望采取相关数据增强或弱监督技术后: 在少样本场景下,比起同等标注量的无...
背景 前段时间已经和大家分享了两篇关于NLP Privacy的文章。今天,我们又来给大家推送优质论文了(公众号学习法)。其实,NLP与其他方向的跨界结合这段时间层出不穷,且都发表到了非常好的顶会上。目前有越来越多的 NLP 研究者开始探索文本对抗攻击这一方向,以 2020 年 ACL 为例,粗略统计有超过 10 篇相关论文。NLP Privacy可谓是NLP研究的下一个风口。 本次给大家介绍一篇文...
前言 关于本文的阅读方式: 这不是一篇学术综述,也不是单纯的科普文,而是试图从目标出发来渐进式的思考对话系统的设计,顺便科普。因此本文不适合跳读,也不适合5分钟式浏览,而是适合在夜深人静的时候一个人... 我知道你们夜深人静的时候肯定不会看这个的( ̄∇ ̄) 言归正传,其实本文最主要的目的还是试图理清楚对话系统的若干概念,对话是一个很大的概念,有非常非常多的子问题,刚入坑的小伙伴...
选自 | deeplearning.ai编译 |机器之心参与 | 路雪、王淑婷近日,deeplearning.ai 采访了斯坦福 NLP 博士 Abigail See,她师从 Chris Manning,在 NLP 领域已经取得很多成绩,她还是斯坦福经典课程 CS224n 课程的助教。这篇文章介绍了她的日常工作、研究兴趣、对 AI 研究人员的建议等。问:你是如何开始 AI 研究的?答:我在英国剑桥...
导读 作为 NLP 近两年来的当红炸子鸡,以 ELMo/BERT 为代表的语言预训练技术相信大家已经很熟悉了。简单回顾下 18 年以来几个预训练的重要工作: ELMo, GPT and BERT ELMo 首先提出了基于语言模型的预训练技术,成功验证了在大规模语料上基于语言模型进行文本自监督学习的有效性。 GPT 提出了 NLP 预训练技术使用时应该像 CV 预训练技术一样,在下游任务中通过 fi...
让我们来大胆设想一个场景,老板突然发财搞到一笔钱,大手一挥给你五百万,让你去做自然语言处理的研究,你该先研究哪一个细分领域? 机器翻译好像不错,信息抽取也很必要,对话系统更是 NLP 落地的重要方向。而如何评估这些 NLP 任务的重要程度是一个极其开放的问题,从商业价值应用前景的角度出发是一套评价体系,从科学研究学科贡献角度出发又是另一套排名标准,但如果将我们的高度拔高一点,站在一个社会成员的角度...
非事实类问题大多数研究关注于事实类问题,而非事实类问题的研究相对不足,包括数学类的问题、判断类的问题等。 [EMNLP 2019] NumNet: Machine Reading Comprehension with Numerical Reasoning 数学类问题 [NAACL19] MathQA: Towards Interpretable Math Word Problem Solving...
众所周知,命名实体识别(Named Entity Recognition,NER)是一项基础而又重要的NLP词法分析任务,也往往作为信息抽取、问答系统、机器翻译等方向的或显式或隐式的基础任务。在很多人眼里,NER似乎只是一个书本概念,跟句法分析一样存在感不强。一方面是因为深度学习在NLP领域遍地开花,使得智能问答等曾经复杂的NLP任务,变得可以端到端学习,于是分词、词性分析、NER、句法分析等曾经...
综述,往往是了解一个子领域最为高效的起点。然而,对于AI这样一个日新月异高速发展的行业,时效性也自然地成为了我们选择综述的衡量指标之一。即使一篇 AI 综述具有超高 citation,如果它写于 20 年前,那对今天的我们来说,这份综述的总结必然是不够全面的。那么,站在 NLP 发展轨迹中的此时此刻,哪些综述是当前最值得阅读的呢? 本文参考了 Elvis Saravia 相关主题的 twitter...
一只小狐狸带你解锁NLP/DL/ML秘籍 论文写作套路 老板说:写论文是有套路的 老板说:introduction写好了,论文就成功了一半 老板说:你的motivation是什么,contribution又是啥? 小夕说:写论文的301天,每日三省吾身 我的motivation是什么?我的contribution是什么?在introduction中表述清楚我的motivation和contri...
推广返利