深度学习

EMNLP'20最佳论文揭晓！八块肌肉=能打电话？！ 7

知行编程网人工智能前沿 2年前 (2022-01-27) 2 0

背景今天上午十点刚刚颁布的EMNLP 2020最佳论文，获奖者是来自UCBerkeley团队的这篇Digital Voicing of Silent Speech。刷了那么多NLP论文，各种pretraining、BERT、XXX-former...是不是都快刷出审美疲劳了？今年的EMNLP best paper绝对耳目一新！!工作研究了一个极具潜在社会影响力的新任务：Silent Speec...

AAAI 2019投稿量翻倍井喷，创纪录达到7745篇 5

知行编程网人工智能前沿 2年前 (2022-03-01) 2 0

第三十三届AAAI人工智能顶级会议（AAAI-19）将于2019年1月27日至2月1日在美国夏威夷檀香山的希尔顿夏威夷村举行。程序委员会主席将是Pascal Van Hentenryck（美国密歇根大学）和周志华老师（中国南京大学）。今天中午，周老师发微博说，人工智能顶级会议AAAI 2019，目前的论文摘要提交达到7745篇，又创下新的纪录。注意，在AAAI 2018，投递论文为3808 篇...

如何匹配两段文本的语义？ 5

知行编程网人工智能前沿 2年前 (2022-01-06) 7 0

喵喵喵，好久不见啦。首先很抱歉大家期待的调参手册（下）迟迟没有出稿，最近两个月连着赶了4个DDL，整个人都不好了。最近几天终于有时间赶一下未完成的稿子了。在赶DDL的时候夹着写了这篇文章，就先发布这一篇吧～调参手册（下）不出意外的话最近也可以发布啦。本文由来一年前在知乎上关注过这么一个问题：如何判断两段文本说的是「同一件事情」？ - 知乎 https://www.zhihu.com/ques...

NLP哪个细分方向最具社会价值？ 14

知行编程网人工智能前沿 2年前 (2022-02-11) 5 0

让我们来大胆设想一个场景，老板突然发财搞到一笔钱，大手一挥给你五百万，让你去做自然语言处理的研究，你该先研究哪一个细分领域？机器翻译好像不错，信息抽取也很必要，对话系统更是 NLP 落地的重要方向。而如何评估这些 NLP 任务的重要程度是一个极其开放的问题，从商业价值应用前景的角度出发是一套评价体系，从科学研究学科贡献角度出发又是另一套排名标准，但如果将我们的高度拔高一点，站在一个社会成员的角度...

别只关注GPT3！细如发丝的模型更具现实杀伤力！ 14

知行编程网人工智能前沿 2年前 (2022-02-07) 8 0

这个世界上有两种极具难度的工程：第一种是把很平常的东西做到最大，例如把语言模型扩大成能够写诗写文写代码的GPT-3；而另一种恰恰相反，是把很平常的东西做到最小。 GPT3自从诞生以来，便受到了学术界、工业界乃至行外大众的夸张式吹捧（我都怕哪天我妈突然让我给她讲GPT3是啥），当然，其中也不乏批评和质疑的声音。不过，本文不讨论GPT3的是是非非，而是讨论另一个相反的极端——边缘计算！用人话讲，你考虑...

线性代数应该这样讲（二） 17

知行编程网人工智能前沿 2年前 (2021-12-31) 1 0

在《...（一）》中，小夕从映射的角度讲解了矩阵及矩阵运算，这也是机器学习中看待矩阵的非常重要的视角。另一方面说，矩阵当然也是用于存储数据的数据结构，这也是最好理解的形式。另外还可以看做是一个线性方程组（课本上讲烂了的开头），甚至可以将其仅仅看做一般化的张量（tensor）中的一个普通切片（slice），或者说其中一层。所以矩阵代表什么含义，要在不同的场景中灵活对待，不要局限在一种视角哦。 ...

论文审稿人可以下岗了？CMU都做出论文审稿机器人了！ 12

知行编程网人工智能前沿 2年前 (2022-02-02) 102 0

机器学习真是越来越火了，这从各大会议逐年增加的投稿量上就可见一斑：AAAI'21收到了9034篇投稿，NeurIPS'20收到了9467篇投稿，一篇投稿至少要经过3位审稿人同行评议，耗费的人力可想而知。那么问题来了：上哪找这么多有经验的审稿人来写评审意见呢？这时，机器学习投稿大头兼业界翘楚CMU的研究者发表了自己的看法：同行评议本质上不就是从输入一篇论文，输出评审意见的Seq2Seq吗？让N宝...

深度学习并非万能：你需要避免这三个坑 4

知行编程网人工智能前沿 2年前 (2022-02-28) 11 0

【导读】本文是人工智能专家George Seif撰写的博文，介绍了在当前深度学习比较火热的情景下需要避免的三个坑。 Tweaking Neural Net Parameters Three reasons that you should NOT use deep learning 深度学习在过去几年一直是人工智能领域最热门的话题。事实上，正是它激发了科学家、政府、大公司以及其他所有人对人工...

Google | 突破瓶颈，打造更强大的Transformer 4

知行编程网人工智能前沿 2年前 (2022-01-16) 18 0

一只小狐狸带你解锁炼丹术&NLP秘籍前言《Attention is All You Need》一文发布后，基于Multi-Head Attention的Transformer模型开始流行起来，而去年发布的BERT模型更是将Transformer模型的热度推上了又一个高峰。当然，技术的探索是无止境的，改进的工作也相继涌现：有改进预训练任务的，比如XLNET的PLM、ALBERT的SOP等...

NLP中的少样本困境问题探究 25

知行编程网人工智能前沿 2年前 (2022-01-18) 9 0

一只小狐狸带你解锁炼丹术&NLP 秘籍前言在医疗、金融、法律等领域，高质量的标注数据十分稀缺、昂贵，我们通常面临少样本低资源问题。本文从「文本增强」和「半监督学习」这两个角度出发，谈一谈如何解决少样本困境。正式介绍之前，我们首先需要思考什么才是一种好的解决少样本困境的方案？本文尝试给出了三个层次的评价策略，我们希望采取相关数据增强或弱监督技术后：在少样本场景下，比起同等标注量的无...