千呼万唤始出来——GPT-3终于开源！ 5
GPT3终于开源！不过，不是官方开的（别打我 Eleuther AI推出的名为GPT-Neo的开源项目，于今晨4点于twitter正式宣布：已经开源了复现版GPT-3的模型参数（1.3B和2.7B级别），并将其更新在Colab notebook之上。需要指出的是这次开源的模型里较大的那个版本也只是到了GPT-3商用版里最小模型的参数量，不过Eleuther AI表示未来会进一步开源10B版本和原始...
多任务学习时转角遇到Bandit老虎机 3
一个转角 事情是这样的，最近小夕在做NLP多任务学习相关的一些工作嘛，然后有一天，老大甩给小夕一篇paper NAACL2019 | AutoSeM: Automatic Task Selection and Mixing in Multi-Task Learning 诶？看起来很有意思的样子，辅助任务不用自己选啦？mix ratio不用手调了？上图上图！！ 不过小夕最近大半年的时间里炼丹炼多了（...
一人之力，刷爆三路榜单！信息抽取竞赛夺冠经验分享 24
在现如今的NLP竞赛中，信息抽取（IE）任务已占据半壁江山。来，让我们看看今年的一些IE竞赛都有啥： 看到如此众多的IE竞赛，心动的JayJay抽空参加了CHIP2020（中国健康信息处理大会）中的3个评测，最终获得了2个冠军、1个季军，具体如下表所示： 评测任务名称 所获名次 评测网址 中文医学实体关系抽取 第一 http://cips-chip.org.cn/2020/eval2 临床医学术语...
多模态为什么比单模态好？第一份严谨证明来了！ 15
面试官: 听说你对多模态感兴趣，请问为什么多模态学习要比单模态学习效果好？ 候选人: 直观地，多模态学习可以聚合多源数据的信息，使得模型学习到的表示更加完备。以视频分类为例，同时使用字幕标题等文本信息、音频信息和视觉信息的多模态模型要显著好于只使用任意一种信息的单模态模型，这已经被多篇文章实验验证过。 面试官: 直觉+实验是老生常谈了，我听过很多次了，有没有更严谨一些的证明？ （候选人内心语：面试...
深度前馈网络与Xavier初始化原理 21
基本的神经网络的知识（一般化模型、前向计算、反向传播及其本质、激活函数等）小夕已经介绍完毕，本文先讲一下深度前馈网络的BP过程，再基于此来重点讲解在前馈网络中用来初始化model参数的Xavier方法的原理。 前向过程很简单，每一层与下一层的连接边(即参数)构成了一个矩阵(即线性映射)，每一层的神经元构成一个激活函数阵列（即非线性映射），信号便从输入层开始反复的重复这两个过程直到输出层，也就...
NLP中的少样本困境问题探究 25
一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 在医疗、金融、法律等领域，高质量的标注数据十分稀缺、昂贵，我们通常面临少样本低资源问题。本文从「文本增强」和「半监督学习」这两个角度出发，谈一谈如何解决少样本困境。 正式介绍之前，我们首先需要思考什么才是一种好的解决少样本困境的方案？本文尝试给出了三个层次的评价策略，我们希望采取相关数据增强或弱监督技术后： 在少样本场景下，比起同等标注量的无...
百度提出新冠高风险小区预警算法，AAAI21收录！ 10
编：夕小瑶 几个月前，小屋推送了一期上帝视角看新型冠状病毒（COVID-19）对公众出行影响的顶会论文解读——《这篇顶会paper，讲述了疫情期间憋疯的你和我》，这篇有趣的paper来自百度地图团队，发表在KDD2020。 几个月后，新冠病毒仍在全球范围肆虐，并对人们的日常工作与生活产生了严重的影响。与此同时，社会责任感爆棚的百度研究人员再次发挥时空大数据优势，又发表一篇硬刚新冠疫情的最新研究成果...
AAAI 2019投稿量翻倍井喷，创纪录达到7745篇 5
第三十三届AAAI人工智能顶级会议（AAAI-19）将于2019年1月27日至2月1日在美国夏威夷檀香山的希尔顿夏威夷村举行。程序委员会主席将是Pascal Van Hentenryck（美国密歇根大学）和周志华老师（中国南京大学）。 今天中午，周老师发微博说，人工智能顶级会议AAAI 2019，目前的论文摘要提交达到7745篇，又创下新的纪录。 注意，在AAAI 2018，投递论文为3808 篇...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利