深度学习并非万能：你需要避免这三个坑 4
【导读】本文是人工智能专家George Seif撰写的博文，介绍了在当前深度学习比较火热的情景下需要避免的三个坑。 Tweaking Neural Net Parameters Three reasons that you should NOT use deep learning 深度学习在过去几年一直是人工智能领域最热门的话题。事实上，正是它激发了科学家、政府、大公司以及其他所有人对人工...
「小公式」平均数与级数 13
喵喵喵，小夕最近准备复习一下数学和基础算法，所以可能会推送或者附带推送点数学和基础算法的小文章。说不定哪天就用（考）到了呢(￣∇￣) 注意哦，与头条位的文章推送不同，「小公式」和「小算法」中的标题之间可能并无逻辑关联，因此可以看作是罗列小知识点，说不定这些小知识点就能带来一些小灵感呢。 平均数 调和平均数 调和平均数（Harmonic Mean）是将数值个数除以数值倒数的总和，一组正数x1, x2...
FLAT：中文NER屠榜之作！ 11
近年来，引入词汇信息逐渐成为提升中文NER指标的重要手段。ACL2020中一篇来自复旦大学邱锡鹏老师团队的 FLAT: Chinese NER Using Flat-Lattice Transformer 刷新了中文NER任务的新SOTA。 如上图所示，在MSRA-NER任务中，FLAT+BERT登顶榜首；而单独的FLAT（1层TransFormer）也超越了预训练模型ERNIE。相比于之前引入词...
千呼万唤始出来——GPT-3终于开源！ 5
GPT3终于开源！不过，不是官方开的（别打我 Eleuther AI推出的名为GPT-Neo的开源项目，于今晨4点于twitter正式宣布：已经开源了复现版GPT-3的模型参数（1.3B和2.7B级别），并将其更新在Colab notebook之上。需要指出的是这次开源的模型里较大的那个版本也只是到了GPT-3商用版里最小模型的参数量，不过Eleuther AI表示未来会进一步开源10B版本和原始...
多任务学习时转角遇到Bandit老虎机 3
一个转角 事情是这样的，最近小夕在做NLP多任务学习相关的一些工作嘛，然后有一天，老大甩给小夕一篇paper NAACL2019 | AutoSeM: Automatic Task Selection and Mixing in Multi-Task Learning 诶？看起来很有意思的样子，辅助任务不用自己选啦？mix ratio不用手调了？上图上图！！ 不过小夕最近大半年的时间里炼丹炼多了（...
一人之力，刷爆三路榜单！信息抽取竞赛夺冠经验分享 24
在现如今的NLP竞赛中，信息抽取（IE）任务已占据半壁江山。来，让我们看看今年的一些IE竞赛都有啥： 看到如此众多的IE竞赛，心动的JayJay抽空参加了CHIP2020（中国健康信息处理大会）中的3个评测，最终获得了2个冠军、1个季军，具体如下表所示： 评测任务名称 所获名次 评测网址 中文医学实体关系抽取 第一 http://cips-chip.org.cn/2020/eval2 临床医学术语...
多模态为什么比单模态好？第一份严谨证明来了！ 15
面试官: 听说你对多模态感兴趣，请问为什么多模态学习要比单模态学习效果好？ 候选人: 直观地，多模态学习可以聚合多源数据的信息，使得模型学习到的表示更加完备。以视频分类为例，同时使用字幕标题等文本信息、音频信息和视觉信息的多模态模型要显著好于只使用任意一种信息的单模态模型，这已经被多篇文章实验验证过。 面试官: 直觉+实验是老生常谈了，我听过很多次了，有没有更严谨一些的证明？ （候选人内心语：面试...
深度前馈网络与Xavier初始化原理 21
基本的神经网络的知识（一般化模型、前向计算、反向传播及其本质、激活函数等）小夕已经介绍完毕，本文先讲一下深度前馈网络的BP过程，再基于此来重点讲解在前馈网络中用来初始化model参数的Xavier方法的原理。 前向过程很简单，每一层与下一层的连接边(即参数)构成了一个矩阵(即线性映射)，每一层的神经元构成一个激活函数阵列（即非线性映射），信号便从输入层开始反复的重复这两个过程直到输出层，也就...
NLP中的少样本困境问题探究 25
一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 在医疗、金融、法律等领域，高质量的标注数据十分稀缺、昂贵，我们通常面临少样本低资源问题。本文从「文本增强」和「半监督学习」这两个角度出发，谈一谈如何解决少样本困境。 正式介绍之前，我们首先需要思考什么才是一种好的解决少样本困境的方案？本文尝试给出了三个层次的评价策略，我们希望采取相关数据增强或弱监督技术后： 在少样本场景下，比起同等标注量的无...
百度提出新冠高风险小区预警算法，AAAI21收录！ 10
编：夕小瑶 几个月前，小屋推送了一期上帝视角看新型冠状病毒（COVID-19）对公众出行影响的顶会论文解读——《这篇顶会paper，讲述了疫情期间憋疯的你和我》，这篇有趣的paper来自百度地图团队，发表在KDD2020。 几个月后，新冠病毒仍在全球范围肆虐，并对人们的日常工作与生活产生了严重的影响。与此同时，社会责任感爆棚的百度研究人员再次发挥时空大数据优势，又发表一篇硬刚新冠疫情的最新研究成果...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利