深度学习

多任务学习时转角遇到Bandit老虎机 3

知行编程网人工智能前沿 2年前 (2022-01-11) 12 0

一个转角事情是这样的，最近小夕在做NLP多任务学习相关的一些工作嘛，然后有一天，老大甩给小夕一篇paper NAACL2019 | AutoSeM: Automatic Task Selection and Mixing in Multi-Task Learning 诶？看起来很有意思的样子，辅助任务不用自己选啦？mix ratio不用手调了？上图上图！！不过小夕最近大半年的时间里炼丹炼多了（...

一人之力，刷爆三路榜单！信息抽取竞赛夺冠经验分享 24

知行编程网人工智能前沿 2年前 (2022-01-28) 33 0

在现如今的NLP竞赛中，信息抽取（IE）任务已占据半壁江山。来，让我们看看今年的一些IE竞赛都有啥：看到如此众多的IE竞赛，心动的JayJay抽空参加了CHIP2020（中国健康信息处理大会）中的3个评测，最终获得了2个冠军、1个季军，具体如下表所示：评测任务名称所获名次评测网址中文医学实体关系抽取第一 http://cips-chip.org.cn/2020/eval2 临床医学术语...

多模态为什么比单模态好？第一份严谨证明来了！ 15

知行编程网人工智能前沿 2年前 (2022-02-14) 125 0

面试官: 听说你对多模态感兴趣，请问为什么多模态学习要比单模态学习效果好？候选人: 直观地，多模态学习可以聚合多源数据的信息，使得模型学习到的表示更加完备。以视频分类为例，同时使用字幕标题等文本信息、音频信息和视觉信息的多模态模型要显著好于只使用任意一种信息的单模态模型，这已经被多篇文章实验验证过。面试官: 直觉+实验是老生常谈了，我听过很多次了，有没有更严谨一些的证明？（候选人内心语：面试...

深度前馈网络与Xavier初始化原理 21

知行编程网人工智能前沿 2年前 (2022-01-02) 4 0

基本的神经网络的知识（一般化模型、前向计算、反向传播及其本质、激活函数等）小夕已经介绍完毕，本文先讲一下深度前馈网络的BP过程，再基于此来重点讲解在前馈网络中用来初始化model参数的Xavier方法的原理。前向过程很简单，每一层与下一层的连接边(即参数)构成了一个矩阵(即线性映射)，每一层的神经元构成一个激活函数阵列（即非线性映射），信号便从输入层开始反复的重复这两个过程直到输出层，也就...

NLP中的少样本困境问题探究 25

知行编程网人工智能前沿 2年前 (2022-01-18) 9 0

一只小狐狸带你解锁炼丹术&NLP 秘籍前言在医疗、金融、法律等领域，高质量的标注数据十分稀缺、昂贵，我们通常面临少样本低资源问题。本文从「文本增强」和「半监督学习」这两个角度出发，谈一谈如何解决少样本困境。正式介绍之前，我们首先需要思考什么才是一种好的解决少样本困境的方案？本文尝试给出了三个层次的评价策略，我们希望采取相关数据增强或弱监督技术后：在少样本场景下，比起同等标注量的无...

百度提出新冠高风险小区预警算法，AAAI21收录！ 10

知行编程网人工智能前沿 2年前 (2022-02-02) 4 0

编：夕小瑶几个月前，小屋推送了一期上帝视角看新型冠状病毒（COVID-19）对公众出行影响的顶会论文解读——《这篇顶会paper，讲述了疫情期间憋疯的你和我》，这篇有趣的paper来自百度地图团队，发表在KDD2020。几个月后，新冠病毒仍在全球范围肆虐，并对人们的日常工作与生活产生了严重的影响。与此同时，社会责任感爆棚的百度研究人员再次发挥时空大数据优势，又发表一篇硬刚新冠疫情的最新研究成果...

AAAI 2019投稿量翻倍井喷，创纪录达到7745篇 5

知行编程网人工智能前沿 2年前 (2022-03-01) 2 0

第三十三届AAAI人工智能顶级会议（AAAI-19）将于2019年1月27日至2月1日在美国夏威夷檀香山的希尔顿夏威夷村举行。程序委员会主席将是Pascal Van Hentenryck（美国密歇根大学）和周志华老师（中国南京大学）。今天中午，周老师发微博说，人工智能顶级会议AAAI 2019，目前的论文摘要提交达到7745篇，又创下新的纪录。注意，在AAAI 2018，投递论文为3808 篇...

动手做个DialoGPT：生成式多轮对话模型 3

知行编程网人工智能前沿 2年前 (2022-01-24) 36 0

前段时间刷Arixv的时候，发现清华大学开源了一个大规模的中文闲聊语料库LCCC，从开源的文件上来看，这可能是目前开源的数量最大、质量最好的闲聊语料库了，而且还包含了部分多轮对话聊天，总的来说可玩性还是蛮强的。笔者也被它吸引到了，尝试着用它来训练了一个闲聊对话模型，结果看上去还是不错的，在此分享一下自己的经验。论文名称：《A Large-Scale Chinese Short-Text Con...

这篇论文提出了一个文本<->知识图谱的格式转换器... 21

知行编程网人工智能前沿 2年前 (2022-02-06) 67 0

Hello, 大家好，我是小花。今天给大家介绍一篇有野心的paper。为何如此说呢？因为该工作提出了一个知识的格式转换器，用于转换无结构化的纯文本(Text)和结构化的知识图谱(KG) 。换句话说，给模型一打句子，它能够将其转换为一个图。图中的节点是句子中的关键信息，边表示不同节点的关系。反过来，给模型一个图，它能将其格式化为流畅的自然语言。举个例子，就是实现下面句子和图之间的格式转换： Th...