Transformer变体为何无法应用于多种任务？谷歌：这些架构更改不能有效迁移 2
来自 Google Research 的研究人员探索了多个 transformer 变体，发现它们无法在多个实现和应用中实现很好地迁移，大多数架构更改无法有效提升性能。 Transformer 诞生短短三年，已然风头正劲，不仅成为自然语言处理领域的主流预训练模型，还越来越多地应用于计算机视觉等领域。Transformer 架构变体层出不穷，但并未有研究证明它们能够在不同实现及应用中实现轻松迁移，而...
如何透彻理解卷积的数据原理与机制：从抛球实验说起 21
作者以抛球实验为例讲解了许多卷积的数学原理和机制，并通过卷积来表述卷积神经网络。文章附有大量图片解释，帮助大家更容易理解。 抛球实验 -- Ball drop experiment 想象一下，我们把一个球从某个高度落到地面上，它只有一个运动维度。如果你把球落下，然后再从它的落点上方把它落下，球会走一段距离 的可能性有多大？ 我们来分析一下: 第一次下落后，它将以概率 落在离起点一个单位的地方，...
最新！2021中国内地大学ESI排名出炉：333所高校上榜！ 4
3月25日晚，科睿唯安（Clarivate Analytics，原汤森路透）公布了ESI从2010年1月1日到2020年12月31日的统计数据。ESI每2个月公布一次，均为上一次数据的基础上增加2个月的数据，但是每年5月份会去除掉最旧一年的数据。 中国内地一共333所高校有学科进入全球前1%，新增7所，退出0所。新增高校为：江西理工大学、吉林师范大学、大连大学、天津城建大学、厦门理工学院、沈阳建筑...
CVPR'21 | Involution：超越卷积和自注意力的神经网络新算子 6
本文作者基于involution卷积构建了全新的ResNet-50架构RedNet，并改善了Baseline的性能，分别提高了1.6％的Top-1分类精度、2.5％和2.4％的边界框AP值，以及4.7％的mIoU，同时将计算成本压缩为原来的66％、65%、72％和57%。 本文是对我们CVPR 2021被接收的文章 Involution: Inverting the Inherence of Co...
有哪些深度学习效果不如传统方法的经典案例？ 4
导读 深度学习作为目前最前沿的科技领域之一，一般都引导着科技进步，但是是否存在一些深度学习的效果反而不如传统方法的案例呢？本文汇总了一些该问题下的优质回答，回答均来自知乎。 问题链接：https://www.zhihu.com/question/451498156 # 回答一 作者：桔了个仔 来源链接：https://www.zhihu.com/question/451498156/answe...
70分钟了解图神经网络，图注意力网络一作带来最「自然」的GNN讲解 6
最近，图注意力网络一作 Petar Veličković 在母校剑桥大学做了一场讲座，介绍图神经网络的理论基础。 图神经网络（GNN）是机器学习中最热门的研究方向之一，在提出后的十几年里被不断扩展，先后发展出了图卷积网络、 图注意力网络、图自编码器、图生成网络和图时空网络等多个子领域。最近，图注意力网络的第一作者 Petar Veličković 回到母校剑桥大学计算机实验室做了一场主题为《图神经...
CVPR 2021 Oral | Transformer再发力！华南理工和微信提出UP-DETR：无监督预训练检测器 5
华南理工和微信AI提出了random query patch detection的预训练任务，对DETR中的transformer进行无监督预训练，从而提高其目标检测的性能。 UP-DETR: Unsupervised Pre-training for Object Detection with Transformers 论文：https://arxiv.org/abs/2011.09094 中...
2020图灵奖颁给“龙书”两位作者！合作数十年，他们让计算机读懂码农代码 5
前几天，2020年图灵奖公布了获奖名单。 哥伦比亚大学计算机科学名誉教授Alfred Vaino Aho和斯坦福大学计算机科学名誉教授Jeffrey David Ullman共享了这一殊荣。 根据国际计算机协会（ACM）报道，二人“创造了全球数百万编程人员使用的工具和教材”，此次颁奖也是为了表彰他们在“推进编程语言实现的基础算法和理论”做出的努力。 而除了在编程语言方面外，二人同时...
复旦大学自然语言处理实验室发布模型鲁棒性评测平台 TextFlint 5
模型鲁棒性评测平台 TextFlint 复旦大学自然语言处理实验室发布模型鲁棒性评测平台TextFlint。该平台涵盖12项NLP任务，囊括80余种数据变形方法，花费超2万GPU小时，进行了6.7万余次实验，验证约100种模型，选取约10万条变形后数据进行了语言合理性和语法正确性人工评测，为模型鲁棒性评测及提升提供了一站式解决方案。项目地址：https://github.com/textflint...
深度学习多目标优化的多个loss应该如何权衡 20
本文介绍了一篇关于多任务学习的综述，详细介绍了文章中关于多任务学习的两个主要研究方向：task balancing和其他。 看了那么多篇理论慢慢的paper，终于找到一篇比较有工程意义的paper了。 对于应用来说，这样比较简单直接的survey才是王道啊！感觉之前看的多任务的survey公式和定理太多，还是这样的文章比较能够帮助快速上手解决问题。 当然这里主要还是介绍optimization s...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
搜索当前分类