知行编程网知行编程网  2022-07-05 16:00 知行编程网 |  隐藏边栏 |   抢沙发 |  4 
文章评分 0 次，平均分 0.0 ：

Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑

晓查 发自 凹非寺 
来自 | 量子位 
要挑战Adam地位的优化器又多了一个。
近日NeurIPS 2020收录论文提出的一个优化器，在深度学习社区成为焦点，引起广泛讨论。
这就是由耶鲁大学团队提出的AdaBelief。团队在论文中表示，该优化器兼具Adam的快速收敛特性和SGD的良好泛化性。
Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑
所谓AdaBelief，是指根据梯度方向上的“信念”（Belief）来调整训练的步长。它和Adam在算法上的差别并不大。
二者差别在下面的算法实现上可以轻易看出。
Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑
相比Adam，AdaBelief没有引入任何其他新参数，只是在最后一步更新时有差异，已在上图中用蓝色标出。
Adam的更新方向是Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑，而AdaBelief的更新方向是Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑。vt和st的差别在于，后者是Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑的指数移动平均（EMA）。
mt可以看做是gt的预测值，当实际值与预测值相差不大时，分母Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑较小，步长较大，权重放心大胆迈开步子更新。
而实际值与预测值相差很大时，AdaBelief倾向于“不相信”当前梯度，此时分母较大，更新步长较短。

   为什么AdaBelief更好

只做在最后一步做了了一个小小的改变，未审核会产生如此之大的影响呢？
这主要是因为AdaBelief考虑了两点。
1、损失函数的曲率问题
理想的优化器应该考虑损失函数的曲线，而不是简单地在梯度较大的地方下采取较大的步长。
Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑
在“大梯度、小曲率”（图中区域3）情况下Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑和Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑很小，优化器应增加其步长。
2、分母中的梯度符号
Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑
在上图损失函数为Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑的情况下，蓝色矢量代表梯度，十字叉代表最优解。
Adam优化器在y方向上振荡，并在x方向上保持前进。这是由于Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑。在低方差情况下，Adam中的更新方向接近“符号下降”。
而在AdaBelief中，Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑，因此AdaBelief在x方向上走了一大步，在y方向上只会走一小步，防止振荡产生。

   实验结果

在简单的几种3维损失函数曲面上，AdamBelief展现出了优秀的性能。
Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑
Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑
图像分类
在CIFAR-10和CIFAR-100数据集上，用VGG11、ResNet34和DenseNet121三种网络进行训练，AdaBelief都显示出更好的收敛结果。
而且在ImageNet数据上，AdaBelief在Top-1准确率上仅次于SGD。
Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑
时间序列建模
在Penn TreeBank数据集上，用LSTM进行实验，AdaBelief都实现了最低的困惑度。
Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑
GAN
在WGAN和WGAN-GP上的实验表明，经AdaBelief训练的结果都得到了最低的FID。
Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑

   网友评论

虽然AdaBelief在多个任务上取得了不错的效果，但该方法还是遭到不少网友质疑。
因为这些年来号称取代Adam的优化器不计其数，但最终获得时间检验的却寥寥无几。
网友首先质疑的是实验baseline的选取问题。
有人认为，在CIFAR上，很难相信2020年SOTA模型的准确率低于96％，因此AdaBelief论文最终在选取baseline时有可能是选择了与不太好的结果进行比较。
在ImageNet测试的表2里，为什么要使用ResNet18代替更标准的ResNet50？而且AdaBelief不是最优结果，却用加粗方式标出，容易让人产生误解。绝妙的技巧是将提出的方法的得分加粗。
另外，还有人在作者未测试的NLP任务上进行实验，很快AdaBelief就“崩溃”了，而SGD能够很好地收敛。
Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑
AdaBelief不会是最后一个意图取代Adam的优化器，它的泛化能力究竟如何，还有待更多研究者进一步地检验。
项目地址：
https://juntang-zhuang.github.io/adabelief/
论文地址：
https://arxiv.org/abs/2010.07468
代码地址：
https://github.com/juntang-zhuang/Adabelief-Optimizer


<section data-brushtype="text" style="padding-right: 0em;padding-left: 0em;white-space: normal;max-width: 100%;letter-spacing: 0.544px;color: rgb(62, 62, 62);font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;widows: 1;word-spacing: 2px;caret-color: rgb(255, 0, 0);background-color: rgb(255, 255, 255);text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;color: rgb(0, 0, 0);font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;font-size: 16px;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;box-sizing: border-box !important;overflow-wrap: break-word !important;">—</span></strong>完<strong style="max-width: 100%;font-size: 16px;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;font-size: 16px;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;box-sizing: border-box !important;overflow-wrap: break-word !important;">—</span></strong></span></strong></span></strong></section><pre style="padding-right: 0em;padding-left: 0em;max-width: 100%;letter-spacing: 0.544px;color: rgb(62, 62, 62);font-size: 16px;widows: 1;word-spacing: 2px;caret-color: rgb(255, 0, 0);background-color: rgb(255, 255, 255);text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;"><pre style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;letter-spacing: 0.544px;white-space: normal;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 25px;max-width: 100%;opacity: 0.8;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 25px;max-width: 100%;opacity: 0.8;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-bottom: 15px;padding-right: 0em;padding-left: 0em;max-width: 100%;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 25.5938px;letter-spacing: 3px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;color: rgb(0, 0, 0);box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;font-size: 16px;font-family: 微软雅黑;caret-color: red;box-sizing: border-box !important;overflow-wrap: break-word !important;">为您推荐</span></strong></span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">干货 | 算法工程师超实用技术路线图</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="font-size: 14px;">13个算法工程师必须掌握的PyTorch Tricks</span><span style="letter-spacing: 0.544px;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;"></span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="font-size: 14px;">吴恩达上新：生成对抗网络（GAN）专项课程</span><br  /></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">拿到2021灰飞烟灭算法岗offer的大佬们是啥样的<span style="font-size: 14px;">?</span><br  /></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;color: rgb(0, 0, 0);box-sizing: border-box !important;overflow-wrap: break-word !important;">你一定从未看过如此通俗易懂的YOLO系列解读 (下)</section></section></section></section></section></section></section></section></section>

Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑

本篇文章来源于: 深度学习这件小事

本文为原创文章，版权归所有，欢迎分享本文，转载请保留出处！

知行编程网
知行编程网 关注：1    粉丝：1
这个人很懒，什么都没写

你可能也喜欢

热评文章

上一篇
下一篇

发表评论

表情 格式 链接 私密 签到
扫一扫二维码分享
 繁