来自 | 知乎 作者｜sisiyou
链接 | https://zhuanlan.zhihu.com/p/131580167
编辑 | 深度学习这件小事
本文总结了基于MAML（二次梯度）相关的meta-learning的最新进展。
Learning to Reweight Examples for Robust Deep Learning
任务：噪声数据的图像分类；不平衡类别的图像分类问题。
动机：对于噪声数据和不平衡类别的图像分类问题，通常会对每个样本赋予一个权重。比如对噪声数据赋予低的权重，对少类别样本赋予一个高的权重。但是，很难针对一个样本确定一个特定的权重。本文提出利用一个clean validation set，作为指导，对每个train set的样本自学习一个权重。
做法：如下图所示，分为三步走的策略，前两部更新权重w，后一步更新网络参数。
-
（4-7步），train set经过网络
，初始化每个权重
为0，得到更新后的参数
。
-
（8-11步），val set 经过网络
，更新权重
，得到
-
（12-14步），train set经过网络
，利用更新后的权重
，更新网络得到
。
问题：
-
为什么每次都要初始化w为0，无法利用之前学习到的状态。
-
第一步和第三步都是把train set经过网络
,能否合并。
Meta-Weight-Net: Learning an Explicit Mapping For Sample Weighting (NIPS19)
任务：噪声数据的图像分类；不平衡类别的图像分类问题。
动机：现有的方法通常根据训练loss对每个训练样本分配一个权重。能否利用一个网络直接根据训练loss生成该样本的权重？如何对这个网络进行监督？--利用meta-learning的思想：利用网络产生的权重更新分类网络，分类网络应该在验证集上表现很好。
方法：分类网络 ；meta 网络
-
利用
生成每个样本的权重，利用训练集更新分类网络
-
根据
在验证集上的表现更新meta网络
-
根据更新后的meta网络
更新分类网络
Meta Pseudo Labels （arxiv 2020）
任务：半监督学习
动机：半监督常用的思想是对无标注的样本赋予一个伪标签。现有的方法是利用标注样本训练好的模型预测一个伪标签。能否根据网络的状态自适应地赋予每个样本一个标注信息呢？
做法：利用meta-learning的思想学习一个标注网络（teacher）为主网络（student）生成伪标签。将标注样本作为验证集（val），无标注样本作为训练集（train）。
-
利用无标注样本更新student网络，利用teacher网络的预测的标签以及CE loss。
-
利用标注样本（验证集）更新teacher网络，根据student在验证集上的表现。
长尾分布学习
BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition
问题定义：长尾分布：少数类别占据了大量样本，大量类别只占据了少数样本。
动机：长尾分布常用的方法是data-balancing：对tail data赋予一个高的采样权重，对head data赋予一个低的采样权重。这样会有利于分类器（最后一层全连接层）的学习，但是会损害特征提取器的性能。因此，本文提出一个策略，将特征提取器和分类器分开学习。其中，特征提取器利用uniform sample的样本进行学习，分类器利用data re-sample的样本进行学习。
方法：
-
conventional learning branch F1：uniform sampler得到样本x1，提取特征F1(x)；
-
re-balancing branch F2：reversed sampler得到样本x2，提取特征F2(x2)；
-
利用mix-up和cumulative learning（渐进式学习）的思想，对特征和标注信息进行融合。
；
-
cumulative learning：随着迭代次数的增加，不断减小
，使网络从特征学习到分类器学习。
-
测试时，固定a=0.5，
；
<pre style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><p style="max-width: 100%;letter-spacing: 0.544px;white-space: normal;color: rgb(0, 0, 0);font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;widows: 1;line-height: 1.75em;box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;font-size: 16px;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;box-sizing: border-box !important;overflow-wrap: break-word !important;">—</span></strong>完<strong style="max-width: 100%;font-size: 16px;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;font-size: 16px;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;box-sizing: border-box !important;overflow-wrap: break-word !important;">—</span></strong></span></strong></span></strong></p><section style="max-width: 100%;letter-spacing: 0.544px;white-space: normal;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;widows: 1;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 25px;max-width: 100%;opacity: 0.8;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 25px;max-width: 100%;opacity: 0.8;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section><p style="margin-bottom: 15px;padding-right: 0em;padding-left: 0em;max-width: 100%;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 25.5938px;letter-spacing: 3px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;color: rgb(0, 0, 0);box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;font-size: 16px;font-family: 微软雅黑;caret-color: red;box-sizing: border-box !important;overflow-wrap: break-word !important;">为您推荐</span></strong></span></p><p style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">中国大学10强！校友会2020世界一流大学排名发布</p><p style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="font-size: 14px;">GitHub重大更新：在线开发上线，是时候卸载IDE了</span></p><p style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="color: rgb(87, 107, 149);-webkit-tap-highlight-color: rgba(0, 0, 0, 0);cursor: pointer;max-width: 100%;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;">史上最烂的项目：苦撑12年，600多万行代码...</span></p><p style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">数据分析入门常用的23个牛逼Pandas代码</p><p style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">知乎高赞：985计算机视觉毕业后找不到工作怎么办？<br /></p></section></section></section></section></section></section></section></section>
本篇文章来源于: 深度学习这件小事
本文为原创文章，版权归知行编程网所有，欢迎分享本文，转载请保留出处！
内容反馈