知行编程网知行编程网  2022-06-20 18:00 知行编程网 隐藏边栏 |   抢沙发  23 
文章评分 0 次,平均分 0.0

ICML2020 | 南大周志华教授组:一个高效安全的深度半监督学习模型

来自 | ICML

报道 | 新智元   编辑 | 舒婷、白峰

【导读】最近,ICML 2020上周志华教授组发表的一篇有关深度半监督学习的论文引发热议,文章介绍了一种叫做DS3L的半监督模型,在未知分类无标签数据集中的表现抢眼,有些条件下甚至超过了监督学习的基线模型。

ICML 2020投稿中,周志华教授组发表的一篇有关深度半监督学习的论文引发热议。

 
       ICML2020 | 南大周志华教授组:一个高效安全的深度半监督学习模型        
这篇论文主要介绍了一种叫做DS3L的深度半监督学习模型,以减轻无标签数据集中模型性能下降的问题。

   为什么要研究这个新的方法?


在完全监督学习中,深度学习网络的表现是富有竞争力的,甚至有些场景比人类表现的好。这些场景,一般都是在有一个大量的有标签的数据集的前提下。

但是,许多实际应用中,标记数据集是很困难的,因为要耗费很大的人力和财力,这限制了深度学习网络的更广阔的发展。深度半监督学习就是为了解决这个问题。

深度半监督学习是面向的一系列的价格低廉的无标签的数据,帮助深度神经网络减少对标记数据集的需求以改善表现。深度半监督学习在监督学习模型中的表现很好,通过探索无标签数据集的结构(如熵最小化、一致性正规化、对抗训练等)来减少数据集的费用。
 
但是,上述的所有结果都基于一个乐观的假设:有标签的数据和无标签的数据来自相同的分布。这种假设在实际应用中很难实现,同时通常的应用中,无标签数据集中会有一些有标签数据集中不包含的类别。例如,根据关键词从网络抓取的无标签网页,通常包含很多之前没有涉及的类别。
 
这里有一个关于图形分类的例子,可以看到无标签数据集包含的类别更多。
       ICML2020 | 南大周志华教授组:一个高效安全的深度半监督学习模型      
面对这种情况时,深度半监督模型的表现不再优异,甚至会出现性能大幅度下降的情况。甚至,深度半监督模型的表现甚至不如一个简单监督学习模型。这种现象与深度半监督模型的初衷背道而驰。
 
       ICML2020 | 南大周志华教授组:一个高效安全的深度半监督学习模型      

   DS3L:一个高效安全的深度半监督学习模型


这篇论文介绍了一个简单有效安全的方法:DS3L(Deep Safe Semi-Supervised Learning)。不像其他深度半监督学习模型,DS3L并不是利用所有的无标签数据集,而是有选择的并且跟踪监督学习模型的影响来避免「性能灾难」。
 
具体有两个方面:
 
1)弱化了在无标签数据集中的未见类别,提高分布匹配,保持较强的泛化能力。
 
2)加强有标签数据,避免性能减弱。
 
综上所述,我们采用了高效算法的双层优化。在评估中,DS3L在理论和实践中都表现出色。
 
DS3L的表现总是比有标签数据集的表现好,泛化在ICML2020 | 南大周志华教授组:一个高效安全的深度半监督学习模型的时候接近最优,甚至比带有大量参数的监督学习的收敛速度还要快。
 
实践方面,在基准测试数据实验中,在40%的未见类无标签数据中,现有的深度半监督方法不如监督学习。但是,新方法能在60%以上的未见类无标签数据中实现性能提升。此外,该方法适用于许多深度SSL算法,并且可以很容易地扩展以处理类分布不匹配的情况。
 
       ICML2020 | 南大周志华教授组:一个高效安全的深度半监督学习模型
DS3L的框架结构
 
对于无标签的数据,DS3L需要进行选择。主要方法是设计一个加权函数w。DS3L试图找到以下函数的最优,以最小化相应的加权风险:

       ICML2020 | 南大周志华教授组:一个高效安全的深度半监督学习模型      
 
另一方面,DS3L持续跟踪监督的性能,以防性能衰退。具体而言,DS3L要求加权经验风险过程返回的模型,能够实现泛化性能最大化。
 
       ICML2020 | 南大周志华教授组:一个高效安全的深度半监督学习模型     
 
在实际情况下,分布是未知的,类似于经验风险最小化。DS3L试图找到最优参数α:

       ICML2020 | 南大周志华教授组:一个高效安全的深度半监督学习模型      
 
为了简化符号,框架的目标可以表述为一下双层优化问题:
 
       ICML2020 | 南大周志华教授组:一个高效安全的深度半监督学习模型       


   性能测试:类分布不匹配时表现依旧亮眼


实验中所有方法明显优于具有相同类分布的基线监督学习方法。但是,随着类分布不匹配的加剧,现有的深度SSL方法的性能迅速下降。
ICML2020 | 南大周志华教授组:一个高效安全的深度半监督学习模型
 
当40%的无标签实例来自未知的类时,许多深度SSL技术甚至都不如基线监督学习方法,而我们的DS3L在存在超过60%的未知类无标签实例的情况下仍可以保持明显的性能改进,即无标签实例甚至比相关实例更多。这些经验结果与理论分析一致,并证明了DS3L的有效性。
 
       ICML2020 | 南大周志华教授组:一个高效安全的深度半监督学习模型      

从上图我们可以看到CIFAR-10跟MNIST上的测试结果类似,即DS3L在不同的类分布不匹配率下都能获得令人满意的性能。与许多不具备基线监督学习方法的深度SSL技术相比,该方法具有40%未知类的无标签数据。
 
DS3L可以通过简单的无监督正则化获得最佳性能,即使类不匹配率超过60%。所有这些结果表明,我们提出的DS3L非常有效地防止了类分布不匹配引起的性能下降。
 
       ICML2020 | 南大周志华教授组:一个高效安全的深度半监督学习模型        
       ICML2020 | 南大周志华教授组:一个高效安全的深度半监督学习模型      

上面两个图的结果进一步验证了DS3L可以通过各种深度SSL方法达到很好的性能,也就是说,在所有情况下,其性能都优于基准监督学习方法,说明DS3L是非常灵活的。

为了进一步量化DS3L在无标签未知分类数据中的识别能力,在MNIST和CIFAR-10数据集上将我们的方法与概率估计方法进行了比较,与伪标签类似,概率估计方法(Hendrycks&Gimpel,2017)使用标记数据获取每个无标签数据的类分布,然后通过softmax计算属于已知类的概率,具有低预测概率的示例可以视为未识别出。

ICML2020 | 南大周志华教授组:一个高效安全的深度半监督学习模型 

通过将未知分类的无标签数据视为否定类别,将其他未知分类的数据视为肯定类别,AUC值可用于衡量识别能力。表1显示了不同类别不匹配率下的实验结果。可以看出,与基于概率的方法相比,DS3L降低了未知分类无标签数据的错误分类率。

参考链接:
https://cs.nju.edu.cn/liyf/paper/icml20-DS3L.pdf

<section style="white-space: normal;line-height: 1.75em;text-align: center;"><strong style="color: rgb(0, 0, 0);font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;widows: 1;background-color: rgb(255, 255, 255);font-size: 16px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;font-size: 16px;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;box-sizing: border-box !important;overflow-wrap: break-word !important;">—</span></strong>完<strong style="max-width: 100%;font-size: 16px;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;font-size: 16px;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;box-sizing: border-box !important;overflow-wrap: break-word !important;">—</span></strong></span></strong></span></strong></section><pre><pre style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;letter-spacing: 0.544px;white-space: normal;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;widows: 1;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 25px;max-width: 100%;opacity: 0.8;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 25px;max-width: 100%;opacity: 0.8;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section><section style="margin-bottom: 15px;padding-right: 0em;padding-left: 0em;max-width: 100%;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 25.5938px;letter-spacing: 3px;text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;color: rgb(0, 0, 0);box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;font-size: 16px;font-family: 微软雅黑;caret-color: red;box-sizing: border-box !important;overflow-wrap: break-word !important;">为您推荐</span></strong></span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="font-size: 14px;">你一定从未看过如此通俗易懂的YOLO系列解读 (上)</span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;">这21张深度学习速查表让你代码能力突飞猛进</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;">正道的光!这有个用TensorFlow做的小黄图过滤器<br  /></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;">数据分析入门常用的23个牛逼Pandas代码</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="color: rgb(87, 107, 149);font-size: 14px;">如何在科研论文中画出漂亮的插图?</span><br  /></section></section></section></section></section></section></section></section></section>
ICML2020 | 南大周志华教授组:一个高效安全的深度半监督学习模型

本篇文章来源于: 深度学习这件小事

本文为原创文章,版权归所有,欢迎分享本文,转载请保留出处!

知行编程网
知行编程网 关注:1    粉丝:1
这个人很懒,什么都没写

发表评论

表情 格式 链接 私密 签到
扫一扫二维码分享