知行编程网知行编程网  2022-07-20 20:00 知行编程网 隐藏边栏 |   抢沙发  15 
文章评分 1 次,平均分 5.0

英伟达提出GAN的全新训练方式,数据可减少10到20倍!

来源 | VB

出品 | 大数据文摘   编译 | 陈之炎


英伟达提出GAN的全新训练方式,数据可减少10到20倍!
 
英伟达的研究人员创造了一种增强方法来训练生成对抗性网络(GAN),与先前的方法相比,这种方法需要的数据量相对更少。 

英伟达的这种GAN网络,可用于风景画等艺术作品的创作,还可制作一些用于视频会议的作品。(GAN是人工智能的一种形式,它将生成器网络与鉴别器网络相匹配,以创建图像或视频。) 训练GANs可能需要10万张以上的图像,但论文“利用有限数据训练生成对抗性网络”中提出了一种称为自适应鉴别器增强(ADA)的方法,利用这种方法训练GAN,可使需要的数据减少10到20倍
 
“小型数据集的关键问题是:鉴别器会产生过拟合,训练开始发散,使得生成器的反馈变得毫无意义‘论文中这样描述’通过在多个数据集上进行训练,结果证明,现在只使用几千张图片就可以取得好的结果,而Style GAN2的训练结果则需要与更少的图像匹配。”
 
今年早些时候,来自Adobe Research、MIT和清华大学的研究人员详细介绍了GANS增强的另一种方法DiffAugment。
 
英伟达副总裁,图学研究员David Luebke声称,做过实用数据科学的人都知道:大部分时间都用在收集和管理数据上,这通常称为ETL管道:提取、转换和加载。

他说:“仅这一项工作就需要大量实地数据科学人员,我们认为这种方法非常有用,因为你无需巨量的数据,也能获得有用的结果。”
 
他说:“对于那些没有大量时间对数据进行标注的数据科学人员来说,这一点变得尤为重要。”
 
论文的作者认为:减少数据约束可以授权研究人员检查GANs的新用例。除了创造人或动物的假照片外,研究人员认为GAN可能在医学成像数据中得到应用。
 
“如果有一位专门研究某一特定领域的放射科医生......让他或她坐下来给你贴上5万张照片的标签可能不太现实......但是让他们贴上1,000张照片的标签似乎是完全可能的。这的确降低了数据科学家需要投入的数据管理的工作量,从而方便了研究工作,“Luebke说。
 
在世界上最大的年度AI研究会议——NeurIPS会议上,作为神经信息处理网络的一部分,本周发表了一篇详细介绍该方法的论文。
 
“用有限的数据训练生成对抗性网络”并不是唯一与GAN相关的论文。另一篇研究论文介绍了鉴别器驱动的潜在抽样(DDLS),利用CIFAR-10数据集进行评估时,DDLS提高了GAN的性能。这篇论文是由MILA魁北克人工智能研究所和谷歌大脑研究人员合作撰写,作者包括Yoshua Bengio和Hugo Larochelle,蒙特利尔谷歌大脑小组组长,NeurIPS会议常务主席。
 
相关报道:
https://venturebeat.com/2020/12/07/nvidia-researchers-devise-method-for-training-gans-with-less-data/

<section data-brushtype="text" style="padding-right: 0em;padding-left: 0em;white-space: normal;letter-spacing: 0.544px;color: rgb(62, 62, 62);font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;widows: 1;word-spacing: 2px;caret-color: rgb(255, 0, 0);text-align: center;"><strong style="color: rgb(0, 0, 0);font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;font-size: 14px;"><strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;">—</span></strong>完<strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;font-size: 14px;"><strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;">—</span></strong></span></strong></span></strong></section><pre><pre><section style="letter-spacing: 0.544px;white-space: normal;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;"><section powered-by="xiumi.us"><section style="margin-top: 15px;margin-bottom: 25px;opacity: 0.8;"><section><section style="letter-spacing: 0.544px;"><section powered-by="xiumi.us"><section style="margin-top: 15px;margin-bottom: 25px;opacity: 0.8;"><section><section style="margin-bottom: 15px;padding-right: 0em;padding-left: 0em;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 25.5938px;letter-spacing: 3px;text-align: center;"><span style="color: rgb(0, 0, 0);"><strong><span style="font-size: 16px;font-family: 微软雅黑;caret-color: red;">为您推荐</span></strong></span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">一文了解深度推荐算法的演进</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">吃透空洞卷积(Dilated Convolutions)<br  /></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;"><span style="font-size: 14px;">13个算法工程师必须掌握的PyTorch Tricks</span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;"><span style="font-size: 14px;">吴恩达上新:生成对抗网络(GAN)专项课程</span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">从SGD到NadaMax,十种优化算法原理及实现</section></section></section></section></section></section></section></section></section>

英伟达提出GAN的全新训练方式,数据可减少10到20倍!

本篇文章来源于: 深度学习这件小事

本文为原创文章,版权归所有,欢迎分享本文,转载请保留出处!

知行编程网
知行编程网 关注:1    粉丝:1
这个人很懒,什么都没写

发表评论

表情 格式 链接 私密 签到
扫一扫二维码分享