知行编程网知行编程网  2022-07-30 16:00 知行编程网 隐藏边栏 |   抢沙发  51 
文章评分 0 次,平均分 0.0
这个 AI “大师级”简笔画水平,惊艳到了网友:竟然不用 GAN
金磊 发自 凹非寺
来自 | 量子位 
AI画的简笔画能到什么水平?
给一张美国演员Rami Malek的照片,效果是这样的。
这个 AI “大师级”简笔画水平,惊艳到了网友:竟然不用 GAN
是不是和原图很逼近了?
再来看下输入《老友记》合影的效果。
这个 AI “大师级”简笔画水平,惊艳到了网友:竟然不用 GAN
虽然人物众多,但出来的简笔画效果,依旧还是能分清剧中的人物。
如果毛发特别浓密的人物照,AI还能hold得住吗?
这个 AI “大师级”简笔画水平,惊艳到了网友:竟然不用 GAN
小姐姐“爆炸头”的边缘毛发,也算得上是完美还原了。
再近距离一些的呢?来看“霉霉”(Taylor Swift)照片的效果。
这个 AI “大师级”简笔画水平,惊艳到了网友:竟然不用 GAN
可以说是相当的细节了,把发丝的层次感、光感,以及衣物的褶皱,都发挥的“淋漓尽致”。
……
这些就是出自一个叫ArtLine的AI的作品。
而且它在Reddit非常火爆,已经达到了1100+的热度。
这个 AI “大师级”简笔画水平,惊艳到了网友:竟然不用 GAN
如此惟妙惟肖的效果,你是不是认为又是GAN的功劳?
错!
ArtLine完全没有用到GAN:
这个 AI “大师级”简笔画水平,惊艳到了网友:竟然不用 GAN
也正因如此,ArtLine的效果真真儿的惊艳到了网友。
那么,它是如何做到的呢?

   ArtLine背后的三大“法宝”

ArtLine的作者十分爽快地分享了其背后的三大技术
  • Self-Attention

  • Progressive Resizing

  • Generator Loss

接下来,一起逐一看下各个技术背后的细节内容。
Self-Attention部分引用的技术,出自两年前GAN之父lan Goodfellow等人提出的研究。
这个 AI “大师级”简笔画水平,惊艳到了网友:竟然不用 GAN
等等,刚才不是还说“没用到GAN”吗?
作者对此的解释是:
并没有起到太大作用。

这项研究主要是在GAN生成中加入了注意力机制,同时将SNgan的思想引入到生成器当中。
所要解决的是传统GAN自身存在的一些问题,例如:
  • 使用小的卷积核很难发现图像中的依赖关系

  • 使用大的卷积核就会丧失卷积网络参数与计算的效率

研究中核心的自注意力机制如下图所示。
这个 AI “大师级”简笔画水平,惊艳到了网友:竟然不用 GAN
其中,f(x),g(x)和h(x)都是普通的1x1卷积,差别只在于输出通道大小不同。
而后,将f(x)的输出转置,并和g(x)的输出相乘,再经过softmax归一化,得到一个Attention Map。
得到Attention Map之后,和h(x)逐像素点相乘,得到自适应的注意力feature maps。
这个 AI “大师级”简笔画水平,惊艳到了网友:竟然不用 GAN
从结果上来看,引入自注意力机制的效果,确实在FID和IS两个性能指标下,得到了较好的效果。
ArtLine涉及到的第二个技术灵感,来自英伟达在2018年的一项研究。
这个 AI “大师级”简笔画水平,惊艳到了网友:竟然不用 GAN
这项研究主要提出了一种新的训练对抗神经网络的方法。
核心思想是逐步训练生成器和判别器:从低分辨率开始,随着训练进程推进,逐步增加新的层来提炼细节。
这个 AI “大师级”简笔画水平,惊艳到了网友:竟然不用 GAN

这种方法不仅加快了训练速度并且更加稳定,可以产生高质量的图像。
ArtLine所涉及到的最后一个技术,是来自斯坦福大学李飞飞团队在2016年提出的研究。
这个 AI “大师级”简笔画水平,惊艳到了网友:竟然不用 GAN
这项研究主要解决了实现的风格转换,比较费时的问题。
这个 AI “大师级”简笔画水平,惊艳到了网友:竟然不用 GAN
风格转换部分主要用了上面的网络模型,这个模型可以分为两部分:左侧是图像转换网络,而右侧是损耗网络。
其超分辨率重建也是采用上面的网络模型,只是具体内部的图像转换网络部分稍有区别。
这个网络与之前的研究相比,效果达到了相当的水平,但速度却提升了百倍之多,达到3个数量级。
这个 AI “大师级”简笔画水平,惊艳到了网友:竟然不用 GAN

   关于作者


这个 AI “大师级”简笔画水平,惊艳到了网友:竟然不用 GAN
ArtLine的项目作者叫做Vijish Madhavan。
他在GitHub中坦言自己并非程序员出身,也道出了ArtLine目前存在的一些缺陷,例如处理像素低于500px的图像时,效果并不理想等。
现在,ArtLine可以在线玩了!
感兴趣的读者,可以戳下方链接体验一下。
Colab链接:
https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine(Try_it_on_Colab).ipynb.ipynb)
https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine.ipynb

GitHub项目地址:
https://github.com/vijishmadhavan/ArtLine

<section data-brushtype="text" style="padding-right: 0em;padding-left: 0em;white-space: normal;font-size: 16px;letter-spacing: 0.544px;color: rgb(62, 62, 62);font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;widows: 1;word-spacing: 2px;caret-color: rgb(255, 0, 0);text-align: center;"><strong style="color: rgb(0, 0, 0);font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;font-size: 14px;"><strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;">—</span></strong>完<strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;font-size: 14px;"><strong style="font-size: 16px;letter-spacing: 0.544px;"><span style="letter-spacing: 0.5px;">—</span></strong></span></strong></span></strong></section><pre style="color: rgb(86, 86, 86);font-size: 16px;letter-spacing: 1px;text-align: left;"><pre><section style="letter-spacing: 0.544px;white-space: normal;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;"><section powered-by="xiumi.us"><section style="margin-top: 15px;margin-bottom: 25px;opacity: 0.8;"><section><section style="letter-spacing: 0.544px;"><section powered-by="xiumi.us"><section style="margin-top: 15px;margin-bottom: 25px;opacity: 0.8;"><section><section style="margin-bottom: 15px;padding-right: 0em;padding-left: 0em;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 25.5938px;letter-spacing: 3px;text-align: center;"><span style="color: rgb(0, 0, 0);"><strong><span style="font-size: 16px;font-family: 微软雅黑;caret-color: red;">为您推荐</span></strong></span></section><p style="margin: 5px 16px;padding-right: 0em;padding-left: 0em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">彻底搞懂机器学习中的正则化<br  /></p><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">我在哥大读博的五年,万字总结<br  /></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">一个算法工程师的日常是怎样的?</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;"><span style="font-size: 14px;">吴恩达上新:生成对抗网络(GAN)专项课程</span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;text-align: center;">从SGD到NadaMax,十种优化算法原理及实现</section></section></section></section></section></section></section></section></section>

这个 AI “大师级”简笔画水平,惊艳到了网友:竟然不用 GAN

本篇文章来源于: 深度学习这件小事

本文为原创文章,版权归所有,欢迎分享本文,转载请保留出处!

知行编程网
知行编程网 关注:1    粉丝:1
这个人很懒,什么都没写

发表评论

表情 格式 链接 私密 签到
扫一扫二维码分享