知行编程网知行编程网  2022-07-02 16:00 知行编程网 隐藏边栏 |   抢沙发  8 
文章评分 0 次,平均分 0.0

把你手机里的照片秒变3D!Facebook训练了一个CNN端到端系统

来源 | techxplore   

报道 |  新智元   编辑 | 永上


【导读】Facebook研究人员,开发出一个卷积神经网络端到端系统,已经能实现几秒钟内,将任何设备上拍摄的2D图像转换成3D图像。
 
现在人人都用手持设备(例如手机、平板)等拍照,并通过简单的修图应用对图片编辑处理。人们通过不同的修图工具,能轻松创造出不同风格的图片。
 
   训练卷积神经网络,依托计算机视觉、图形学和机器学习

最近Facebook研究人员,通过Facebook AI开发的移动优化技术,训练卷积神经网络,在数百万的3D图像中,学习其附带的图像深度,可将任何设备拍摄的照片自动转换为3D图像。
       把你手机里的照片秒变3D!Facebook训练了一个CNN端到端系统       
系统根据输入的2D图像,自动进行深度估计,实现2D到3D的实时转换,仅需花费几秒钟即可完成处理。

该框架还结合了纹理修补,对输入的2D图像进行几何捕捉,以使得它能在转换为3D图像时更加生动逼真。每一个步骤都是自动的,直接在用户的移动设备中对2D图像进行各种各样的模型优化,没有设备内存和数据传输能力的限制。

输入图片:

       把你手机里的照片秒变3D!Facebook训练了一个CNN端到端系统       
 
处理过程:
       把你手机里的照片秒变3D!Facebook训练了一个CNN端到端系统  

输出图片:

       把你手机里的照片秒变3D!Facebook训练了一个CNN端到端系统      
 
这项技术对设备没有要求,几乎可处理任何照片,此前Facebook 3D转换还需要照片是由双镜头摄像头拍摄完成。
 
   实时转换,无需摄影技巧

Facebook团队将在SIGGRAPH 2020(计算机图形学和互动技术大会 2020)上展示。SIGGRAPH 2020将在今年8月17日线上举行,届时来自各个领域的专业人士,将展示他们从不同角度对计算机图形学和互动技术的研究。作为该领域最重要的行业会议之一,许多前瞻性想法和研究都会在会议中得到展示和讨论。
 
2018年底,Facebook为其「照片功能」引入了2D转3D的功能。但那时还需要Facebook用户用配有双镜头相机的手机拍照才能实现。
 
现在,Facebook团队为其增加了一种算法,可以自动为输入的2D图像深度估计,改良后的技术能直接应用于任何移动设备,不限于Facebook App,且无需是双镜头摄像头拍摄的图片。
 
「过去的一个世纪里,摄影经历了几次技术「升级」,提高了人们的沉浸感。起初所有的照片都是黑白和颗粒状的,后来出现了彩色照片,然后数码照片带给我们更高质量和高分辨率的图像」。Facebook科学家,也是这项技术的主要研究者Johannes Kopf说,「现在有了3D图像,让照片更具生命力和真实感」。
        把你手机里的照片秒变3D!Facebook训练了一个CNN端到端系统

3D图像为人们提供了「身临其境的图像体验」,依托于计算机视觉、图形学和机器学习的通力合作以及技术进步。

现在,Facebook研究小组正在研究机器学习方法,这种方法能够对移动设备拍摄的视频进行有效深度估计,未来将适用于视频的2D转换3D。

参考链接:https://techxplore.com/news/2020-06-photos-d-mobile-device.html

<pre style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;letter-spacing: 0.544px;white-space: normal;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 25px;max-width: 100%;opacity: 0.8;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 25px;max-width: 100%;opacity: 0.8;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-bottom: 15px;padding-right: 0em;padding-left: 0em;max-width: 100%;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 25.5938px;letter-spacing: 3px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;color: rgb(0, 0, 0);box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;font-size: 16px;font-family: 微软雅黑;caret-color: red;box-sizing: border-box !important;overflow-wrap: break-word !important;">为您推荐</span></strong></span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">干货 | 算法工程师超实用技术路线图</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="font-size: 14px;">吴恩达上新:生成对抗网络(GAN)专项课程</span><br  /></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;box-sizing: border-box !important;overflow-wrap: break-word !important;">思考 | 一滴水从高处落下来,会不会砸死人?</section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;color: rgb(0, 0, 0);box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;">周博磊自述:一个神经元的价值和一个神经病的坚持</span></section><section style="margin-top: 5px;margin-bottom: 5px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;letter-spacing: 0px;opacity: 0.8;line-height: normal;color: rgb(0, 0, 0);box-sizing: border-box !important;overflow-wrap: break-word !important;">你一定从未看过如此通俗易懂的YOLO系列解读 (下)</section></section></section></section></section></section></section></section></section>

把你手机里的照片秒变3D!Facebook训练了一个CNN端到端系统

本篇文章来源于: 深度学习这件小事

本文为原创文章,版权归所有,欢迎分享本文,转载请保留出处!

知行编程网
知行编程网 关注:1    粉丝:1
这个人很懒,什么都没写

发表评论

表情 格式 链接 私密 签到
扫一扫二维码分享