知行编程网知行编程网  2022-05-02 14:00 知行编程网 隐藏边栏 |   抢沙发  7 
文章评分 0 次,平均分 0.0

图像分割深度学习从零开始学习路线

来自 | 知乎     作者 | Hello王叔叔
整理 | 深度学习这件小事
仅作交流,如有侵权,请联系删文


   第零阶段:看分割看不懂


这个阶段典型表现是,对于梯度下降,交叉熵损失,激活函数等概念模棱两可,这可能是博主说的零基础入门。你可能需要对深度学习和计算机视觉的基本任务有一个较为系统的学习,这块应该转看深度学习入门等相关话题,斯坦福的李飞飞cs231n被推荐的挺多的。这块我就不多赘述了,我更多分享后面三个阶段关于分割的学习。


   第一阶段:看分割是分割


这个阶段的典型表现是,有了对深度学习和计算机视觉的基础,开始痴迷于各种分割网络和loss改进,对benchmark的每一个性能的改进都有很好的follow。这个阶段应该梳理以下问题。

  • 语义/实例/全景分割的问题难点在哪里
  • benchmark数据集有哪些
  • 评价指标是什么
  • 现有的方法有哪些,关系是什么
  • 还有哪些可以改进的地方
之前很粗糙的总结过自然影像和医疗影像领域语义分割的一些主要工作和发展脉络。


图像分割深度学习从零开始学习路线


当然目前的SOTA model在各个benchmark上都有更新,自然影像可能是立夏之光的Expectation Maximization Attention Networks for Semantic Segmentation,医疗影像最新出了一篇Divided We Stand: A Novel Residual Group Attention Mechanism for Medical Image Segmentation,性能不错。

另外整理脉络建议读该领域的survey:

2019年5篇图像分割算法最佳综述
地址:https://zhuanlan.zhihu.com/p/95046357

理论搞的差不多,我们开始上一些code部分。这里推荐几个优秀的分割的repo,供入门的同学学习。

语义分割

立夏之光的EMANet,代码风格简洁易懂。
项目地址:https://github.com/XiaLiPKU/EMANet

Zijun Deng的分割模板,写的也非常不错。
项目地址:https://github.com/zijundeng/pytorch-semantic-segmentation

旷视的TorchSeg,很旷视。
项目地址:https://github.com/ycszen/TorchSeg

实例分割

FAIR的经典maskrcnn框架
项目地址:https://github.com/facebookresearch/maskrcnn-benchmark

MMlab的MMDetection,用过的人都说好。
项目地址:https://github.com/open-mmlab/mmdetection

   第二阶段:看分割是CV


这个阶段建立在第一个阶段的基础上,对分割问题有了较为全面的认识,各个benchmark和网络都能如数家珍。这个阶段的典型表现是开始看其他视觉领域的工作,包括但不限于Object Detection,Skeleton Detection,Face Detection,Text Detection,PersonReID,Single/Multi objectTracking,能发现分割从表示上的局限性和其他任务之间的相关性 (注意,第一阶段是分割这个domain内部工作之间的相关性)。到这里,你会发现分割可以用来做检测,回归可以用来做分割,不同CV领域的工作和设计思路对分割都可能有启发。
图像分割深度学习从零开始学习路线

典型的最近Anchor-free的一系列工作(CornerNet, CenterNet, FCOS等),其实就是用FCN+Regression去做检测,本质上改变了Detection gt的表示。再比如谢恩泽的PolarMask: Single Shot Instance Segmentation with Polar Representation,将mask表示从dense pixel-wise的gt,变成极坐标下的polygon,进而可以用回归相关的参数。

   第三阶段:看分割是learning


到了这个阶段,你会发现我们之前都在一个supervised并且没有noise的框架下讨论问题。比如一些unsupervised和semi-supervised的范式,怎么能更好的提升。如何让分割网络有更好的transfer能力和抵御对抗攻击的能力。这个阶段一般开始看learning相关的文章,包括但不限于unsupervised learning,semi-supervised learning,adversarial training,generative model,transfer learning, federated Learning。

图像分割深度学习从零开始学习路线


比如在Indirect Local Attacks for Context-aware Semantic Segmentation Networks中,PSPNet和PSANet等SOTA分割模型被局部攻击后,效果还不如FCN baseline,是非常有意思的发现。Google的 Self-training with Noisy Student improves ImageNet classification,已经不再是从(人工)网络设计上去提升性能,而是通过一种半监督的方式,利用更多的无监督的数据进行迭代学习去提升分类的性能。何凯明的Momentum Contrast for Unsupervised Visual Representation Learning提出了一种新的无监督范式,在7个分割/检测的benchmark上得到了提升。

   结语 


大部分研究生硕士甚至是博士读完就停留在第一阶段,少部分能进入第二阶段开始对视觉问题有更深刻的认识。至于第三阶段,都是大牛!

原文链接:

https://www.zhihu.com/question/322077321/answer/925208015


<pre style="max-width: 100%;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-right: 8px;margin-left: 8px;max-width: 100%;white-space: normal;color: rgb(0, 0, 0);font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-align: center;widows: 1;line-height: 1.75em;box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;font-size: 16px;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;box-sizing: border-box !important;overflow-wrap: break-word !important;">—</span></strong>完<strong style="max-width: 100%;font-size: 16px;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;font-size: 16px;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;letter-spacing: 0.5px;box-sizing: border-box !important;overflow-wrap: break-word !important;">—</span></strong></span></strong></span></strong></section><section style="max-width: 100%;white-space: normal;font-family: -apple-system-font, system-ui, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-align: center;widows: 1;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 25px;max-width: 100%;opacity: 0.8;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section powered-by="xiumi.us" style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 25px;max-width: 100%;opacity: 0.8;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-right: 8px;margin-bottom: 15px;margin-left: 8px;padding-right: 0em;padding-left: 0em;max-width: 100%;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 25.5938px;letter-spacing: 3px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;color: rgb(0, 0, 0);box-sizing: border-box !important;overflow-wrap: break-word !important;"><strong style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;font-size: 16px;font-family: 微软雅黑;caret-color: red;box-sizing: border-box !important;overflow-wrap: break-word !important;">为您推荐</span></strong></span></section><p style="margin-right: 8px;margin-bottom: 5px;margin-left: 8px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 1.75em;letter-spacing: 0px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;">“12306”的架构到底有多牛逼?</span></p><p style="margin-right: 8px;margin-bottom: 5px;margin-left: 8px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 1.75em;letter-spacing: 0px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;">中国程序员34岁生日当天在美国遭抢笔记本电脑,追击歹徒被拖行后身亡,为什么会发生此类事件?</span></p><p style="margin-right: 8px;margin-bottom: 5px;margin-left: 8px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 1.75em;letter-spacing: 0px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;-webkit-tap-highlight-color: rgba(0, 0, 0, 0);cursor: pointer;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;">阿里如何抗住90秒100亿?看这篇你就明白了!</span></p><p style="margin-right: 8px;margin-bottom: 5px;margin-left: 8px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;font-family: sans-serif;line-height: 1.75em;letter-spacing: 0px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;color: rgb(87, 107, 149);box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;">60个Chrome神器插件大收集:助你快速成为老司机,一键分析网站技术栈</span></span><br style="max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"  /></p><p style="margin-right: 8px;margin-bottom: 5px;margin-left: 8px;padding-right: 0em;padding-left: 0em;max-width: 100%;min-height: 1em;color: rgb(127, 127, 127);font-size: 12px;font-family: sans-serif;line-height: 1.75em;letter-spacing: 0px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="max-width: 100%;-webkit-tap-highlight-color: rgba(0, 0, 0, 0);cursor: pointer;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;">深度学习必懂的13种概率分布</span></p></section></section></section></section></section></section></section></section>

本篇文章来源于: 深度学习这件小事

本文为原创文章,版权归所有,欢迎分享本文,转载请保留出处!

知行编程网
知行编程网 关注:1    粉丝:1
这个人很懒,什么都没写

发表评论

表情 格式 链接 私密 签到
扫一扫二维码分享