利用光学卫星图像探测云雪的多分辨率全卷积网络

今天和橙子姐姐一起看一下遇到云雨卫星图像如何处理吧~

云和雪在可见光和近红外 (VNIR) 范围内具有相似的光谱特征，因此在高分辨率 VNIR 图像中难以相互区分。本文通过引入短波红外 (SWIR) 波段来解决这个问题，其中云具有高反射性，而雪具有吸收性。由于与 VNIR 相比，SWIR 通常具有较低的分辨率，因此本研究提出了一种多分辨率全卷积神经网络 (FCN)，可以有效地检测 VNIR 图像中的云和雪。本文在深度 FCN 中融合多分辨率波段，并以更高的 VNIR 分辨率执行语义分割。这种以端到端方式训练的基于融合的分类器在印度北阿坎德邦上空捕获的 Resourcesat-2 数据的云上实现了 94.31% 的总体准确率和 97.67% 的 F1 分数。发现这些分数比随机森林分类器高 30%，比独立的单分辨率 FCN 高 10%。除了对云检测有用之外，该研究还强调了卷积神经网络在多传感器融合问题上的潜力。

雪是本文环境的一个重要特征。它有助于平衡地球表面和大气之间的热流。它在盆地中的存在也会影响地表水分，从而导致径流[1]。分析积雪面积 (SCA) 在管理水文资源以满足农业和社会需求方面发挥着广泛的作用[2]、[3]。此外，积雪图被大量用于气候研究，特别是在量化冰川质量平衡方面[4]，[5]。这种对雪的空间理解历来是通过费力的物理调查完成的，这些调查主要是点测量，因此不能提供对整个区域覆盖的良好估计。此外，由于山区地形崎岖不平且起伏不定，因此测量偏移很容易转化为对人类生命造成昂贵且危险的活动。卫星遥感有助于缓解这种情况，因为卫星图像捕捉到的广阔范围和高空间分辨率有助于进行准确的积雪评估。

在这项工作中，本文提出了一个完全卷积的多分辨率网络，用于区分云和雪。这是通过最大池化对 VNIR 波段进行下采样，将它们与较低分辨率的 SWIR 波段融合，并通过一系列转置卷积层将复合材料上采样回更高分辨率来实现的。与独立的单分辨率 FCN 相比，这种基于 SWIR 和 VNIR 的 FCN 在云和雪方面取得了更高的 F1 分数。此外，与标准的基于像素的机器学习分类器（随机森林）相比，FCN 的更高性能突出了空间上下文学习为云检测问题和语义分割带来的优势。与需要特征工程的传统基于像素的云检测算法相比，这种深度学习分类器变得更有前途，尤其是在大型数据集上。此外，本文的算法完全独立于传感器的元数据，只需要反射值作为输入。尽管本文的特定数据集涉及预处理插值阶段，但对于其他数据集（例如 Sentinel-2 MSI，其中 SWIR 和 VNIR 分辨率是彼此的整数倍），则不需要这样的步骤。此外，通过所提出的方法，本文可以融合卷云波段以分离出薄云，并融合热红外波段以提高雪边缘检测的准确性。由于本文的工作涉及对大型数据集进行手动标记，因此可以改为使用生成对抗网络来执行无监督分类。这种需要高处理能力的方法可以将 VNIR 波段作为生成器，将 SWIR 作为云和雪分类的鉴别器网络。此外，可以结合 SAR 数据来特别检测云层下的积雪，从而帮助创建准确的无云积雪图。