将“复制粘贴”嵌入到图像修复中：Shift-Net使用深度特征重排的图像修复方法 18
导读 今天，我们将深入到更具体的深度图像修复技术，深度特征重排。这种技术既利用了现代数据驱动的CNN，又利用了传统的复制-粘贴修复方法。 动机 图1，不同方法的修复结果的量化比较，(a)输入，(b)卷积方法（基于复制粘贴）(c)第一个基于GAN的方法，上下文编码器 (d) 提出的方法 正如我在之前的文章中提到的，一种传统的方法是在一张图片中寻找最相似的图像patch，然后直接复制粘贴这些patch...
深度学习中的Normalization你懂了多少？一个公式概括其思想与框架 4
本文从 Normalization 的背景讲起，用一个公式概括 Normalization 的基本思想与通用框架，将各大主流方法一一对号入座进行深入的对比分析，并从参数和数据的伸缩不变性的角度探讨 Normalization 有效的深层原因。 深度神经网络模型训练之难众所周知，其中一个重要的现象就是 Internal Covariate Shift. Batch Norm 大法自 2015 年由...
PyTorch + NumPy这么做会降低模型准确率，这是bug还是预期功能？ 10
近日，有用户在自己的项目中发现了一个微小的 bug，在 PyTorch 同时使用 NumPy 的随机数生成器和多进程数据加载会导致相同的扩充数据，只有专门设置 seed 才可以解决这个 bug，否则会降低模型的准确率。不过，有人认为这并不是一个 bug，而是预期功能，是「按预期工作的」。 行内人都知道，机器学习（ML）代码中的 bug 很难修复，并且它们不会造成编译错误，而是悄悄地降低准确率。这...
Google综述：细数Transformer模型的17大高效变种 43
在NLP领域transformer已经是成功地取代了RNN（LSTM/GRU），在CV领域也出现了应用，比如目标检测和图像加注，还有RL领域。这是一篇谷歌2020年9月份在arXiv发表的综述论文 “Efficient Transformers: A Survey“，值得读读。 文章主要针对一类X-former模型，例如Reformer, Linformer, Performer, Longfor...
领域前沿研究「无所不包」 ，走进标签噪声表征学习的过去、现在和未来 55
抗噪鲁棒性学习是机器学习中一个非常重要和热门的领域，各类方法也层出不穷。在本文中，来自香港浸会大学、清华大学等机构的研究者对标签噪声表征学习（LNRL）的方方面面进行了全方位的综述。 监督学习方法通常依赖精确的标注数据，然而在真实场景下数据误标注（标签噪声）问题不可避免。例如，对于数据本身存在不确定性的医疗任务，领域专家也无法给出完全可信的诊断结果（下图 1）；基于用户反馈的垃圾邮件过滤程序，用户...
EfficientNetV2：更小，更快，更好的EfficientNet 4
导读 相比于之前的SOTA，训练速度快了5~10x，而且性能更高。 论文：https://arxiv.org/pdf/2104.00298.pdf 代码：https://github.com/google/automl/efficientnetv2 通过渐进学习，我们的EfficientNetV2在ImageNet和CIFAR/Cars/Flowers数据集上显著优于之前的模型。通过在相同的Ima...
13个你一定要知道的PyTorch特性 3
导读 PyTorch使用上的13个特性，确实非常的有用。 PyTorch在学术界和工业界的应用研究中都获得了很多关注。它是一个具有很大灵活性的深度学习框架，使用了大量的实用工具和函数来加快工作速度。PyTorch的学习曲线并不是那么陡峭，但在其中实现高效和干净的代码可能会很棘手。在使用它超过2年之后，以下是我最喜欢的PyTorch功能，我希望我一开始学习它就知道。 1. DatasetFolder...
卷积神经网络中用1*1 卷积有什么作用或者好处呢？ 3
目录：part I ：来源part II ：应用part III ：作用（降维、升维、跨通道交互、增加非线性）part IV ：从fully-connected layers的角度理解一、来源 [1312.4400] Network In Network （如果1×1卷积核接在普通的卷积层后面，配合激活函数，即可实现network in network的结构） 二、应用GoogleNet中的...
融合EfficientNet和YoloV5，非常实用的物体检测二阶段pipeline
导读 使用EfficientNet和YoloV5的融合可以提升20%的performance。 在本文中，我将解释“2 class filter”的概念。这是一种用于目标检测和分类模型的综合技术，在过去几周我一直在做的Kaggle比赛中被大量使用。几乎所有参加比赛的人都使用了这种技术，它似乎可以提高大约5-25%的性能，这是非常有用的。 目标检测：YoloV5 我们首先在我们的数据集上训练Y...
Transformers又来刷CV的榜了？ 7
本文系统性的介绍了transformer从首次提出到现在比较火热的一些新改进的工作：Swin Transformer和CvT，详细的讲述了他们的原理及优缺点。 引言 Transformer[1]模型的提出，深刻地改变了NLP领域，特别是随后的一系列基于Transformer的大规模预训练语言模型，在NLP中开启了一种新的模型训练范式：先在大规模无标注文本上pre-train模型，再使用任务特定的...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
搜索当前分类