使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
训练集全是16x16，32x32之类的小图，达到上千万张，训练时发现数据加载很慢很慢很慢！！！看了下CPU 内存 GPU使用情况，发现CPU使用率都跑到90%去了，GPU使用率却较低作者：MING YE 1）小图拼起来存放（降低读取次数）2）存bmp图（降低解码时间）3）1张32*32的图其实也就3K大，1000w也才不到29G，现在训练机器都是几百G的内存，直接载到内存里面，或者把把内存映射成磁...
一网打尽！深度学习 100+ 经典模型 TensorFlow 与 Pytorch 代码实现大集合 17
转自 | 专知深度学习在过去十年获得了极大进展，出现很多新的模型，并且伴随TensorFlow和Pytorch框架的出现，有很多实现，但对于初学者和很多从业人员，如何选择合适的实现，是个选择。rasbt在Github上整理了关于深度学习模型TensorFlow和Pytorch代码实现集合，含有100个，各种各样的深度学习架构，模型，和技巧的集合Jupyter Notebooks，从基础的逻辑回归到...
单目标跟踪论文综述：SiamFC、Siam系列、GradNet等一览 19
来自 | 知乎 作者 | y.lei链接 | https://zhuanlan.zhihu.com/p/96631118编辑 | 深度学习这件小事本文仅作学术交流，如有侵权，请联系删除。最近看了几篇关于单目标跟踪的paper，为了方便自己梳理脉络同时和大家交流讨论，将一些重要的paper整理在这（由于涉及到的paper有点多，也是第一次写知乎写得不清楚做得不好的的希望大佬们轻点喷）首先用一张图罗列...
文本分类问题不需要ResNet？小夕解析DPCNN设计原理（下） 12
哎呀呀，说好的不拖稿的又拖了两天T_T，小夕过一阵子分享给你们这两天的开心事哦。后台催稿调参系列的小伙伴们不要急，下一篇就是第二篇调参文啦。 好啦，接着上一篇文章，直接搬来DPCNN、ShallowCNN、ResNet的对比图。 从图中的a和c的对比可以看出，DPCNN与ResNet差异还是蛮大的。同时DPCNN的底层貌似保持了跟TextCNN一样的结构，这里作者将TextCNN的包含多尺寸卷积滤...
我是怎么走上推荐系统这条（不归）路的…… 13
来自 | Medium作者 | Dimitris Apostolopoulos编译 |机器之心什么是推荐系统？有哪些类型的推荐系统？怎么做推荐系统？想知道？可以看看这篇小白文~在这个系列文章中，我将分享掌握推荐系统的经验，以及围绕推荐系统从低级模型到高级模型的实现。我还会简要提及你构建推荐系统时将会遇到的挑战以及我所用的解决办法。最后，我会带你们浏览我追踪模型表现和构建其它机器学习模型时的想法、不...
我分析了ACL21论文列表，发现对比学习已经... 13
小伙伴们，好久不见呀，小花又回来了！ 最近关注对比学习，所以ACL21的论文列表出来后，小花就搜罗了一波，好奇NLPers们都用对比学习干了什么？都是怎么用的呀？效果怎样呀？ 接收列表中有21篇论文题目包含了关键词“contrastive”。下图是题目的词云，其中最显著的是使用对比学习去学习表示或者帮助语义理解，还有机翻、摘要、关系抽取。 小花选择了10篇有意思的论文跟大家分享，方向包括句子表示[...
思考 | 一滴水从高处落下来，会不会砸死人？ 10
来自 | 果壳网编辑 | 深度学习这件小事为了涨姿势，我加入一个博士群，见到有人问：一滴水从很高的地方落下来，会不会弄死人？群里一下就热闹起来，各种公式，各种假设，各种阻力，重力，加速度的讨论。一小时后我默默的问了一句：你们没有淋过雨吗？群里，突然死一般的寂静……然后，然后我就被踢出群了……显然这个段子只不过是用来嘲笑高学历人缺乏常识的。道理我懂了，但水从高处落下来，到底会发生什么呢？01第一种情...
900 多道 LeetCode 题解，这个 GitHub 项目值得 Star！ 6
转自 | 码农有道大家好，我是小 G。周末风和日丽，适合刷 LeetCode今天给你们推荐个 GitHub 项目，里面收集了 900 多道 LeetCode 题解，并包含中英文两个版本，适合大多数人参考学习。每一道题对应的是一个 GitHub issue，在每个 issue 里面，都提供了这道题的具体解答方法：最后贴下该项目 GitHub 地址，大家可前去围观：https://github.com...
一文跟进Prompt进展！综述+15篇最新论文逐一梳理 27
自从 Dr.Pengfei Liu 的那篇 prompt 综述发表开始，prompt 逐渐红得发紫。近期清华、谷歌等单位你方唱罢我登场，涌现了好多好多 prompt 相关的论文。无论是工业界还是学术界，想必大家都在疯狂 follow。不少伙伴肯定从老板那里领到了 “prompt 技术分享” 的任务哈哈！ 所以这篇文章先基于 7月份的 prompt survey 做一个简单扫盲，然后再为大家梳理一下...
PyPy为什么能让Python比C还快？一文了解内在机制 4
对于研究人员来说，迅速把想法代码化并查看其是否行得通至关重要。Python 是能够实现这一目标的出色语言，它能够让人们专注于想法本身，而不必过度为代码格式等无聊的事情困扰。 但是，Python 有一个致命的缺点：速度比 C、C ++ 等语言慢很多。那么，构建一个 Python 原型测试想法之后，如何将其转变为快速且高性能的工具？通常来说，人们还要再进行一步工作：将 Python 代码手动转换为 C...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
搜索当前分类