Google综述：细数Transformer模型的17大高效变种 43
在NLP领域transformer已经是成功地取代了RNN（LSTM/GRU），在CV领域也出现了应用，比如目标检测和图像加注，还有RL领域。这是一篇谷歌2020年9月份在arXiv发表的综述论文 “Efficient Transformers: A Survey“，值得读读。 文章主要针对一类X-former模型，例如Reformer, Linformer, Performer, Longfor...
如何与深度学习服务器优雅的交互？ 14
有没有想到小夕今天会发文章呢？(￣∇￣)有木有超级想小夕呢(￣∇￣) 小夕在前面写了一堆纯理论和半理论的文章，不要怕，这次来一篇纯工程的tricks集合！ 如果有人问小夕："小夕，要是人工智能的就业岗位一夜之间消失了，你会去转行做什么呢？" 答曰："当然是去做Linux运维啊23333" 小夕有一台自己负责的GPU服务器，她可让小夕操碎了心呐。最近好不容易把这娇气的小公举拉扯大了，下面就向各位服务...
纵观对话预训练技术演变史：化繁为简的背后，什么在消亡？ 10
最近，百度发布了对话生成预训练模型PLATO-XL，110亿的参数规模，也让它成为了对话领域目前最大的预训练模型。不到两年的时间，PLATO系列已走过三代。作为国内对话预训练技术的头部玩家，它的每一次升级，也拨动着对话技术爱好者的好奇心。 今天，我们将秉承客观公正的态度，对三代技术进行系统的对比，试图从它的演化历程中深入挖掘出开放域对话效果提升的秘密。文末最后，将会抛出灵魂拷问：化繁为简是否意味着...
哟，写Bug呢？Facebook发布AI代码调试工具SapFix 3
请注意：这不是你写 Bug 的理由。 调试代码是件很无聊的事，但是由 Facebook 工程师创建的新型人工智能混合工具——SapFix 可以大大节约工程师的时间，同时还加快了新软件的推出过程。该工具可以为特定 Bug 自动生成修复程序，然后将其提交给工程师批准并部署到生产中。 SapFix 被用来加速向装有 Facebook Android 应用程序的数百万设备传输稳定代码更新的过程，这是人工智...
机器学习从理论到工程的第二步-开发环境与工具篇（下） 24
好啦~继续昨天的《第二步——开发环境与工具篇（上）》~ 其实有点尴尬啦，本来想一篇讲完的，结果小夕太啰嗦了，还没有开始讲正文，就写了快2000字了。。。所以说，这一篇是上一篇的正文。。。 matlab就不用说了，matlab程序本身就集成了所有你需要的东西了~顺便提一下，没有条件使用特殊免收费版matlab的时候，octave甚至一些在线octave网站都是可以接手matlab的~ C、C++、J...
抢票神器成GitHub热榜第一，支持候补抢票，Python跑起来 | 标星8400 14
车栗子 发自凹非寺本文转载自：量子位（QbitAI）想要十一回家的小伙伴们，大概刚刚经历了一波抢票大战。顺便把一个Python抢票工具，送到了GitHub趋势榜第一：项目名很干脆，就是“12306”，标星超过8.4k，来自名叫文贤平的程序员。这很可能是全GitHub最德高望重的购票小助手了，功能一直在更新，且现已支持Python 3.6以上版本。有些后起之秀，也是在它的基础上开发出来，然后广受欢迎...
数据太少怎么办？试试自监督学习，CV训练新利器，fast.ai新教程，LeCun点评 23
转自 | 量子位数据少，又没有预训练模型，怎么破？给你个秘密武器——自监督学习。数据科学家 Jeremy Howard 发布一条Twitter：在医学图像领域，我们经常需要靠一点点的数据来做很多工作。在这个问题上，有一种被低估的方法，正是自监督学习，简直太神奇！还附上了与之相关的最新fast.ai教程。△地址：https://www.fast.ai/2020/01/13/self_supervis...
单目标跟踪论文综述：SiamFC、Siam系列、GradNet等一览 19
来自 | 知乎 作者 | y.lei链接 | https://zhuanlan.zhihu.com/p/96631118编辑 | 深度学习这件小事本文仅作学术交流，如有侵权，请联系删除。最近看了几篇关于单目标跟踪的paper，为了方便自己梳理脉络同时和大家交流讨论，将一些重要的paper整理在这（由于涉及到的paper有点多，也是第一次写知乎写得不清楚做得不好的的希望大佬们轻点喷）首先用一张图罗列...
禁术级竞赛刷分技巧：找到跟测试集最接近的有标签样本
不管是打比赛、做实验还是搞工程，我们经常会遇到训练集与测试集分布不一致的情况。一般来说我们会从训练集中划分出来一个验证集，通过这个验证集来调整一些超参数[1]，比如控制模型的训练轮数以防止过拟合。然而，如果验证集本身跟测试集差别比较大，那么验证集上很好的模型也不代表在测试集上很好，因此如何让划分出来的验证集跟测试集的分布差异更小一些，是一个值得研究的题目。 为什么分布不一致 首先，明确一下本文所考...
我是怎么走上推荐系统这条（不归）路的…… 13
来自 | Medium作者 | Dimitris Apostolopoulos编译 |机器之心什么是推荐系统？有哪些类型的推荐系统？怎么做推荐系统？想知道？可以看看这篇小白文~在这个系列文章中，我将分享掌握推荐系统的经验，以及围绕推荐系统从低级模型到高级模型的实现。我还会简要提及你构建推荐系统时将会遇到的挑战以及我所用的解决办法。最后，我会带你们浏览我追踪模型表现和构建其它机器学习模型时的想法、不...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
搜索当前分类