Calibration: 一个工业价值极大，学术界却鲜有研究的问题！ 11
尽管深度学习给工业界带来了一波上线春天，但是总有很多比较难的业务，模型反复迭代后准确率依然达不到预期的产品标准，难以满足用户期望。 以下为工业界常见讨（si）论（b）场景： R&D小哥哥一顿调参输出，RoBERTa都用上了，终于将模型从80%准确率提升到了90%，但是PM小姐姐说，“不行！咱们必须要达到95%准确率才能上线！否则就是对用户和产品逼格的伤害！” 怎么办呢？ 熟悉工业界上线套路...
AdaX：一个比Adam更优秀，带”长期记忆“的优化器
前言 这篇文章简单介绍一个叫做AdaX的优化器，来自《AdaX: Adaptive Gradient Descent with Exponential Long Term Memory》。介绍这个优化器的原因是它再次印证了之前在《硬核推导Google AdaFactor：一个省显存的宝藏优化器》一文中提到的一个结论，两篇文章可以对比着阅读。 Adam & AdaX AdaX的更新格式是 其...
45个小众而实用的NLP开源字典和工具 3
一只小狐狸带你解锁NLP/ML/DL秘籍 前言 随着BERT、ERNIE、XLNet等预训练模型的流行，解决NLP问题时不用上预训练模型似乎总显得自己有点过时。但是这显然是不对的。 众所周知，无论训练还是推理，预训练模型都会消耗大量的算力，且高度依赖GPU计算资源。然而，有很多的NLP问题实际上仅仅靠字典+规则就可以做到够用，那么这时候强行上笨重的模型无异于高射炮打蚊子，性价比是非常低的。 于...
利用光学卫星图像探测云雪的多分辨率全卷积网络
今天和橙子姐姐一起看一下遇到云雨卫星图像如何处理吧~ 云和雪在可见光和近红外 (VNIR) 范围内具有相似的光谱特征，因此在高分辨率 VNIR 图像中难以相互区分。本文通过引入短波红外 (SWIR) 波段来解决这个问题，其中云具有高反射性，而雪具有吸收性。由于与 VNIR 相比，SWIR 通常具有较低的分辨率，因此本研究提出了一种多分辨率全卷积神经网络 (FCN)，可以有效地检测 VNIR 图像中...
互联网大厂CTR预估前沿进展 49
前言 CTR（click through rate）预估模型是广告推荐领域的核心问题。早期主要是使用LR（线性回归）+人工特征工程的机器学习方法，但是存在人工组合特征工程成本较高，不同任务难以复用的问题。后来随着FM因子分解机的出现，提出了使用二阶特征自动交叉的方法，缓解了人工组合特征的难题。之后2014年Facebook使用GBDT+LR方案，提出了树模型构建组合特征的思路。2015年后，由于深...
硬核推导Google AdaFactor：一个省显存的宝藏优化器 2
一只小狐狸带你解锁炼丹术&NLP秘籍 前言 自从GPT、BERT等预训练模型流行起来后，其中一个明显的趋势是模型越做越大，因为更大的模型配合更充分的预训练通常能更有效地刷榜。不过，理想可以无限远，现实通常很局促，有时候模型太大了，大到哪怕你拥有了大显存的GPU甚至TPU，依然会感到很绝望。比如GPT2最大的版本有15亿参数，最大版本的T5模型参数量甚至去到了110亿，这等规模的模型，哪怕在...
深度学习资料挑的眼花啦？小夕帮你做选择！ 7
小夕还记得几年前刚入坑的时候，老师给的入门资料就是一堆论文！害的小夕差点放弃。。。 如今深度学习应用的开发成本越来越低，学习资料越来越多，于是对初学者来说进入了另一个相反的困境——资料过多，让人眼花缭乱！哪怕是最最经典、顶尖的公开课。也是有好多门（斯坦福的、coursera的、MIT的、Berkeley的……）。更不必说眼花缭乱的纸质书籍，更更不用说铺天盖地的订阅号（比如夕小瑶的卖萌屋） 如果你正...
这篇论文提出了一个文本<->知识图谱的格式转换器... 21
Hello, 大家好，我是小花。今天给大家介绍一篇有野心的paper。为何如此说呢？因为该工作提出了一个知识的格式转换器，用于转换 无结构化的纯文本(Text)和结构化的知识图谱(KG) 。换句话说，给模型一打句子，它能够将其转换为一个图。图中的节点是句子中的关键信息，边表示不同节点的关系。反过来，给模型一个图，它能将其格式化为流畅的自然语言。 举个例子，就是实现下面句子和图之间的格式转换： Th...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利