互联网大厂CTR预估前沿进展 49
前言 CTR（click through rate）预估模型是广告推荐领域的核心问题。早期主要是使用LR（线性回归）+人工特征工程的机器学习方法，但是存在人工组合特征工程成本较高，不同任务难以复用的问题。后来随着FM因子分解机的出现，提出了使用二阶特征自动交叉的方法，缓解了人工组合特征的难题。之后2014年Facebook使用GBDT+LR方案，提出了树模型构建组合特征的思路。2015年后，由于深...
NLP未来，路在何方？12位巨佬联名指路！ 7
CMU、华盛顿大学、南加州大学、MIT、MILA、密歇根大学、爱丁堡大学、DeepMind、伯克利、Apple…如果我说来自这些地方的dalao共同发表了一篇文章，你相信么？但别惊讶，在即将召开的EMNLP'20的长文列表里，我们就真找到了这样一篇“奇文”。一篇论文引得众星云集，那解决的必然不是小问题。这不，作者也很贴心地把他们所希望解决的问题斜体独行地放在了论文的首栏里—— Where is N...
ICLR最高分论文揭秘模型泛化，GNN是潜力股 19
文 | Jerry Qiu 编 | 小轶 我们都知道，人类在很多任务上都可以很好地完成“外推”，例如： 啊不——我是说——例如，我们学会两位数的加减乘除后，就可以轻松将其推广至任意大整数的四则运算： 从数学的角度来讲，外推其实是与内插并列的一个概念。想必大家对多项式插值、样条插值等插值方法不陌生。通过已知的、离散的数据点，在范围内推求新数据点，即称为内插（Interpolation）。而如果我们在...
再介绍一篇Contrastive Self-supervised Learning综述论文 23
之前已经介绍过三篇自监督学习的综述：《怎样缓解灾难性遗忘？持续学习最新综述三篇！》。这是最近2020年10月arXiv上的又一篇论文"A Survey On Contrastive Self-supervised Learning"。 论文地址： https://arxiv.org/pdf/2011.00362.pdf Arxiv访问慢的小伙伴也可以在【夕小瑶的卖萌屋】订阅号后台回复关键词【122...
谈谈怎样提高炼丹手速 4
最近搞定几件焦头烂额的大事后，终于有了一丢丢的时间来写写文章，并且偶尔思考下算法工程师的核心竞争力是什么。 前不久一时兴起写了篇标题党文章《惊了！掌握了这个炼丹技巧的我开始突飞猛进》，简单描述了一下我的升级打怪路线图。后来想了想，发现还有一点极其重要的基本功常常被大家忽略，但确是初级&中级算法工程师之间拉开差距的重要因素，那就是：手速。 手速有什么用呢？ 假如一件事情工程量较大（大型实验 ...
2018年图灵奖得主：三大深度学习创始人 5
今天，深度学习的三位创始人Yoshua Bengio, Yann LeCun, 和Geoffrey Hinton因其在深度学习理论及工程领域上的重大贡献，获得了2018年的图灵奖，共享100万美元奖金。 图灵奖，通常被称为计算机领域的“诺贝尔奖”，为纪念著名的计算机科学先驱艾伦·图灵，由ACM于1966年设置。Bengio，Hinton和LeCun将于2019年6月15日在旧金山ACM年度颁奖...
深度前馈网络与Xavier初始化原理 21
基本的神经网络的知识（一般化模型、前向计算、反向传播及其本质、激活函数等）小夕已经介绍完毕，本文先讲一下深度前馈网络的BP过程，再基于此来重点讲解在前馈网络中用来初始化model参数的Xavier方法的原理。 前向过程很简单，每一层与下一层的连接边(即参数)构成了一个矩阵(即线性映射)，每一层的神经元构成一个激活函数阵列（即非线性映射），信号便从输入层开始反复的重复这两个过程直到输出层，也就...
我拿乐谱训了个语言模型！ 7
最近在刷EMNLP论文的时候发现一篇非常有趣的论文《Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models》，来自斯坦福大学NLP组。论文有趣的发现是让语言模型先在乐谱上进行训练，再在自然语言上训练可以有效的提升语言模型的性能。在看了一大堆BERT-based的模型...
机器学习相关从业者如何兼顾理论与工程能力
理论与工程 首先，小夕说一下自己目前对理论与工程的理解吧，这也是小夕当前研究理论和熟练工程时主要的出发点。（仅为个人思考，请勿当成真理 理论注重的是学科中各个知识点的大一统，将各种散乱的算法、现象、技巧来归结到一张大网中。这样在新理论、新技术到来的时候，你可以很快的从这张大网中get到新理论、新技术的本质，并将这些创新纳入你的大网，并且可以反思这张网，归结出其中的规律或者疑问，以此为突破点来“...
文本分类问题不需要ResNet？小夕解析DPCNN设计原理（上） 4
历史回顾 回顾一下图像和文本的发展史，似乎这就是一场你追我赶的游戏。在上一阶段的斗争中，朴素贝叶斯、最大熵、条件随机场这些理论完备的统计机器学习模型使得文本分类、中文分词、NER等诸多自然语言处理问题取得了差强人意（释义：基本使人满意。顺带嘲讽一波误用该词的媒体们(￣∇￣)）的性能，而这些理论完备的模型却在图像分类这种基本的计算机视觉问题上都严重碰壁。 如今深度学习，或者具体点说卷积神经网络（CN...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利