机器学习相关从业者如何兼顾理论与工程能力
理论与工程 首先，小夕说一下自己目前对理论与工程的理解吧，这也是小夕当前研究理论和熟练工程时主要的出发点。（仅为个人思考，请勿当成真理 理论注重的是学科中各个知识点的大一统，将各种散乱的算法、现象、技巧来归结到一张大网中。这样在新理论、新技术到来的时候，你可以很快的从这张大网中get到新理论、新技术的本质，并将这些创新纳入你的大网，并且可以反思这张网，归结出其中的规律或者疑问，以此为突破点来“...
如何匹配两段文本的语义？ 5
喵喵喵，好久不见啦。首先很抱歉大家期待的调参手册（下）迟迟没有出稿，最近两个月连着赶了4个DDL，整个人都不好了。最近几天终于有时间赶一下未完成的稿子了。在赶DDL的时候夹着写了这篇文章，就先发布这一篇吧～调参手册（下）不出意外的话最近也可以发布啦。 本文由来 一年前在知乎上关注过这么一个问题： 如何判断两段文本说的是「同一件事情」？ - 知乎 https://www.zhihu.com/ques...
ACL2020 | 线上搜索结果大幅提升！亚马逊提出对抗式query-doc相关性模型 10
一只小狐狸带你解锁 炼丹术&NLP 秘籍 背景 搜索和推荐经常会被放在一起对比，其中最突出的区别就是搜索中存在query，需要充分考虑召回内容和query之间的相关性，而如果内容是搜索广告，则对内容有更高的要求，相关性过低的内容被展示会让用户有很差的体验。 相关性在一定程度上可以被抽象成doc和query之间的语义相似度问题，其实当前语义相似度的研究已经非常成熟，在sigir2018中有人...
有钱可以多任性？OpenAI提出人肉模型训练，文本摘要全面超越人类表现！ 6
背景 三个多月前，OpenAI的GPT-3在NLP界掀起轩然大波。就在上周，视金钱如粪土的OpenAI团队又在文本摘要方面推出了最新力作，全方位超越人类表现。其亮点在于：以人类偏好替代自动化评测方法（如ROUGE、BLUE）为训练目标，用人类反馈作为奖励进行强化学习，性能表现十分惊艳。 对于较为复杂的NLP任务，如何进行评测、如何构造精准的损失函数已困扰了NLP researchers多年。以文本...
Facebook提出生成式实体链接、文档检索，大幅刷新SOTA！ 16
导言 最近ICLR的rebutal 前后分数对比出来了，很多评委都改了分数，有改多的，也有改少的。今天给大家介绍的这篇高分论文竟然在rebuttal前后都保持高分，证明评委们对它的认可程度是很高的。 实体检索任务的定义是：对于一个给定的输入文本，需要模型从一个候选实体集中找到最相关的候选实体。 比如说，给定输入 : "In 1503, Leonardo began painting the Mon...
谁才是Transformer家族中的最强王者？谷歌告诉你答案 14
自从17年Attention is all you need发出，继而18年BERT刷新各大榜单，大型预训练Transformer似乎已经成为自然语言处理的标准基准模型，甚至进一步渗透到图像领域。各路大神基于Transformer提出了海量改进方法。这些改变是否对大多数任务有效？谷歌的研究人员对大量的设定在统一的代码库和硬件环境下进行了实验比较。出乎意料的是，大多数“高大上”的改进都不能拓展到所有...
写了一篇关于 NLP 综述的综述！ 19
综述，往往是了解一个子领域最为高效的起点。然而，对于AI这样一个日新月异高速发展的行业，时效性也自然地成为了我们选择综述的衡量指标之一。即使一篇 AI 综述具有超高 citation，如果它写于 20 年前，那对今天的我们来说，这份综述的总结必然是不够全面的。那么，站在 NLP 发展轨迹中的此时此刻，哪些综述是当前最值得阅读的呢？ 本文参考了 Elvis Saravia 相关主题的 twitter...
谷歌 | 多任务学习，如何挑选有效的辅助任务？只需一个公式！ 16
前言 说到多任务学习，大家都不陌生，不管是在学术界还是工业界都已经有了很多成熟的探索与应用。在理想的多任务学习中，各个任务对彼此应当是有益的，所有任务相互促进，从而达到超过单任务学习的效果。 但理想归理想，实际情况却并非如此。简单的把一堆任务堆积在一起往往会降低模型最终的性能，所以在多任务学习中，如何去有效地识别哪些任务在训练时结合在一起可以对彼此有益 成为了很关键的问题。 显而易见，我们可以直接...
【机器学习入门】 Learning Map 导览图 16
在此就不介绍机器学习的概念了。 Learning Map（学习导图） 先来看一张李宏毅大大的总图↓ 鉴于看起来不是很直观，我“照虎画猫”做了一个思维导图如下： 理论上Supervised Learning分支下的内容都可以放在其他Learning Map大类下。 Supervised Learning 所谓监督学习，就是我们告诉机器说，当这个function看到某种input则输出a，看到另一种i...
震惊！深度学习新手上路葵花宝典问世江湖
这篇综述论文列举出了近年来深度学习的重要研究成果，从方法、架构，以及正则化、优化技术方面进行概述。它对于刚入门的深度学习新手是一份不错的参考资料，在形成基本学术界图景、指导文献查找等方面都能提供帮助。 论文：Recent Advances in Deep Learning: An Overview 论文地址： https://arxiv.org/pdf/1807.08169v1.pdf 或 ...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
搜索当前分类