如何与深度学习服务器优雅的交互？ 14
有没有想到小夕今天会发文章呢？(￣∇￣)有木有超级想小夕呢(￣∇￣) 小夕在前面写了一堆纯理论和半理论的文章，不要怕，这次来一篇纯工程的tricks集合！ 如果有人问小夕："小夕，要是人工智能的就业岗位一夜之间消失了，你会去转行做什么呢？" 答曰："当然是去做Linux运维啊23333" 小夕有一台自己负责的GPU服务器，她可让小夕操碎了心呐。最近好不容易把这娇气的小公举拉扯大了，下面就向各位服务...
学会提问的BERT：端到端地从篇章中构建问答对 3
机器阅读理解任务，相比不少读者都有所了解了，简单来说就是从给定篇章中寻找给定问题的答案，即“篇章 + 问题 → 答案”这样的流程，笔者之前也写过一些关于阅读理解的文章，比如《基于CNN的阅读理解式问答模型：DGCNN》[1]等。至于问答对构建，则相当于是阅读理解的反任务，即“篇章 → 答案 + 问题”的流程，学术上一般直接叫“问题生成（Question Generation）”，因为大多数情况下，...
全栈深度学习第5期: 神经网络调试技巧
简介 Berkeley全栈深度学习追剧计划是由夕小瑶的卖萌屋发起的优质公开课打卡项目，通过微信群为同期追剧的小伙伴提供交流平台。关于该计划的详请见这里。 Berkeley深度学习追剧群 目前已有1000+小伙伴加入，公众号后台回复口令 深度学习追剧 入群。 课程主页 https://course.fullstackdeeplearning.com 第5期内容 神经网络的调试确实是让人头秃的事情，如...
最新的自然语言理解领域分类的无超参数连续学习 2
Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding 今天，橙子姐姐带大家了解下NLP相关知识，我们一起来看一下吧~ 领域分类是自然语言理解 (NLU) 的基本任务，它通常需要快速适应新兴领域。这种约束使得不可能重新训练所有以前的域，即使它们可以被新模型...
NLP未来，路在何方？12位巨佬联名指路！ 7
CMU、华盛顿大学、南加州大学、MIT、MILA、密歇根大学、爱丁堡大学、DeepMind、伯克利、Apple…如果我说来自这些地方的dalao共同发表了一篇文章，你相信么？但别惊讶，在即将召开的EMNLP'20的长文列表里，我们就真找到了这样一篇“奇文”。一篇论文引得众星云集，那解决的必然不是小问题。这不，作者也很贴心地把他们所希望解决的问题斜体独行地放在了论文的首栏里—— Where is N...
视觉增强词向量：我是词向量，我开眼了！ 7
亲爱的读者，你是否被各种千亿、万亿模型的发布狂轰乱炸，应接不暇，甚至有点产生对大模型的审美疲劳？出于这个目的，今天来分享一篇研究静态词向量的小清新文章。希望大家可以在理性追热的同时，小冶情操。并且能够发现内在共性，有所启示。 论文标题： Learning Zero-Shot Multifaceted Visually Grounded Word Embeddings via Multi-Task ...
神经网络中的偏置项b到底是什么？ 4
前言 很多人不明白为什么要在神经网络、逻辑回归中要在样本X的最前面加一个1，使得 X=[x1,x2,…,xn] 变成 X=[1,x1,x2,…,xn] 。因此可能会犯各种错误，比如漏了这个1，或者错误的将这个1加到W·X的结果上，导致模型出各种bug甚至无法收敛。究其原因，还是没有理解这个偏置项的作用啦。 在文章《逻辑回归》和《从逻辑回归到神经网络》中，小夕为了集中论点，往往忽略掉模型的偏置项...
45个小众而实用的NLP开源字典和工具 3
一只小狐狸带你解锁NLP/ML/DL秘籍 前言 随着BERT、ERNIE、XLNet等预训练模型的流行，解决NLP问题时不用上预训练模型似乎总显得自己有点过时。但是这显然是不对的。 众所周知，无论训练还是推理，预训练模型都会消耗大量的算力，且高度依赖GPU计算资源。然而，有很多的NLP问题实际上仅仅靠字典+规则就可以做到够用，那么这时候强行上笨重的模型无异于高射炮打蚊子，性价比是非常低的。 于...
Calibration: 一个工业价值极大，学术界却鲜有研究的问题！ 11
尽管深度学习给工业界带来了一波上线春天，但是总有很多比较难的业务，模型反复迭代后准确率依然达不到预期的产品标准，难以满足用户期望。 以下为工业界常见讨（si）论（b）场景： R&D小哥哥一顿调参输出，RoBERTa都用上了，终于将模型从80%准确率提升到了90%，但是PM小姐姐说，“不行！咱们必须要达到95%准确率才能上线！否则就是对用户和产品逼格的伤害！” 怎么办呢？ 熟悉工业界上线套路...
看论文头疼吗？这里有一份学术论文阅读指南请查收~ 3
【导读】对于从事学术研究的人来说，跟进最新的论文是必备的科研素质之一。但面对海量的论文更新，应该如何快速又有效地阅读论文，吸收其精华？ KyleM Shannon 为我们提供了一份论文阅读经验总结，包括了系统的阅读方法，以及一份阅读论文时应该带着的问题清单。希望看完的各位，下次阅读论文时不再“瑟瑟发抖”~ 作者 | KyleM Shannon 编译 | Xiaowen 来源 | 专知 Guidet...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利