深度学习

谈谈怎样提高炼丹手速 4

知行编程网人工智能前沿 2年前 (2022-02-04) 4 0

最近搞定几件焦头烂额的大事后，终于有了一丢丢的时间来写写文章，并且偶尔思考下算法工程师的核心竞争力是什么。前不久一时兴起写了篇标题党文章《惊了！掌握了这个炼丹技巧的我开始突飞猛进》，简单描述了一下我的升级打怪路线图。后来想了想，发现还有一点极其重要的基本功常常被大家忽略，但确是初级&中级算法工程师之间拉开差距的重要因素，那就是：手速。手速有什么用呢？假如一件事情工程量较大（大型实验 ...

今天和橙子姐姐一起看一下遇到云雨卫星图像如何处理吧~ 云和雪在可见光和近红外 (VNIR) 范围内具有相似的光谱特征，因此在高分辨率 VNIR 图像中难以相互区分。本文通过引入短波红外 (SWIR) 波段来解决这个问题，其中云具有高反射性，而雪具有吸收性。由于与 VNIR 相比，SWIR 通常具有较低的分辨率，因此本研究提出了一种多分辨率全卷积神经网络 (FCN)，可以有效地检测 VNIR 图像中...

我拿乐谱训了个语言模型！ 7

知行编程网人工智能前沿 2年前 (2022-01-28) 8 0

最近在刷EMNLP论文的时候发现一篇非常有趣的论文《Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models》，来自斯坦福大学NLP组。论文有趣的发现是让语言模型先在乐谱上进行训练，再在自然语言上训练可以有效的提升语言模型的性能。在看了一大堆BERT-based的模型...

深度学习，路在何方？ 3

知行编程网人工智能前沿 2年前 (2022-02-13) 12 0

文 | Severus 最近，AI领域的三位图灵奖获得者Yoshua Bengio、Yann LeCun和Geoffrey Hinton共同发表了一篇文章，名为Deep Learning for AI，文中讨论了深度学习的起源、发展、成就及未来。文章标题： Deep Learning for AI 原文链接： https://cacm.acm.org/magazines/2021/7/25346...

线性代数应该这样讲（二） 17

知行编程网人工智能前沿 2年前 (2021-12-31) 1 0

在《...（一）》中，小夕从映射的角度讲解了矩阵及矩阵运算，这也是机器学习中看待矩阵的非常重要的视角。另一方面说，矩阵当然也是用于存储数据的数据结构，这也是最好理解的形式。另外还可以看做是一个线性方程组（课本上讲烂了的开头），甚至可以将其仅仅看做一般化的张量（tensor）中的一个普通切片（slice），或者说其中一层。所以矩阵代表什么含义，要在不同的场景中灵活对待，不要局限在一种视角哦。 ...

硬核推导Google AdaFactor：一个省显存的宝藏优化器 2

知行编程网人工智能前沿 2年前 (2022-01-17) 69 0

一只小狐狸带你解锁炼丹术&NLP秘籍前言自从GPT、BERT等预训练模型流行起来后，其中一个明显的趋势是模型越做越大，因为更大的模型配合更充分的预训练通常能更有效地刷榜。不过，理想可以无限远，现实通常很局促，有时候模型太大了，大到哪怕你拥有了大显存的GPU甚至TPU，依然会感到很绝望。比如GPT2最大的版本有15亿参数，最大版本的T5模型参数量甚至去到了110亿，这等规模的模型，哪怕在...

追剧计划第三弹！UC Berkeley出品，全栈深度学习！ 4

知行编程网人工智能前沿 2年前 (2022-02-02) 8 0

关注卖萌屋比较早的小伙伴，大概还记得2020年初时我们组织的斯坦福大学CS224N自然语言处理公开课追剧计划，以及后来的斯坦福大学CS520知识图谱公开课追剧活动。尽管活动已经结束很长一段时间，但是仍然有小伙伴后台问“什么时候开始下一波追剧哇”。终于，万能的卖萌屋又帮大家发现了一门很赞的公开课！这次是UC Berkeley大学出品的全栈深度学习（Full Stack Deep Learning...

深度学习并非万能：你需要避免这三个坑 4

知行编程网人工智能前沿 2年前 (2022-02-28) 11 0

【导读】本文是人工智能专家George Seif撰写的博文，介绍了在当前深度学习比较火热的情景下需要避免的三个坑。 Tweaking Neural Net Parameters Three reasons that you should NOT use deep learning 深度学习在过去几年一直是人工智能领域最热门的话题。事实上，正是它激发了科学家、政府、大公司以及其他所有人对人工...

「小公式」平均数与级数 13

知行编程网人工智能前沿 2年前 (2022-01-04) 4 0

喵喵喵，小夕最近准备复习一下数学和基础算法，所以可能会推送或者附带推送点数学和基础算法的小文章。说不定哪天就用（考）到了呢(￣∇￣) 注意哦，与头条位的文章推送不同，「小公式」和「小算法」中的标题之间可能并无逻辑关联，因此可以看作是罗列小知识点，说不定这些小知识点就能带来一些小灵感呢。平均数调和平均数调和平均数（Harmonic Mean）是将数值个数除以数值倒数的总和，一组正数x1, x2...

FLAT：中文NER屠榜之作！ 11

知行编程网人工智能前沿 2年前 (2022-01-23) 20 0

近年来，引入词汇信息逐渐成为提升中文NER指标的重要手段。ACL2020中一篇来自复旦大学邱锡鹏老师团队的 FLAT: Chinese NER Using Flat-Lattice Transformer 刷新了中文NER任务的新SOTA。如上图所示，在MSRA-NER任务中，FLAT+BERT登顶榜首；而单独的FLAT（1层TransFormer）也超越了预训练模型ERNIE。相比于之前引入词...