机器学习从理论到工程的第二步-开发环境与工具篇（下） 24
好啦~继续昨天的《第二步——开发环境与工具篇（上）》~ 其实有点尴尬啦，本来想一篇讲完的，结果小夕太啰嗦了，还没有开始讲正文，就写了快2000字了。。。所以说，这一篇是上一篇的正文。。。 matlab就不用说了，matlab程序本身就集成了所有你需要的东西了~顺便提一下，没有条件使用特殊免收费版matlab的时候，octave甚至一些在线octave网站都是可以接手matlab的~ C、C++、J...
那些击溃了所有NLP系统的样本 10
非常重要的前言 无论你是PM还是QA还是java开发，请不要拿本文刺激你身边的NLP工程师，人生已经如此的艰难，有些事情就 击溃拼音标注系统篇 写给卖豆芽的对联，我想打印出拼音 长长长长长长长，长长长长长长长。 (solution: changzhangchangzhangchangchangzhangzhangchangzhangchangzhangzhangchang, zhangchan...
ICLR2020满分论文 | 为什么梯度裁剪能加速模型训练？ 5
一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 需要许多时间步计算的循环神经网络，如LSTM、GRU，往往存在梯度爆炸的问题。其目标函数可能存在悬崖一样斜率较大的区域，这是由于时间步上几个较大的权重相乘导致的。当参数接近这样的悬崖区域时，如果更新梯度不足够小，很有可能就会直接跳过这样的悬崖结构，然后被弹射到非常远的地方。梯度裁剪（gradient clipping），是这类问题的常用解决办...
谷歌重磅：可以优化自己的优化器！手动调参或将成为历史！？ 7
背景 Google Brain团队发布的一篇最新论文在外网引发热议，或将成为Deep Learning发展历程上里程碑式的工作。它所讨论的，是所有AI行业者都要面对的——Deep Learning中的优化问题。也就是，如何更好地训练一个模型。 深度模型的训练过程是非常困难的，常见的挑战包括：陷入局部极小值、梯度消失/爆炸、长期依赖（long dependency）等等。但对于大多数算法工程师来说其...
内卷的世界，我们是否可以换一种思维生活？ 4
前言 今年最热门的词汇之一当属内卷了。似乎很多行业都由于份额有限而陷入内卷当中。 最火的或许是清华学生的这张图，“骑车写代码”： 图片来自网络 虽然后来知道是这位同学怕关了屏幕程序就断了，但这不禁让人思考： 现在到底是一个怎么内卷的世界？ CV领域有多卷？ 由于见识有限，不知道其他行业卷成什么样。这里就以我了解的CV领域卷的程度来做个介绍。 CV即计算机视觉，目前很多互联网公司都在招相关的算法工程...
撑起百万亿参数模型想象力！英伟达发布新一代SuperPOD超算，AI算力新巅峰！ 14
周一，黄教主又很淡定的在自家厨房里开完了GTC发布会。 众所周知，NLP领域的模型一个比一个大，自从百亿参数的Google T5出来后，大部分AI研究者只能望着手里的蹩脚算力兴叹。如今动辄就是千亿、万亿参数模型，目前比较流行的V100主机显然已经无法满足需求。而本周刚落幕的GTC发布会，则为如今的万亿模型想象力的时代提供了一份极其重要的保障，不仅使得造万亿模型都成为了可能，甚至打开了通往十万亿乃至...
诺奖级成果开源！为什么说AlphaFold2足以改变全人类？ 23
前天，AlphaFold2开源，相信大家被大大小小的公众号刷屏了。谷歌Deepmind团队此前使用基于Transformer的模型，在CASP14比赛上，刷新蛋白质三维结构预测的新高度，而详细论文，代码，久久没有开源，大家翘首以待到现在，终于等来了它。为什么大家都是魔改Transformer刷SOTA，别人万众瞩目Nature抢着发，被生化医药圈子里的科研人员认为是诺奖级别的工作，然而我们也是用T...
分类问题后处理技巧CAN，近乎零成本获取效果提升 15
思想朴素却不平凡的分类问题后处理技巧，浅显易懂的讲解，拿来吧你！ 顾名思义，本文将会介绍一种用于分类问题的后处理技巧——CAN（Classification with Alternating Normalization）。经过笔者的实测，CAN确实多数情况下能提升多分类问题的效果，而且几乎没有增加预测成本，因为它仅仅是对预测结果的简单重新归一化操作。 有趣的是，其实CAN的思想是非常朴素的，朴素到...
回归：从精灵宝可梦说起 14
今天我们用一个预测宝可梦（pokemons）进化后过的CP值（战斗力）的例子，来讲讲什么是Regression。 Regression-pokemons 如上图所示，我们的目标是找到一个函数‘f’，input一只宝可梦，output是他进化后的cp值。 那么如何寻找这个函数 f 就成了问题的关键！ Models：建立模型 我们在这里建立一个Linear model： y = b + w * x 它...
独家干货2，融合多个技巧的Python文件-综合实战应用 4
最近有几个好学的小伙伴比如'supercalifragilisticexpiadocious',还有广东汕头的同学,还有侠客行,不断的跟我说，希望能多加一些实战的例子，甚至有一个徐mm每天看我的文章打卡学习,让我深受鼓舞,于是我打算写一个能够把文件的知识点融合到一个实际生活中的例子,我想来想去写一个综合小例子，这个例子会对前面所学的列表/字典,函数和文件，综合应用. 希望通过这个例子，可以让初...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
搜索当前分类