深度学习

如何与深度学习服务器优雅的交互？ 14

知行编程网人工智能前沿 2年前 (2022-01-04) 119 0

有没有想到小夕今天会发文章呢？(￣∇￣)有木有超级想小夕呢(￣∇￣) 小夕在前面写了一堆纯理论和半理论的文章，不要怕，这次来一篇纯工程的tricks集合！如果有人问小夕："小夕，要是人工智能的就业岗位一夜之间消失了，你会去转行做什么呢？" 答曰："当然是去做Linux运维啊23333" 小夕有一台自己负责的GPU服务器，她可让小夕操碎了心呐。最近好不容易把这娇气的小公举拉扯大了，下面就向各位服务...

step-by-step: 夕小瑶版神经网络调参指南（上） 11

知行编程网人工智能前沿 2年前 (2022-01-04) 12 0

距离上一篇文章已经过去好久好久好久啦。闭关几个月后，其实早有继续码文章的打算，先后写了一下核函数与神经网络的一些思考、文本预处理tricks、不均衡文本分类问题、多标签分类问题、tensorflow常用tricks、噪声对比估算与负采样等文章，结果全都半途而废，写了一半然后各种原因丢掉了就不想再接着写。结果电脑里稿子攒了好多，却让订阅号空了这么久。今天终于下定决心必须要码一篇了，下午临时决定写一篇...

文本分类问题不需要ResNet？小夕解析DPCNN设计原理（上） 4

知行编程网人工智能前沿 2年前 (2022-01-04) 55 0

历史回顾回顾一下图像和文本的发展史，似乎这就是一场你追我赶的游戏。在上一阶段的斗争中，朴素贝叶斯、最大熵、条件随机场这些理论完备的统计机器学习模型使得文本分类、中文分词、NER等诸多自然语言处理问题取得了差强人意（释义：基本使人满意。顺带嘲讽一波误用该词的媒体们(￣∇￣)）的性能，而这些理论完备的模型却在图像分类这种基本的计算机视觉问题上都严重碰壁。如今深度学习，或者具体点说卷积神经网络（CN...

文本分类问题不需要ResNet？小夕解析DPCNN设计原理（下） 12

知行编程网人工智能前沿 2年前 (2022-01-04) 71 0

哎呀呀，说好的不拖稿的又拖了两天T_T，小夕过一阵子分享给你们这两天的开心事哦。后台催稿调参系列的小伙伴们不要急，下一篇就是第二篇调参文啦。好啦，接着上一篇文章，直接搬来DPCNN、ShallowCNN、ResNet的对比图。从图中的a和c的对比可以看出，DPCNN与ResNet差异还是蛮大的。同时DPCNN的底层貌似保持了跟TextCNN一样的结构，这里作者将TextCNN的包含多尺寸卷积滤...

「小公式」平均数与级数 13

知行编程网人工智能前沿 2年前 (2022-01-04) 4 0

喵喵喵，小夕最近准备复习一下数学和基础算法，所以可能会推送或者附带推送点数学和基础算法的小文章。说不定哪天就用（考）到了呢(￣∇￣) 注意哦，与头条位的文章推送不同，「小公式」和「小算法」中的标题之间可能并无逻辑关联，因此可以看作是罗列小知识点，说不定这些小知识点就能带来一些小灵感呢。平均数调和平均数调和平均数（Harmonic Mean）是将数值个数除以数值倒数的总和，一组正数x1, x2...

高光谱图像聚类新方法

橙子每日Arxiv 2年前 (2022-01-04) 33 0

稀疏子空间聚类友好深度字典学习在高光谱图像分类中的应用子空间聚类技术在高光谱图像分割中显示出良好的应用前景。子空间聚类的基本假设是属于不同簇/段的样本位于可分离子空间中。如果这种情况不成立怎么办？下面和橙子姐姐一探究竟吧~ 本文推测，即使这个条件在原始空间中不成立，数据也可能被非线性地变换到一个空间，在那里它将被分成子空间。在这项工作中，本文提出了一种基于深度字典学习(DDL)原则的转换。特别地...

不要再纠结卷积的公式啦！0公式深度解析全连接前馈网络与卷积神经网络 11

知行编程网人工智能前沿 2年前 (2022-01-03) 14 0

Hello~你们的小夕终于吐泡泡了～前几天小夕又加班赶project啦，拖了好几天，都快患上拖稿焦虑症了_(:з」∠)_ 关于卷积神经网，小夕就不从卷积讲啦。以前不止一个粉丝问我卷积神经网络中卷积的意义，甚至在知乎上被邀请回答一个“卷积神经网络为什么不叫互相关神经网络”的类似的奇怪问题，终于忍不住，还是赶紧把CNN写了吧（说的自己要去拯救世界了一样(//∇//) 我们还是从前面更简单的机器学习mo...

深度学习资料挑的眼花啦？小夕帮你做选择！ 7

知行编程网人工智能前沿 2年前 (2022-01-03) 5 0

小夕还记得几年前刚入坑的时候，老师给的入门资料就是一堆论文！害的小夕差点放弃。。。如今深度学习应用的开发成本越来越低，学习资料越来越多，于是对初学者来说进入了另一个相反的困境——资料过多，让人眼花缭乱！哪怕是最最经典、顶尖的公开课。也是有好多门（斯坦福的、coursera的、MIT的、Berkeley的……）。更不必说眼花缭乱的纸质书籍，更更不用说铺天盖地的订阅号（比如夕小瑶的卖萌屋）如果你正...

你的模型真的陷入局部最优点了吗？ 14

知行编程网人工智能前沿 2年前 (2022-01-03) 51 0

小夕曾经收到过一个提问：“小夕，我的模型总是在前几次迭代后很快收敛了，陷入到了一个局部最优点，怎么也跳不出来，怎么办？” 本文不是单纯对这个问题的回答，不是罗列工程tricks，而是希望从理论层面上对产生类似疑问的人有所启发。真的结束于最优点吗？我们知道，在局部最优点附近，各个维度的导数都接近0，而我们训练模型最常用的梯度下降法又是基于导数与步长的乘积去更新模型参数的，因此一旦陷入了局部最...

深度前馈网络与Xavier初始化原理 21

知行编程网人工智能前沿 2年前 (2022-01-02) 4 0

基本的神经网络的知识（一般化模型、前向计算、反向传播及其本质、激活函数等）小夕已经介绍完毕，本文先讲一下深度前馈网络的BP过程，再基于此来重点讲解在前馈网络中用来初始化model参数的Xavier方法的原理。前向过程很简单，每一层与下一层的连接边(即参数)构成了一个矩阵(即线性映射)，每一层的神经元构成一个激活函数阵列（即非线性映射），信号便从输入层开始反复的重复这两个过程直到输出层，也就...