神经网络激活函数=生物转换器?

神经网络激活函数=生物转换器? 24

知行编程网 人工智能前沿 2年前 (2021-12-31) 2 0

啊~昨晚躺了一个小时竟然没有睡着,美容觉泡汤了...于是竟然大半夜起来写了这篇文章 在《逻辑回归到神经网络》中,小夕让神经网络冒了个泡。在《一般化机器学习与神经网络》中,将神经网络这一火热的模型强制按回机器学习一般框架里。在《BP算法的本质》里,详细的阐述了BP算法的本质与目标。 好啦~这一篇回到简单、纯粹的状态,我们来一起戳一戳可爱的神经细胞。 学生物的人眼里的神经细胞: 学数学与机器学习的人眼...

不要再纠结卷积的公式啦!0公式深度解析全连接前馈网络与卷积神经网络

不要再纠结卷积的公式啦!0公式深度解析全连接前馈网络与卷积神经网络 11

知行编程网 人工智能前沿 2年前 (2022-01-03) 14 0

Hello~你们的小夕终于吐泡泡了~前几天小夕又加班赶project啦,拖了好几天,都快患上拖稿焦虑症了_(:з」∠)_ 关于卷积神经网,小夕就不从卷积讲啦。以前不止一个粉丝问我卷积神经网络中卷积的意义,甚至在知乎上被邀请回答一个“卷积神经网络为什么不叫互相关神经网络”的类似的奇怪问题,终于忍不住,还是赶紧把CNN写了吧(说的自己要去拯救世界了一样(//∇//) 我们还是从前面更简单的机器学习mo...

深度解析LSTM神经网络的设计原理

深度解析LSTM神经网络的设计原理 69

知行编程网 人工智能前沿 2年前 (2022-01-03) 26 0

引人入胜的开篇: 想要搞清楚LSTM中的每个公式的每个细节为什么是这样子设计吗?想知道simple RNN是如何一步步的走向了LSTM吗?觉得LSTM的工作机制看不透?恭喜你打开了正确的文章!  前方核弹级高能预警!本文信息量非常大,文章长且思维连贯性强,建议预留20分钟以上的时间进行阅读。 前置知识1: 在上一篇文章《前馈到反馈:解析RNN》中,小夕从最简单的无隐藏层的前馈神经网络引出了简单的循...

step-by-step: 夕小瑶版神经网络调参指南(上)

step-by-step: 夕小瑶版神经网络调参指南(上) 11

知行编程网 人工智能前沿 2年前 (2022-01-04) 12 0

距离上一篇文章已经过去好久好久好久啦。闭关几个月后,其实早有继续码文章的打算,先后写了一下核函数与神经网络的一些思考、文本预处理tricks、不均衡文本分类问题、多标签分类问题、tensorflow常用tricks、噪声对比估算与负采样等文章,结果全都半途而废,写了一半然后各种原因丢掉了就不想再接着写。结果电脑里稿子攒了好多,却让订阅号空了这么久。今天终于下定决心必须要码一篇了,下午临时决定写一篇...

神经网络检测:一种自配置的医学目标检测方法

神经网络检测:一种自配置的医学目标检测方法

橙子 每日Arxiv 2年前 (2022-01-16) 33 0

卷积层和损失函数是深度学习中的两个基本组成部分。由于传统深度学习内核的成功,通用性较差的 Gabor 内核变得不那么受欢迎,尽管它们可以以更少的参数提供不同频率、方向和尺度的丰富特征。对于多类图像分割的现有损失函数,通常需要在准确性、对超参数的鲁棒性以及用于组合不同损失的手动权重选择之间进行权衡。 因此,为了获得使用 Gabor 内核的好处,同时保持深度学习中自动特征生成的优势,我们提出了一个完全...

NeurIPS 2020 | 没有乘法的神经网络,照样起飞?

NeurIPS 2020 | 没有乘法的神经网络,照样起飞? 15

知行编程网 人工智能前沿 2年前 (2022-01-31) 35 0

今天给大家介绍一篇1962年的论文《Computer Multiplication and Division Using Binary Logarithms》[1],作者是John N. Mitchell,他在里边提出了一个相当有意思的算法:在二进制下,可以完全通过加法来近似完成两个数的相乘,最大误差不超过1/9。整个算法相当巧妙,更有意思的是它还有着非常简洁的编程实现,让人拍案叫绝。然而,笔者发...

全栈深度学习第5期: 神经网络调试技巧

全栈深度学习第5期: 神经网络调试技巧

知行编程网 人工智能前沿 2年前 (2022-02-04) 8 0

简介 Berkeley全栈深度学习追剧计划是由夕小瑶的卖萌屋发起的优质公开课打卡项目,通过微信群为同期追剧的小伙伴提供交流平台。关于该计划的详请见这里。 Berkeley深度学习追剧群 目前已有1000+小伙伴加入,公众号后台回复口令 深度学习追剧 入群。 课程主页 https://course.fullstackdeeplearning.com 第5期内容 神经网络的调试确实是让人头秃的事情,如...

从逻辑回归到神经网络

从逻辑回归到神经网络 21

知行编程网 人工智能前沿 2年前 (2021-12-29) 21 0

回顾 小夕在文章《逻辑回归》中详细讲解了逻辑回归模型,又在《Sigmoid与Softmax》中详细讲解了Sigmoid的实际意义(代表二类分类问题中,其中一个类别的后验概率)。   至此,我们已经比较透彻的理解了逻辑回归模型假设函数(也就是用于预测类别的函数)。纯从计算顺序上来说,逻辑回归预测类别的顺序即: 1. 输入样本X与模型参数作内积,结果记为z 2. 将中间结果z输入到Sigmoid函数,...

预训练卷不动,可以卷输入预处理啊!

预训练卷不动,可以卷输入预处理啊! 24

知行编程网 人工智能前沿 2年前 (2022-02-13) 103 0

目前伴随着预训练预言模型的兴起,越来越多的 NLP 任务开始脱离对分词的依赖。通过 Fine-Tune Bert 这类预训练预言模型,能直接在下游任务上取得一个很好的结果。同时也有文章探讨中文分词在神经网络时代的必要性。对于分词任务本身也是如此。 那中文分词这个任务有还意义吗?或者换句话说中文分词是不是一个已经解决的任务。那么接下来笔者将会带大家梳理目前分词的研究方向和进展。 本文的思维导图如下图...

神经网络中的偏置项b到底是什么?

神经网络中的偏置项b到底是什么? 4

知行编程网 人工智能前沿 2年前 (2021-12-29) 7 0

前言 很多人不明白为什么要在神经网络、逻辑回归中要在样本X的最前面加一个1,使得 X=[x1,x2,…,xn] 变成 X=[1,x1,x2,…,xn] 。因此可能会犯各种错误,比如漏了这个1,或者错误的将这个1加到W·X的结果上,导致模型出各种bug甚至无法收敛。究其原因,还是没有理解这个偏置项的作用啦。   在文章《逻辑回归》和《从逻辑回归到神经网络》中,小夕为了集中论点,往往忽略掉模型的偏置项...

扫一扫二维码分享