神经网络

step-by-step: 夕小瑶版神经网络调参指南（上） 11

知行编程网人工智能前沿 2年前 (2022-01-04) 12 0

距离上一篇文章已经过去好久好久好久啦。闭关几个月后，其实早有继续码文章的打算，先后写了一下核函数与神经网络的一些思考、文本预处理tricks、不均衡文本分类问题、多标签分类问题、tensorflow常用tricks、噪声对比估算与负采样等文章，结果全都半途而废，写了一半然后各种原因丢掉了就不想再接着写。结果电脑里稿子攒了好多，却让订阅号空了这么久。今天终于下定决心必须要码一篇了，下午临时决定写一篇...

神经网络检测：一种自配置的医学目标检测方法

橙子每日Arxiv 2年前 (2022-01-16) 33 0

卷积层和损失函数是深度学习中的两个基本组成部分。由于传统深度学习内核的成功，通用性较差的 Gabor 内核变得不那么受欢迎，尽管它们可以以更少的参数提供不同频率、方向和尺度的丰富特征。对于多类图像分割的现有损失函数，通常需要在准确性、对超参数的鲁棒性以及用于组合不同损失的手动权重选择之间进行权衡。因此，为了获得使用 Gabor 内核的好处，同时保持深度学习中自动特征生成的优势，我们提出了一个完全...

NeurIPS 2020 | 没有乘法的神经网络，照样起飞？ 15

知行编程网人工智能前沿 2年前 (2022-01-31) 35 0

今天给大家介绍一篇1962年的论文《Computer Multiplication and Division Using Binary Logarithms》[1]，作者是John N. Mitchell，他在里边提出了一个相当有意思的算法：在二进制下，可以完全通过加法来近似完成两个数的相乘，最大误差不超过1/9。整个算法相当巧妙，更有意思的是它还有着非常简洁的编程实现，让人拍案叫绝。然而，笔者发...

全栈深度学习第5期: 神经网络调试技巧

知行编程网人工智能前沿 2年前 (2022-02-04) 10 0

简介 Berkeley全栈深度学习追剧计划是由夕小瑶的卖萌屋发起的优质公开课打卡项目，通过微信群为同期追剧的小伙伴提供交流平台。关于该计划的详请见这里。 Berkeley深度学习追剧群目前已有1000+小伙伴加入，公众号后台回复口令深度学习追剧入群。课程主页 https://course.fullstackdeeplearning.com 第5期内容神经网络的调试确实是让人头秃的事情，如...

从逻辑回归到神经网络 21

知行编程网人工智能前沿 2年前 (2021-12-29) 21 0

回顾小夕在文章《逻辑回归》中详细讲解了逻辑回归模型，又在《Sigmoid与Softmax》中详细讲解了Sigmoid的实际意义（代表二类分类问题中，其中一个类别的后验概率）。至此，我们已经比较透彻的理解了逻辑回归模型假设函数(也就是用于预测类别的函数)。纯从计算顺序上来说，逻辑回归预测类别的顺序即： 1. 输入样本X与模型参数作内积，结果记为z 2. 将中间结果z输入到Sigmoid函数，...

预训练卷不动，可以卷输入预处理啊！ 24

知行编程网人工智能前沿 2年前 (2022-02-13) 103 0

目前伴随着预训练预言模型的兴起，越来越多的 NLP 任务开始脱离对分词的依赖。通过 Fine-Tune Bert 这类预训练预言模型，能直接在下游任务上取得一个很好的结果。同时也有文章探讨中文分词在神经网络时代的必要性。对于分词任务本身也是如此。那中文分词这个任务有还意义吗？或者换句话说中文分词是不是一个已经解决的任务。那么接下来笔者将会带大家梳理目前分词的研究方向和进展。本文的思维导图如下图...

神经网络中的偏置项b到底是什么？ 4

知行编程网人工智能前沿 2年前 (2021-12-29) 7 0

前言很多人不明白为什么要在神经网络、逻辑回归中要在样本X的最前面加一个1，使得 X=[x1,x2,…,xn] 变成 X=[1,x1,x2,…,xn] 。因此可能会犯各种错误，比如漏了这个1，或者错误的将这个1加到W·X的结果上，导致模型出各种bug甚至无法收敛。究其原因，还是没有理解这个偏置项的作用啦。在文章《逻辑回归》和《从逻辑回归到神经网络》中，小夕为了集中论点，往往忽略掉模型的偏置项...

【GAN货】用神经网络生成音乐 4

知行编程网人工智能前沿 2年前 (2022-03-02) 101 0

【导读】C-RNN-GAN是一种连续递归神经网络，它在深度LSTM的基础上进行对抗训练，因此它可以很好地处理连续时间序列数据，例如音乐！ C-RNN-GAN如何工作？ C-RNN_GAN是具有对抗训练的递归神经网络。模型中有两种不同的深度递归神经模型，即生成器（G）和判别器（D）。训练生成器以生成与实际数据无法区分的数据，同时训练判别器以识别生成的数据。这是一个博弈问题，达到纳什均衡即当生成器...

一般化机器学习与神经网络 16

知行编程网人工智能前沿 2年前 (2021-12-29) 1 0

0 前言机器学习的初学者很容易被各种模型搞得晕头转向。如果扎进各种模型的细节无法自拔的话，可能很难发现一般化的框架。如果你觉得神经网络是非常不同的机器学习模型，如果你觉得神经网络的各种新名词让你觉得这完全就是一片新天地，那么可能你已经陷入到这些细节里啦。所以小夕希望通过本文将这些同学拔出来，重新审视一下学过的东西。 1 一般化机器学习至此，小夕已经或多或少的讲解了逻辑回归模型、朴素贝叶斯...

BP算法是从天上掉下来的吗？ 10

知行编程网人工智能前沿 2年前 (2021-12-29) 162 0

第二个标题：一般而特殊的前馈神经网络前馈神经网络在文章《逻辑回归到神经网络》（以下简写《LR到NN》）中，小夕为大家描述了一个从逻辑回归延伸到神经网络的过程。在《一般化机器学习与神经网络》中，小夕阐述了神经网络的一般性。这一篇会完全进入神经网络的状态，阐述神经网络的特殊性。其实在《LR到NN》中的这张简单的图，就是本文要讲的前馈神经网络（feed-forward neural netwo...