从点到线：逻辑回归到条件随机场 9
开篇高能预警！本文前置知识： 1、理解特征函数/能量函数、配分函数的概念及其无向图表示，见《逻辑回归到受限玻尔兹曼机》和《解开玻尔兹曼机的封印》； 2、理解特征函数形式的逻辑回归模型，见《逻辑回归到最大熵模型》。 从逻辑回归出发，我们已经经过了朴素贝叶斯、浅层神经网络、最大熵等分类模型。显然，分类模型是不考虑时间的，仅仅计算当前的一堆特征对应的类别。因此，分类模型是“点状”的模型。 想一下，如果我...
线性代数应该这样讲（二） 17
在《...（一）》中，小夕从映射的角度讲解了矩阵及矩阵运算，这也是机器学习中看待矩阵的非常重要的视角。 另一方面说，矩阵当然也是用于存储数据的数据结构，这也是最好理解的形式。另外还可以看做是一个线性方程组（课本上讲烂了的开头），甚至可以将其仅仅看做一般化的张量（tensor）中的一个普通切片（slice），或者说其中一层。所以矩阵代表什么含义，要在不同的场景中灵活对待，不要局限在一种视角哦。 ...
从逻辑回归到神经网络 21
回顾 小夕在文章《逻辑回归》中详细讲解了逻辑回归模型，又在《Sigmoid与Softmax》中详细讲解了Sigmoid的实际意义（代表二类分类问题中，其中一个类别的后验概率）。 至此，我们已经比较透彻的理解了逻辑回归模型假设函数(也就是用于预测类别的函数)。纯从计算顺序上来说，逻辑回归预测类别的顺序即： 1. 输入样本X与模型参数作内积，结果记为z 2. 将中间结果z输入到Sigmoid函数，...
神经网络中的偏置项b到底是什么？ 4
前言 很多人不明白为什么要在神经网络、逻辑回归中要在样本X的最前面加一个1，使得 X=[x1,x2,…,xn] 变成 X=[1,x1,x2,…,xn] 。因此可能会犯各种错误，比如漏了这个1，或者错误的将这个1加到W·X的结果上，导致模型出各种bug甚至无法收敛。究其原因，还是没有理解这个偏置项的作用啦。 在文章《逻辑回归》和《从逻辑回归到神经网络》中，小夕为了集中论点，往往忽略掉模型的偏置项...
机器学习相关从业者如何兼顾理论与工程能力
理论与工程 首先，小夕说一下自己目前对理论与工程的理解吧，这也是小夕当前研究理论和熟练工程时主要的出发点。（仅为个人思考，请勿当成真理 理论注重的是学科中各个知识点的大一统，将各种散乱的算法、现象、技巧来归结到一张大网中。这样在新理论、新技术到来的时候，你可以很快的从这张大网中get到新理论、新技术的本质，并将这些创新纳入你的大网，并且可以反思这张网，归结出其中的规律或者疑问，以此为突破点来“...
深入深出Sigmoid与Softmax的血缘关系 33
缘起逻辑回归 逻辑回归模型是用于二类分类的机器学习模型（不要说逻辑回归可以做多类分类啊喂，那是二类分类器的组合策略问题，而与逻辑回归分类器本身的构造没有半毛钱关系啊）。 我们知道，在逻辑回归中，用于预测样本类别的假设函数为 （小夕要讲大事，忽略偏置项参数和向量转置这种细节啦）,其中sigmoid函数的图像看起来是这样的： 因此，我们将的样本预测为正类别（记为类别1），将的样本预测为负类别（记为类别...
BP算法是从天上掉下来的吗？ 10
第二个标题：一般而特殊的前馈神经网络 前馈神经网络 在文章《逻辑回归到神经网络》（以下简写《LR到NN》）中，小夕为大家描述了一个从逻辑回归延伸到神经网络的过程。在《一般化机器学习与神经网络》中，小夕阐述了神经网络的一般性。这一篇会完全进入神经网络的状态，阐述神经网络的特殊性。 其实在《LR到NN》中的这张简单的图，就是本文要讲的前馈神经网络（feed-forward neural netwo...
深度学习人脸识别中的统一表示学习 9
论文名称： Towards Universal Representation Learning for Deep Face Recognition 论文地址： https://arxiv.org/abs/2002.11841 2.摘要 复杂环境下的人脸识别是非常困难的。传统的方法要么使用从目标图像标注的变化数据来训练，要么引入没有标注的目标变化数据去适应训练数据。基于此，本论文提出了一个统一的表示...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利