机器学习前沿——函数估计方法 5
利用独立性的优势函数估计方法 论文链接： https://www.ijcai.org/proceedings/2021/0461.pdf 在强化学习中，优势函数 (advantage function) 普遍采用蒙特卡洛 (MC)、时间差分 (TD)，以及一种将前两者结合的优势函数估计算法（GAE) 等进行估计，而这些算法都存在方差较高的问题。因此，微软亚洲研究院的研究员们首次提出通过利...
从逻辑回归到最大熵模型 12
在《逻辑回归》与《sigmoid与softmax》中，小夕讲解了逻辑回归背后藏着的东西，这些东西虽然并不是工程中实际看起来的样子，但是却可以帮助我们很透彻的理解其他更复杂的模型，以免各个模型支离破碎。 本文中，小夕将带领大家从另外一个角度看待逻辑回归，从这个角度出发，又可以轻易的衍生出一系列如最大熵模型、条件随机场，甚至一般化的无向图模型。 还是回到逻辑回归这个熟悉的假设函数上来： 根据《sigm...
深度前馈网络与Xavier初始化原理 21
基本的神经网络的知识（一般化模型、前向计算、反向传播及其本质、激活函数等）小夕已经介绍完毕，本文先讲一下深度前馈网络的BP过程，再基于此来重点讲解在前馈网络中用来初始化model参数的Xavier方法的原理。 前向过程很简单，每一层与下一层的连接边(即参数)构成了一个矩阵(即线性映射)，每一层的神经元构成一个激活函数阵列（即非线性映射），信号便从输入层开始反复的重复这两个过程直到输出层，也就...
线性代数应该这样讲(三)-向量2范数与模型泛化 9
在线性代数（一）中，小夕主要讲解了映射与矩阵的关系；在线性代数（二）中，小夕讲解了映射视角下的特征值与特征向量的物理意义。本文与下一篇会较为透彻的解析一下向量的二范数与一范数，他们在机器学习任务中是最常用，有时甚至是核心的东西哦。 首先，来一个俗俗的开篇。向量x的p范数表示如下： 由此，p=1、p=2就分别代表1范数和2范数。本文只看p=2的情况。 二范数相信大家在大一学线性代数的时候就已经被灌输...
从点到线：逻辑回归到条件随机场 9
开篇高能预警！本文前置知识： 1、理解特征函数/能量函数、配分函数的概念及其无向图表示，见《逻辑回归到受限玻尔兹曼机》和《解开玻尔兹曼机的封印》； 2、理解特征函数形式的逻辑回归模型，见《逻辑回归到最大熵模型》。 从逻辑回归出发，我们已经经过了朴素贝叶斯、浅层神经网络、最大熵等分类模型。显然，分类模型是不考虑时间的，仅仅计算当前的一堆特征对应的类别。因此，分类模型是“点状”的模型。 想一下，如果我...
线性代数应该这样讲(四)-奇异值分解与主成分分析 15
在《线性代数这样讲（二）》（以下简称「二」）中，小夕详细讲解了特征值与特征向量的意义，并且简单描述了一下矩阵的特征值分解的意义和原理。本文便基于对这几个重要概念的理解来进一步讲解SVD分解。 回顾一下，在「二」中，小夕讲过一个方阵W可以分解为它的特征向量矩阵eVec与特征值矩阵eVal相乘的形式，即用 eVec * eVal * eVec-1 来近似原方阵W。 那么问题来啦，如果我们的矩阵不是方阵...
杂谈机器学习的几个应用场景 6
在上一篇文章末尾，小夕提到了“机器学习是实现自然语言处理的正确道路”。其实确实如此，纵观整个自然语言处理的发展史，也是纵观整个人工智能的发展史，从诞生到现在，机器学习不仅是在理论和工程上实现自然语言处理的目前最佳选择，也是最贴近生物掌握自然语言处理能力的本能方式。 从规则到统计，再到如今深度学习这个特殊而一般的统计，这条发展之路渗透在自然语言处理的几乎每一个应用场景。如中文分词，从最初的最大匹...
从逻辑回归到受限玻尔兹曼机 12
在那很久很久以前，可爱的小夕写了一篇将逻辑回归小题大做的文章，然后在另一篇文章中阐述了逻辑回归的本质，并且推广出了softmax函数。 从那之后，小夕又在一篇文章中阐述了逻辑回归与朴素贝叶斯的恩仇录，这两大祖先级人物将机器学习的国度划分为两大板块——生成式与判别式。 后来，朴素贝叶斯为了将自己的国度发扬光大，进化出了贝叶斯网以抗衡逻辑回归，一雪前耻。 然而，傲娇的逻辑回归怎能就此善罢甘...
解开玻尔兹曼机的封印会发生什么？ 15
在上一篇文章中，小夕讲述了逻辑回归为了抗衡贝叶斯网，也开始了自己的进化。然而令我们没有想到的是，逻辑回归最终竟然进化成了一个生成式模型——受限玻尔兹曼机（RBM），也就是变成了敌方（生成式模型）的武器。 意外得到RBM的朴素贝叶斯万分惊喜，并且燃起了将它自己做的贝叶斯网与敌方送的RBM融合的冲动！ 那么朴素贝叶斯的疯狂想法能不能实现呢？ 还是按照惯例，先叙述背景姿势。在《朴素贝叶斯...
哈？你还认为似然函数跟交叉熵是一个意思呀？ 14
在我重新抱起概率统计的课本之前，我一直都不清楚似然函数为什么是那样子的，只知道照着公式敲代码（那时候还没有tensorflow），于是出过各种糗： “啊？似然函数不就是交叉熵吗？” “机器学习中的似然函数怎么看起来跟概率统计课本里的不一样呢？” “学长学长，我把这个model的输出接上交叉熵后怎么报错了？” “似然函数”名字的意义已经在以前的多篇文章中提过了，更通用的定义来说，似然函数...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
搜索当前分类