逻辑回归与朴素贝叶斯的战争 10
0 一起走过的 首先，小夕带领大家回顾一下文章《逻辑回归》、《Sigmoid与Softmax》、《朴素贝叶斯》中的几点内容，这几点内容也是本文的前置知识： 1. 逻辑回归模型的表达式(假设函数)：，其中。 2. 逻辑回归模型本质上是二类分类问题中其中一个类别的后验概率。 3. 用于二类分类的sigmoid函数只是用于多类分类的softmax函数的一个特例。 4. 朴素贝叶斯模型本质上计算并...
预训练语言模型真的是世界模型？ 10
自GPT、BERT问世以来，预训练语言模型在NLP领域大放异彩，刷新了无数榜单，成为当前学界业界的心头爱，其主体结构——Transformer——也在逐步的运用于其他领域的任务中，常见的如与CV的跨界，也有相对小众的bioinfo的任务（如蛋白质分类），然后此时问题来了，NLP领域技术成熟数据丰富，相比之下，其他领域或许不那么充足，那么曾经在 文本 数据上预训练的模型对 模态 有没有迁移作用呢？ ...
机器学习前沿——函数估计方法 5
利用独立性的优势函数估计方法 论文链接： https://www.ijcai.org/proceedings/2021/0461.pdf 在强化学习中，优势函数 (advantage function) 普遍采用蒙特卡洛 (MC)、时间差分 (TD)，以及一种将前两者结合的优势函数估计算法（GAE) 等进行估计，而这些算法都存在方差较高的问题。因此，微软亚洲研究院的研究员们首次提出通过利...
【机器学习入门】 Learning Map 导览图 16
在此就不介绍机器学习的概念了。 Learning Map（学习导图） 先来看一张李宏毅大大的总图↓ 鉴于看起来不是很直观，我“照虎画猫”做了一个思维导图如下： 理论上Supervised Learning分支下的内容都可以放在其他Learning Map大类下。 Supervised Learning 所谓监督学习，就是我们告诉机器说，当这个function看到某种input则输出a，看到另一种i...
怎样将Embedding融入传统机器学习框架？ 2
LR本身是一个经典的CTR模型，广泛应用于推荐/广告系统。输入的特征大多数是离散型/组合型。那么对于Embedding技术，如何在不使用深度学习模型的情况下（假设就是不能用DNN），融入到LR框架中呢？让我们来看看清华大学的博士石塔西大佬是如何解答的。 问题实战意义 其实这个问题可以再扩展一下，即，如何在传统机器学习算法（LR/GBDT）中使用Embedding信息。 这个问题并非空穴来风，而是有...
你还记得吗？那些最基础的机器学习知识。 2
来自 | AI遇见机器学习一、机器学习定义深度学习的兴起引领了人工智能的有一股热潮，特别是阿尔法狗（AlphaGO）在围棋中战胜了世界冠军之后，各大社交媒体大肆宣传，把深度学习形容的玄乎其玄，人工智能的概念就走进千家万户了。回到正题，这篇推文是复习一下机器学习的基础知识，首先以下是机器学习的介绍和定义。机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼...
机器学习相关从业者如何兼顾理论与工程能力
理论与工程 首先，小夕说一下自己目前对理论与工程的理解吧，这也是小夕当前研究理论和熟练工程时主要的出发点。（仅为个人思考，请勿当成真理 理论注重的是学科中各个知识点的大一统，将各种散乱的算法、现象、技巧来归结到一张大网中。这样在新理论、新技术到来的时候，你可以很快的从这张大网中get到新理论、新技术的本质，并将这些创新纳入你的大网，并且可以反思这张网，归结出其中的规律或者疑问，以此为突破点来“...
撑起百万亿参数模型想象力！英伟达发布新一代SuperPOD超算，AI算力新巅峰！ 14
周一，黄教主又很淡定的在自家厨房里开完了GTC发布会。 众所周知，NLP领域的模型一个比一个大，自从百亿参数的Google T5出来后，大部分AI研究者只能望着手里的蹩脚算力兴叹。如今动辄就是千亿、万亿参数模型，目前比较流行的V100主机显然已经无法满足需求。而本周刚落幕的GTC发布会，则为如今的万亿模型想象力的时代提供了一份极其重要的保障，不仅使得造万亿模型都成为了可能，甚至打开了通往十万亿乃至...
线性代数应该这样讲(三)-向量2范数与模型泛化 9
在线性代数（一）中，小夕主要讲解了映射与矩阵的关系；在线性代数（二）中，小夕讲解了映射视角下的特征值与特征向量的物理意义。本文与下一篇会较为透彻的解析一下向量的二范数与一范数，他们在机器学习任务中是最常用，有时甚至是核心的东西哦。 首先，来一个俗俗的开篇。向量x的p范数表示如下： 由此，p=1、p=2就分别代表1范数和2范数。本文只看p=2的情况。 二范数相信大家在大一学线性代数的时候就已经被灌输...
观点 | 在工程领域中，机器学习的数学理论基础尤为重要 5
前 言 数学在机器学习中非常重要，但我们通常只是借助它理解具体算法的理论与实际运算过程。近日加州大学圣巴巴拉分校的 Paul J. Atzberger 回顾了机器学习中的经验风险与泛化误差边界，他认为在科学和工程领域中，我们需要从基本理论与数学出发高效使用现有方法，或开发新方法来整合特定领域与任务所需要的先验知识。 近期研究人员越来越多地关注将机器学习方法应用到科学、工程应用中。这主要是受自然语言...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利