预训练语言模型真的是世界模型？ 10
自GPT、BERT问世以来，预训练语言模型在NLP领域大放异彩，刷新了无数榜单，成为当前学界业界的心头爱，其主体结构——Transformer——也在逐步的运用于其他领域的任务中，常见的如与CV的跨界，也有相对小众的bioinfo的任务（如蛋白质分类），然后此时问题来了，NLP领域技术成熟数据丰富，相比之下，其他领域或许不那么充足，那么曾经在 文本 数据上预训练的模型对 模态 有没有迁移作用呢？ ...
逻辑回归与朴素贝叶斯的战争 10
0 一起走过的 首先，小夕带领大家回顾一下文章《逻辑回归》、《Sigmoid与Softmax》、《朴素贝叶斯》中的几点内容，这几点内容也是本文的前置知识： 1. 逻辑回归模型的表达式(假设函数)：，其中。 2. 逻辑回归模型本质上是二类分类问题中其中一个类别的后验概率。 3. 用于二类分类的sigmoid函数只是用于多类分类的softmax函数的一个特例。 4. 朴素贝叶斯模型本质上计算并...
机器学习前沿——函数估计方法 5
利用独立性的优势函数估计方法 论文链接： https://www.ijcai.org/proceedings/2021/0461.pdf 在强化学习中，优势函数 (advantage function) 普遍采用蒙特卡洛 (MC)、时间差分 (TD)，以及一种将前两者结合的优势函数估计算法（GAE) 等进行估计，而这些算法都存在方差较高的问题。因此，微软亚洲研究院的研究员们首次提出通过利...
线性代数应该这样讲（一） 12
前言 小夕为什么要讲线性代数呢？因为有人已经做了机器学习一段时间了，竟然认为矩阵就是用来存储数据的。小夕表示非常震惊。 而深刻透彻的理解核函数、PCA、LSI、谱聚类等以空间映射为理论核心的机器学习理论时，靠大学里教的那一套线性代数，很有可能是悲剧的（小夕所在的本科学校，数学专业全国top5，还是大牛的老师教的线性代数，然而小夕依然觉得学了假线性代数，心塞） 因此，在对国内高等教育不信任的基础...
屠榜CV还不是这篇论文的终极目标，它更大的目标其实是…… 17
当 BERT 模型出来之后，Transformer 架构基本成为 NLP 任务的底色。诸如 Roberta、XLNet、ELECTRA、GPT3 等刷榜各类 NLP 任务的模型，无一不是基于 Transformer 框架。 无疑，Transformer 开启了 NLP 的统治时代，或者说，Transformer 已经成为 NLP 的 Back-bone Networks （基石网络）。 但是，隔壁...
聊聊工业界做机器学习的里程碑
阅读说明，本文的机器学习领域限制于互联网搜索、推荐、广告场景，仅限于个人观点。 2017年，我和团队的几个核心去了趟北京，找了各大互联网公司一线实战的同学，交流各自在机器学习上的经验。这次交流让我的认知上了一个台阶，开始思考什么是真正优秀的机器学习团队。 感慨一句，百度，特别是凤巢，真是中国机器学习的黄埔军校，门生遍布天下。 系统——经济基础决定上层建筑 工程系统中，提升收益是优化算法的根本动机。...
从逻辑回归到受限玻尔兹曼机 12
在那很久很久以前，可爱的小夕写了一篇将逻辑回归小题大做的文章，然后在另一篇文章中阐述了逻辑回归的本质，并且推广出了softmax函数。 从那之后，小夕又在一篇文章中阐述了逻辑回归与朴素贝叶斯的恩仇录，这两大祖先级人物将机器学习的国度划分为两大板块——生成式与判别式。 后来，朴素贝叶斯为了将自己的国度发扬光大，进化出了贝叶斯网以抗衡逻辑回归，一雪前耻。 然而，傲娇的逻辑回归怎能就此善罢甘...
线性代数应该这样讲(三)-向量2范数与模型泛化 9
在线性代数（一）中，小夕主要讲解了映射与矩阵的关系；在线性代数（二）中，小夕讲解了映射视角下的特征值与特征向量的物理意义。本文与下一篇会较为透彻的解析一下向量的二范数与一范数，他们在机器学习任务中是最常用，有时甚至是核心的东西哦。 首先，来一个俗俗的开篇。向量x的p范数表示如下： 由此，p=1、p=2就分别代表1范数和2范数。本文只看p=2的情况。 二范数相信大家在大一学线性代数的时候就已经被灌输...
当机器学习遇到鸡蛋受精
今天橙子姐姐带大家看看基于一阶统计特征提取的支持向量机分类器在鸡蛋受精方面的应用,大家一起看一下吧！ 本研究旨在使用支持向量机（SVM）分类器方法识别鸡蛋的生育力。分类基础使用一阶统计（FOS）参数作为识别过程中的特征提取。这项研究是基于过程的识别过程开发的，该过程仍然是手动的（传统的）。尽管目前在识别过程中有许多技术，但它们仍然需要发展。 因此，这项研究是图像处理技术领域的发展之一。样本数据使用...
杂谈机器学习的几个应用场景 6
在上一篇文章末尾，小夕提到了“机器学习是实现自然语言处理的正确道路”。其实确实如此，纵观整个自然语言处理的发展史，也是纵观整个人工智能的发展史，从诞生到现在，机器学习不仅是在理论和工程上实现自然语言处理的目前最佳选择，也是最贴近生物掌握自然语言处理能力的本能方式。 从规则到统计，再到如今深度学习这个特殊而一般的统计，这条发展之路渗透在自然语言处理的几乎每一个应用场景。如中文分词，从最初的最大匹...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利