机器学习

机器学习相关从业者如何兼顾理论与工程能力

知行编程网人工智能前沿 2年前 (2021-12-29) 3 0

理论与工程首先，小夕说一下自己目前对理论与工程的理解吧，这也是小夕当前研究理论和熟练工程时主要的出发点。（仅为个人思考，请勿当成真理理论注重的是学科中各个知识点的大一统，将各种散乱的算法、现象、技巧来归结到一张大网中。这样在新理论、新技术到来的时候，你可以很快的从这张大网中get到新理论、新技术的本质，并将这些创新纳入你的大网，并且可以反思这张网，归结出其中的规律或者疑问，以此为突破点来“...

预训练语言模型的训练语料是全网数据，其来着不拒，只要喂过来的数据，统统吃掉，尽可能消化掉。而统计模型，除泛化能力外，另一个重要的能力就是记忆能力。我们知道，人类的本质是复读机，啊，不是，全网数据中，重复或接近重复的数据是相当多的，尤其是数据爆炸的今天，当我们浏览各个来源的网络资讯的时候，时不时总会有似曾相识的感觉（当然这一定程度也归功于各大自媒体的洗稿）。这种重复的数据在统计模型的眼里，无疑是在...

资源 | 源自斯坦福CS229，机器学习备忘录在集结 12

知行编程网人工智能前沿 2年前 (2022-02-28) 0 0

在 Github 上，afshinea 贡献了一个备忘录对经典的斯坦福 CS229 课程进行了总结，内容包括监督学习、无监督学习，以及进修所用的概率与统计、线性代数与微积分等知识。我们简要介绍了该项目的主要内容，读者可点击「阅读原文」下载所有的备忘录。据项目介绍，该 repository 旨在总结斯坦福 CS 229 机器学习课程的所有重要概念，包括：学习该课程所需的重要预备知识，例如概率与统...

【重版】朴素贝叶斯与拣鱼的故事 42

知行编程网人工智能前沿 2年前 (2021-12-29) 6 0

重版公告由于小夕之后要讲的好几篇文章要基于这一篇的知识，但是以前写的的这篇文章对朴素贝叶斯的讨论不够深入，又不值得再额外写一篇朴素贝叶斯啦，因此本文重版了以前的文章《朴素贝叶斯》。与旧版相比，新版对基础知识的讲解进行了大幅更新，并加入了一些更深的讨论和结论，并重新进行了排版。朴素贝叶斯分类器可以说是最经典的基于统计的机器学习模型了。首先，暂且不管贝叶斯是什么意思，朴素这个名字放在分类器中好...

线性代数应该这样讲(四)-奇异值分解与主成分分析 15

知行编程网人工智能前沿 2年前 (2022-01-02) 14 0

在《线性代数这样讲（二）》（以下简称「二」）中，小夕详细讲解了特征值与特征向量的意义，并且简单描述了一下矩阵的特征值分解的意义和原理。本文便基于对这几个重要概念的理解来进一步讲解SVD分解。回顾一下，在「二」中，小夕讲过一个方阵W可以分解为它的特征向量矩阵eVec与特征值矩阵eVal相乘的形式，即用 eVec * eVal * eVec-1 来近似原方阵W。那么问题来啦，如果我们的矩阵不是方阵...

模型训练太慢？显存不够用？这个算法让你的GPU老树开新花 18

知行编程网人工智能前沿 2年前 (2022-01-11) 33 0

一只小狐狸带你解锁NLP/ML/DL秘籍老板，咱们就一台Titan Xp，训不动BERT呀没钱买机器，自己想办法。委屈T^T 我听说混合精度训练可以从算法上缓解这个问题？喵喵喵？？其实小夕的内心是拒绝的，就一台破Xp，再优化能快到哪里去呀T^T 燃鹅小夕找了一份开源代码，结果刚开始跑小夕就震惊了！什么鬼？训练速度怎么这么快？出bug了吧？？？？一毛一样的模型、超参数和硬件环境，竟然可...

深度 | 贝叶斯、香农、奥卡姆合写博客「机器学习是什么」 9

知行编程网人工智能前沿 2年前 (2022-03-04) 3 0

牛顿说：「解释自然界的一切，应该追求使用最少的原理。」介绍我们很少听到一个三词短语，能将统计学习、信息论和自然哲学的一些核心概念融合到一起。它对于任何有探索兴趣的人来说，都有精确且易于理解的含义，而且对 ML 和数据科学的研究人员，它应该是个有实用性的词。我说的就是「最小描述长度」（Minimum Description Length）。你可能在想这到底是什么…… 让我们拨开层层迷雾，看看它...

百度提出新冠高风险小区预警算法，AAAI21收录！ 10

知行编程网人工智能前沿 2年前 (2022-02-02) 4 0

编：夕小瑶几个月前，小屋推送了一期上帝视角看新型冠状病毒（COVID-19）对公众出行影响的顶会论文解读——《这篇顶会paper，讲述了疫情期间憋疯的你和我》，这篇有趣的paper来自百度地图团队，发表在KDD2020。几个月后，新冠病毒仍在全球范围肆虐，并对人们的日常工作与生活产生了严重的影响。与此同时，社会责任感爆棚的百度研究人员再次发挥时空大数据优势，又发表一篇硬刚新冠疫情的最新研究成果...

【通俗易懂】10幅图解释机器学习中的基本概念 10

知行编程网人工智能前沿 2年前 (2022-02-28) 49 0

以下的几幅图是我认为在解释机器学习基本概念时最有启发性的条目列表。 1. Test and training error: 为什么低训练误差并不总是一件好的事情呢：以模型复杂度为变量的测试及训练错误函数。 2. Under and overfitting: 低度拟合或者过度拟合的例子。多项式曲线有各种各样的命令M，以红色曲线表示，由绿色曲线适应数据集后生成。 3. Occam’s ra...

源自斯坦福CS229，机器学习备忘录在集结 12

知行编程网人工智能前沿 2年前 (2022-03-01) 4 0

在 Github 上，afshinea 贡献了一个备忘录对经典的斯坦福 CS229 课程进行了总结，内容包括监督学习、无监督学习，以及进修所用的概率与统计、线性代数与微积分等知识，有需要的小伙伴可自行下载哦～项目地址：https://github.com/afshinea/stanford-cs-229-machine-learning 据项目介绍，该 repository 旨在总结斯坦福 CS...