深度学习

动手做个DialoGPT：生成式多轮对话模型 3

知行编程网人工智能前沿 2年前 (2022-01-24) 36 0

前段时间刷Arixv的时候，发现清华大学开源了一个大规模的中文闲聊语料库LCCC，从开源的文件上来看，这可能是目前开源的数量最大、质量最好的闲聊语料库了，而且还包含了部分多轮对话聊天，总的来说可玩性还是蛮强的。笔者也被它吸引到了，尝试着用它来训练了一个闲聊对话模型，结果看上去还是不错的，在此分享一下自己的经验。论文名称：《A Large-Scale Chinese Short-Text Con...

这篇论文提出了一个文本<->知识图谱的格式转换器... 21

知行编程网人工智能前沿 2年前 (2022-02-06) 67 0

Hello, 大家好，我是小花。今天给大家介绍一篇有野心的paper。为何如此说呢？因为该工作提出了一个知识的格式转换器，用于转换无结构化的纯文本(Text)和结构化的知识图谱(KG) 。换句话说，给模型一打句子，它能够将其转换为一个图。图中的节点是句子中的关键信息，边表示不同节点的关系。反过来，给模型一个图，它能将其格式化为流畅的自然语言。举个例子，就是实现下面句子和图之间的格式转换： Th...

搜索引擎核心技术与算法 —— 倒排索引初体验 6

知行编程网人工智能前沿 2年前 (2022-01-11) 48 0

今天开启一个新篇章——智能搜索与NLP。本篇章将由羸弱菜鸡小Q和大家一同学习与智能搜索相关的知识和技术，希望能和大家一同学习与进步，冲鸭！！这里首先区分两个概念：搜索和检索检索：数据库时代的概念，及将数据存入数据库，有需要的时候进行查取。对结果的要求绝对精确；比如我要在图书馆里找到所有出现“白马”字样的图书，这里用到的就是检索。搜索：互联网时代的概念，人们将信息资源放在网上，第三方将互联网的...

谈谈工业界落地能力最强的机器学习算法

知行编程网人工智能前沿 2年前 (2022-01-28) 35 0

尽管BERT为代表的预训练模型大肆流行，但是身处工业界才会知道它落地有多难，尤其是QPS动辄几百的在线推荐、搜索系统，哪怕在大厂也很难在线上系统见到它们。今天就想反其道而行之，谈谈工业界搜索、推荐、广告这类核心场景中落地能力最强的算法（之一）：因子分解机（FM）。我不敢说它是最简单的（FM的确很简单），但是作为一个推荐算法调参工程师，掌握FM一定是性价比最高的。我推崇FM算法的原因，有以下三点：...

恕我直言，你的实验结论可能严重依赖随机数种子！ 17

知行编程网人工智能前沿 2年前 (2022-02-15) 61 0

God does not play dice with the universe ...... But BERT Does ! 包括BERT在内的预训练模型已经是现今NLP工作的标配。但你有没有考虑过，这些工作的实验结论可能都是虚假的？在 Bertology 中，大家从 huggingface 上下载 Google 训好的模型，在精调中结合改进，并应用于下游任务。所有的工作都是基于一组特定的初始化...

从点到线：逻辑回归到条件随机场 9

知行编程网人工智能前沿 2年前 (2022-01-02) 4 0

开篇高能预警！本文前置知识： 1、理解特征函数/能量函数、配分函数的概念及其无向图表示，见《逻辑回归到受限玻尔兹曼机》和《解开玻尔兹曼机的封印》； 2、理解特征函数形式的逻辑回归模型，见《逻辑回归到最大熵模型》。从逻辑回归出发，我们已经经过了朴素贝叶斯、浅层神经网络、最大熵等分类模型。显然，分类模型是不考虑时间的，仅仅计算当前的一堆特征对应的类别。因此，分类模型是“点状”的模型。想一下，如果我...

ICLR2020满分论文 | 为什么梯度裁剪能加速模型训练？ 5

知行编程网人工智能前沿 2年前 (2022-01-18) 41 0

一只小狐狸带你解锁炼丹术&NLP 秘籍前言需要许多时间步计算的循环神经网络，如LSTM、GRU，往往存在梯度爆炸的问题。其目标函数可能存在悬崖一样斜率较大的区域，这是由于时间步上几个较大的权重相乘导致的。当参数接近这样的悬崖区域时，如果更新梯度不足够小，很有可能就会直接跳过这样的悬崖结构，然后被弹射到非常远的地方。梯度裁剪（gradient clipping），是这类问题的常用解决办...

全栈深度学习第2期: 开发套件与工具篇 2

知行编程网人工智能前沿 2年前 (2022-02-02) 5 0

一起追剧鸭简介 Berkeley全栈深度学习追剧计划是由夕小瑶的卖萌屋发起的优质公开课打卡项目，通过微信群为同期追剧的小伙伴提供交流平台。关于该计划的详请见这里。 1. Berkeley深度学习追剧群目前已有1000+小伙伴加入，公众号后台回复口令深度学习追剧入群。 2. 课程主页 https://course.fullstackdeeplearning.com 第2期内容本期是FSDL...

如何撰写一篇优秀的研究论文？这一份68页PPT告诉你 6

知行编程网人工智能前沿 2年前 (2022-03-04) 3 0

【导读】近期，Deepmind和纽约大学研究科学家一起作了一场关于如何撰写一篇优秀的研究论文的专题会议，从研究人员(通过写作来提高你自己的理解)，审稿人(避免被拒绝的常见陷阱)和读者(传达你的信息并使你的作品尽可能有影响力)的角度来探讨写作过程，值得研究人员细细品味。资源获取方式：点击阅读原文获取资源或在输入关键词“DMNYU论文撰写指导”获取资源微软首席研究员西蒙·佩顿·琼斯的7...

最新颖的动态场景去模糊方法