深度学习

吐血整理：论文写作中注意这些细节，能显著提升成稿质量 24

知行编程网人工智能前沿 2年前 (2022-02-21) 32 0

前言不知诸位在科研的起步阶段，是否曾有过如下的感受：总感觉自己写的论文就是和自己读过的论文长得不太一样，也不知道为啥。投稿的时候，审稿人也总是 get 不到论文的核心，只揪着论文的次要细节不放。在本文中，笔者吐血整理大量的论文写作小细节。从格式到内容上帮你提升论文的清晰度和易读性，可以显著缓解论文写完后导师不爱看，评审看不懂等症状。本文适合对LaTeX基本语法有所了解的同学食用。符号篇...

你的模型真的陷入局部最优点了吗？ 14

知行编程网人工智能前沿 2年前 (2022-01-03) 51 0

小夕曾经收到过一个提问：“小夕，我的模型总是在前几次迭代后很快收敛了，陷入到了一个局部最优点，怎么也跳不出来，怎么办？” 本文不是单纯对这个问题的回答，不是罗列工程tricks，而是希望从理论层面上对产生类似疑问的人有所启发。真的结束于最优点吗？我们知道，在局部最优点附近，各个维度的导数都接近0，而我们训练模型最常用的梯度下降法又是基于导数与步长的乘积去更新模型参数的，因此一旦陷入了局部最...

视频问答兴起，多跳问答热度衰退，92篇论文看智能问答的发展趋势

知行编程网人工智能前沿 2年前 (2022-01-20) 19 0

2019年的时候，舒意恒Y.Shu整理了一份《2019年，智能问答有哪些研究方向？》，如今2020年已经过去了一半，该领域的研究趋势发生了一些有趣的变化。于是Y.Shu继续为大家整理了今年ACL、AAAI、IJCAI、SIGIR、CVPR、ICML、KDD等顶级会议上智能问答方向的92篇论文，进行了分方向梳理，并为大家打包了这92篇的论文PDF挂在订阅号后台方便大家下载。在智能问答涉及的各个小方...

ICLR'21 | 一个二值化词向量模型，是怎么跟果蝇搭上关系的？ 14

知行编程网人工智能前沿 2年前 (2022-02-03) 9 0

可能有些读者最近会留意到ICLR 2021的论文Can a Fruit Fly Learn Word Embeddings?，文中写到它是基于仿生思想（仿果蝇的嗅觉回路）做出来的一个二值化词向量模型。其实论文的算法部分并不算难读，可能整篇论文读下来大家的最主要疑惑就是“这东西跟果蝇有什么关系？”、“作者真是从果蝇里边受到启发的？”等等。本文就让我们来追寻一下该算法的来龙去脉，试图回答一下这个词向量...

强烈推荐！2019 年新书《基于 PyTorch 的自然语言处理》pdf 免费分享 4

知行编程网人工智能前沿 2年前 (2022-04-30) 40 0

编辑 | 机器学习算法与自然语言处理转载请联系原出处本书适用于自然语言处理(NLP)和深度学习的新手学习两个领域中的一些重要的知识点。这两个领域研究热点都呈指数增加。由于本书强调深度学习和自然语言处理中的代码实现，这些代码都是基于PyTorch实现的，因此它也适用于有一定NLP和深度学习基础的人。由于深度学习和NLP两个领域中的知识点是非常丰富的，我们在编写本书的过程中，对知识点进行选择，不可...

小哥哥，检索式chatbot了解一下？ 26

知行编程网人工智能前沿 2年前 (2022-01-06) 31 0

1. 扫盲对话的概念很大，从输入形式上分为文本和语音，本文当然只考虑文本。从对话目的上分为任务型对话与非任务型/闲聊型对话。顾名思义，任务型对话就是为了解决任务而进行的对话，比如你让Siri帮你定闹钟、发短信等，而闲聊型对话当然就是human-to-human的正常聊天啦。本文就不讨论任务型对话了，有兴趣的同学可以戳这里扫扫盲，本文聚焦在非任务型对话的多轮对话问题上。要完成对话的建模，目前主要...

陈丹琦“简单到令人沮丧”的屠榜之作：关系抽取新SOTA！ 5

知行编程网人工智能前沿 2年前 (2022-01-26) 178 0

大家好，我是卖萌屋的JayJay，好久不见啦～最近在「夕小瑶@知识图谱与信息抽取」群里和群友交流时，JayJay发现了来自陈丹琦大佬（女神）的一篇最新的关系抽取SOTA《A Frustratingly Easy Approach for Joint Entity and Relation Extraction》，光看题目就让人眼前一亮：是啥子简单方法，让实体关系的联合抽取方法“沮丧”了？仔细阅...

把数据集刷穿是什么体验？MetaQA已100%准确率 16

知行编程网人工智能前沿 2年前 (2022-02-09) 42 0

文 | 炼丹学徒编 | 小轶开始炼丹以来，估计很多小伙伴都和我一样幻想过直接把数据集做到 100% 准确率，然后大吼一声：这数据集，我做到头了！然而愿望终究是愿望。大多时候，看着自己手头上用了浑身解数才提了零点几个点的数据集，只想把它换掉。体谅到我们没吃过猪肉——最近清华大学李涓子组发表了一篇多跳问答工作TransferNet，怕是可以带大家看看猪跑了。把数据集刷穿究竟是一种什么体验？出于...

深入深出Sigmoid与Softmax的血缘关系 33

知行编程网人工智能前沿 2年前 (2021-12-29) 26 0

缘起逻辑回归逻辑回归模型是用于二类分类的机器学习模型（不要说逻辑回归可以做多类分类啊喂，那是二类分类器的组合策略问题，而与逻辑回归分类器本身的构造没有半毛钱关系啊）。我们知道，在逻辑回归中，用于预测样本类别的假设函数为（小夕要讲大事，忽略偏置项参数和向量转置这种细节啦）,其中sigmoid函数的图像看起来是这样的：因此，我们将的样本预测为正类别（记为类别1），将的样本预测为负类别（记为类别...

搜索引擎核心技术与算法 —— 词项词典与倒排索引优化 20

知行编程网人工智能前沿 2年前 (2022-01-14) 12 0

一只小狐狸带你解锁NLP/ML/DL秘籍老板～我会写倒排索引啦！我要把它放进咱们自研搜索引擎啦！我呸！你这种demo级代码，都不够当单元测试的！嘤嘤嘤，课本上就是这样讲的呀?! 来来，带你见识一下工业级搜索引擎里的倒排索引是怎么优化的! 前言首先回顾一下构建倒排索引的几个主要步骤： (1) 收集待建索引的文档； (2) 对这些文档中的文本进行词条化； (3) 对第2步产生的词条进行语言学预...