Github上这款目标检测神器震撼来袭，真香！ 12
超越YOLOv5，1.3M超轻量，高效易用，目标检测神器已开源在Github。 不论是通用目标检测，还是行人、车辆检测； 不论是超高精度，还是超轻量超快速； 不论是学术科研大神，还是入门萌新； 这个目标检测领域的神器都能快速上手！那就是刚刚全面升级的PaddleDetection2.0！它全面兼顾高性能算法、便捷开发、高效训练及完备部署，也因此受到广大开发者的喜爱，连续登录Github全...
深度解析LSTM神经网络的设计原理 69
引人入胜的开篇： 想要搞清楚LSTM中的每个公式的每个细节为什么是这样子设计吗？想知道simple RNN是如何一步步的走向了LSTM吗？觉得LSTM的工作机制看不透？恭喜你打开了正确的文章！ 前方核弹级高能预警！本文信息量非常大，文章长且思维连贯性强，建议预留20分钟以上的时间进行阅读。 前置知识1: 在上一篇文章《前馈到反馈：解析RNN》中，小夕从最简单的无隐藏层的前馈神经网络引出了简单的循...
LayerNorm是Transformer的最优解吗？ 10
一只小狐狸带你解锁 炼丹术&NLP 秘籍 前言 众所周知，无论在CV还是NLP中，深度模型都离不开归一化技术（Normalization）。在CV中，深度网络中一般会嵌入批归一化（BatchNorm，BN）单元，比如ResNet；而NLP中，则往往向深度网络中插入层归一化（LayerNorm，LN）单元，比如Transformer。 为什么在归一化问题上会有分歧呢？一个最直接的理由就是，B...
Attention模型：我的注意力跟你们人类不一样 7
背景 截至今日，Badanau Attention的原文citation已达1.34w之多。2020年几乎所有主流NLP任务都需要借助attetion来实现。在深度学习全民炼丹的时代，attention是为数不多具有较强可解释性的机制。 在attention提出后的最初几年，大家都因其效果显著便不假思索地用于了自己的任务；许多paper也理所应当地在实验部分贴上各式各样的attention热图，用...
谈谈工业界落地能力最强的机器学习算法
尽管BERT为代表的预训练模型大肆流行，但是身处工业界才会知道它落地有多难，尤其是QPS动辄几百的在线推荐、搜索系统，哪怕在大厂也很难在线上系统见到它们。 今天就想反其道而行之，谈谈工业界搜索、推荐、广告这类核心场景中落地能力最强的算法（之一）：因子分解机（FM）。我不敢说它是最简单的（FM的确很简单），但是作为一个推荐算法调参工程师，掌握FM一定是性价比最高的。我推崇FM算法的原因，有以下三点：...
天天说常识推理，究竟常识是什么？ 9
写这篇文章的时候，我去搜了搜常识的例子。 “睁开眼睛打喷嚏是不可能的。（还真没留意。）““北极熊是左撇子。“”长颈鹿没办法咳嗽。” 呃？好吧，我需要补一补自己的常识。那么这些所谓的“常识”真的是常识吗？ 关于常识的研究近年来是比较火热的话题，在NLP领域，研究的方向主要有两条线，一是各种benchmark数据集的构建，各种刷榜以测试我们的模型是否具备某些类型的常识；二是常识知识图谱的构建，关注点主...
ACL'21 | debug完的神经网络，如何测试是否仍然存在bug？ 15
回归测试 熟悉软件工程的小伙伴们一定知道回归测试：修改了旧代码后，重新进行测试以确认修改没有引入新的错误或导致其他代码产生错误。 它可以大幅降低系统测试、维护升级等阶段的成本。 随着深度学习网络的不断发展，越来越多的系统都得到了广泛的工业界应用。长期的系统维护就显得格外重要了。 一方面，大家在用更大的模型，更多的数据不断提高SOTA效果；但同时，模型缺乏可解释性，同时也很难将大型神经网络分解为小单...
聊聊机器翻译界的“灌水与反灌水之战”！ 17
针对机器翻译领域如何提高和判断实验可信度，这篇ACL2021的oustanding paper迈出了关键的一步！（来读！全文在末尾） 作为不停读论文和调参炼丹的科研党，也许在我们的身边总会出现这样类似的对话: 案例1: xxx博士不讲武德，竟然让我把一部分测试集加入到训练集里面去，这是在公然蔑视学术道德? 案例2: 嘿嘿，调了调句子的最大长度，评测性能终于刷上去了。 案例3: 哇靠，那个人在作弊，...
迁移Prompt–解决Prompt Tuning三大问题！ 11
刘鹏飞博士将近代NLP的研究划归为四种范式 [1] 并把预训练语言模型加持下的Prompt Learning看作是近代自然语言处理技术发展的“第四范式”。当我们使用新范式的方法的时候，能够意识到它带来的优异性可能是以某种“人力”牺牲为代价的。而如何让这种人力代价降到最低，往往就是新范式里需要解决的核心问题 [2]。Prompt Learning刚兴起之时，prompts大多是人工设计的，为了减少人...
程序员江湖鄙视链大全，看看你处于链条的哪一级？ 18
有人的地方就有江湖。程序员，是一个知识、智商、都异于常人的群体，有人总结了程序员江湖等级鄙视链的方法和流程。 老婆漂亮的程序员 鄙视 老婆不漂亮的程序员 鄙视 有女友的程序员 鄙视 单身狗程序员 而在单身狗之间，才有了语言，编辑器和操作系统的互相鄙视。 当然，如果PHP程序员有个漂亮老婆，那他可能扳回了一局。 此文，博君一笑，切勿太当真。 来源：程序人生 文章版权归原作者所有，转载仅供学习使用...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
搜索当前分类