别只关注GPT3！细如发丝的模型更具现实杀伤力！ 14
这个世界上有两种极具难度的工程：第一种是把很平常的东西做到最大，例如把语言模型扩大成能够写诗写文写代码的GPT-3；而另一种恰恰相反，是把很平常的东西做到最小。 GPT3自从诞生以来，便受到了学术界、工业界乃至行外大众的夸张式吹捧（我都怕哪天我妈突然让我给她讲GPT3是啥），当然，其中也不乏批评和质疑的声音。不过，本文不讨论GPT3的是是非非，而是讨论另一个相反的极端——边缘计算！用人话讲，你考虑...
神经网络中的偏置项b到底是什么？ 4
前言 很多人不明白为什么要在神经网络、逻辑回归中要在样本X的最前面加一个1，使得 X=[x1,x2,…,xn] 变成 X=[1,x1,x2,…,xn] 。因此可能会犯各种错误，比如漏了这个1，或者错误的将这个1加到W·X的结果上，导致模型出各种bug甚至无法收敛。究其原因，还是没有理解这个偏置项的作用啦。 在文章《逻辑回归》和《从逻辑回归到神经网络》中，小夕为了集中论点，往往忽略掉模型的偏置项...
如何匹配两段文本的语义？ 5
喵喵喵，好久不见啦。首先很抱歉大家期待的调参手册（下）迟迟没有出稿，最近两个月连着赶了4个DDL，整个人都不好了。最近几天终于有时间赶一下未完成的稿子了。在赶DDL的时候夹着写了这篇文章，就先发布这一篇吧～调参手册（下）不出意外的话最近也可以发布啦。 本文由来 一年前在知乎上关注过这么一个问题： 如何判断两段文本说的是「同一件事情」？ - 知乎 https://www.zhihu.com/ques...
开局一段扯，数据全靠编？真被一篇“神论文”气到了 3
看来以后我们看论文的时候，不仅要关心论文成绩的可复现性，还要留意它们的求和、均值、方差等有没有算错，否则真的是“无奇不有”！！ 这篇文章谈一下笔者被前几天出来的一篇“神论文”气到了的经历。 这篇“神论文”是 《How not to Lie with a Benchmark: Rearranging NLP Leaderboards》 ，论文的大致内容是说目前很多排行榜算平均都用算术平均，而它认为几...
如何让BERT拥有视觉感知能力？两种方式将视频信息注入BERT 35
一只小狐狸带你解锁NLP/ML/DL秘籍 老板老板，听说BERT是个瞎子 此话怎讲？ 它能理解语言，但是理解不了小夕的自拍！ video-BERT了解一下 喵喵喵？ AI的三大核心板块（CV/Speech/NLP）近几年都相继取得了非常大的发展和进步。但是正所谓成也萧何，败也萧何，深度学习一直在能力泛化和鲁棒性问题上饱受诟病，通用AI之路遥遥无期。 不过，近期得益于预训练模型的成功，似乎跨模态问题...
NLP哪个细分方向最具社会价值？ 14
让我们来大胆设想一个场景，老板突然发财搞到一笔钱，大手一挥给你五百万，让你去做自然语言处理的研究，你该先研究哪一个细分领域？ 机器翻译好像不错，信息抽取也很必要，对话系统更是 NLP 落地的重要方向。而如何评估这些 NLP 任务的重要程度是一个极其开放的问题，从商业价值应用前景的角度出发是一套评价体系，从科学研究学科贡献角度出发又是另一套排名标准，但如果将我们的高度拔高一点，站在一个社会成员的角度...
全栈深度学习第2期: 开发套件与工具篇 2
一起追剧鸭 简介 Berkeley全栈深度学习追剧计划是由夕小瑶的卖萌屋发起的优质公开课打卡项目，通过微信群为同期追剧的小伙伴提供交流平台。关于该计划的详请见这里。 1. Berkeley深度学习追剧群 目前已有1000+小伙伴加入，公众号后台回复口令 深度学习追剧 入群。 2. 课程主页 https://course.fullstackdeeplearning.com 第2期内容 本期是FSDL...
深度学习资料挑的眼花啦？小夕帮你做选择！ 7
小夕还记得几年前刚入坑的时候，老师给的入门资料就是一堆论文！害的小夕差点放弃。。。 如今深度学习应用的开发成本越来越低，学习资料越来越多，于是对初学者来说进入了另一个相反的困境——资料过多，让人眼花缭乱！哪怕是最最经典、顶尖的公开课。也是有好多门（斯坦福的、coursera的、MIT的、Berkeley的……）。更不必说眼花缭乱的纸质书籍，更更不用说铺天盖地的订阅号（比如夕小瑶的卖萌屋） 如果你正...
震惊！深度学习新手上路葵花宝典问世江湖
这篇综述论文列举出了近年来深度学习的重要研究成果，从方法、架构，以及正则化、优化技术方面进行概述。它对于刚入门的深度学习新手是一份不错的参考资料，在形成基本学术界图景、指导文献查找等方面都能提供帮助。 论文：Recent Advances in Deep Learning: An Overview 论文地址： https://arxiv.org/pdf/1807.08169v1.pdf 或 ...
谈谈怎样提高炼丹手速 4
最近搞定几件焦头烂额的大事后，终于有了一丢丢的时间来写写文章，并且偶尔思考下算法工程师的核心竞争力是什么。 前不久一时兴起写了篇标题党文章《惊了！掌握了这个炼丹技巧的我开始突飞猛进》，简单描述了一下我的升级打怪路线图。后来想了想，发现还有一点极其重要的基本功常常被大家忽略，但确是初级&中级算法工程师之间拉开差距的重要因素，那就是：手速。 手速有什么用呢？ 假如一件事情工程量较大（大型实验 ...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利