想不出深度学习创新点？让AI七剑客来帮你吧！ 8
21世纪是人工智能的风口，越来越多的人把深度学习当作未来就业的方向。但是随着AI的不断内卷，研究生毕业的要求也越来越高，很多的研究生因为想不出论文的创新点而无法毕业！ 找学长学姐帮忙，但是深度学习的专业性太强，学长学姐有时候也不一定能搞定，这时候会想“要是有人可以帮帮我好了”，那么，“AI七剑客”就是你的不二选择啦！ 一、关于AI七剑客 顾名思义，我们是由七人组成的团队，成员来自于国内外顶尖学府的...
千呼万唤始出来——GPT-3终于开源！ 5
GPT3终于开源！不过，不是官方开的（别打我 Eleuther AI推出的名为GPT-Neo的开源项目，于今晨4点于twitter正式宣布：已经开源了复现版GPT-3的模型参数（1.3B和2.7B级别），并将其更新在Colab notebook之上。需要指出的是这次开源的模型里较大的那个版本也只是到了GPT-3商用版里最小模型的参数量，不过Eleuther AI表示未来会进一步开源10B版本和原始...
别再Prompt了！谷歌提出tuning新方法，强力释放GPT-3潜力！ 18
如果评选NLP圈的2020年度十大关键词，那么GPT-3（Language Models are Few shot Learners) 一定榜上有名。 GPT-3庞大的参数量，优异的性能至今仍让圈内圈外人都津津乐道，而OpenAI发布的OpenAI API，更是为自然语言处理技术的大规模可扩展商业应用提供了一个极有前景的方向。不过，作为NLP研究者，我认为GPT-3对前沿研究的最大贡献是，展现了 ...
互联网大厂CTR预估前沿进展 49
前言 CTR（click through rate）预估模型是广告推荐领域的核心问题。早期主要是使用LR（线性回归）+人工特征工程的机器学习方法，但是存在人工组合特征工程成本较高，不同任务难以复用的问题。后来随着FM因子分解机的出现，提出了使用二阶特征自动交叉的方法，缓解了人工组合特征的难题。之后2014年Facebook使用GBDT+LR方案，提出了树模型构建组合特征的思路。2015年后，由于深...
陈丹琦“简单到令人沮丧”的屠榜之作：关系抽取新SOTA！ 5
大家好，我是卖萌屋的JayJay，好久不见啦～ 最近在「夕小瑶@知识图谱与信息抽取」群里和群友交流时，JayJay发现了来自陈丹琦大佬（女神）的一篇最新的关系抽取SOTA《A Frustratingly Easy Approach for Joint Entity and Relation Extraction》，光看题目就让人眼前一亮：是啥子简单方法，让实体关系的联合抽取方法“沮丧”了？ 仔细阅...
BP算法是从天上掉下来的吗？ 10
第二个标题：一般而特殊的前馈神经网络 前馈神经网络 在文章《逻辑回归到神经网络》（以下简写《LR到NN》）中，小夕为大家描述了一个从逻辑回归延伸到神经网络的过程。在《一般化机器学习与神经网络》中，小夕阐述了神经网络的一般性。这一篇会完全进入神经网络的状态，阐述神经网络的特殊性。 其实在《LR到NN》中的这张简单的图，就是本文要讲的前馈神经网络（feed-forward neural netwo...
天天说常识推理，究竟常识是什么？ 9
写这篇文章的时候，我去搜了搜常识的例子。 “睁开眼睛打喷嚏是不可能的。（还真没留意。）““北极熊是左撇子。“”长颈鹿没办法咳嗽。” 呃？好吧，我需要补一补自己的常识。那么这些所谓的“常识”真的是常识吗？ 关于常识的研究近年来是比较火热的话题，在NLP领域，研究的方向主要有两条线，一是各种benchmark数据集的构建，各种刷榜以测试我们的模型是否具备某些类型的常识；二是常识知识图谱的构建，关注点主...
多模态为什么比单模态好？第一份严谨证明来了！ 15
面试官: 听说你对多模态感兴趣，请问为什么多模态学习要比单模态学习效果好？ 候选人: 直观地，多模态学习可以聚合多源数据的信息，使得模型学习到的表示更加完备。以视频分类为例，同时使用字幕标题等文本信息、音频信息和视觉信息的多模态模型要显著好于只使用任意一种信息的单模态模型，这已经被多篇文章实验验证过。 面试官: 直觉+实验是老生常谈了，我听过很多次了，有没有更严谨一些的证明？ （候选人内心语：面试...
测试集没标签，可以拿来测模型吗？ 10
背景 正常情况下，我们可以用一个带标签的数据集来测试分类器的表现（称之为测试集）。然而，现实中，因为种种因素的制约（标注成本高、标注难度大等 Google：穷人不配搞机器学习），很多场景下难以求得一个规模大、标注正确率高、采样无偏的测试集。而采用人工评估的方式，往往耗时耗力，且方差极大，结果对机器学习模型的迭代速度产生了很大的制约。 由此，本文提出了 自动模型评估（AutoEval） ——目标是...
如何与深度学习服务器优雅的交互？ 14
有没有想到小夕今天会发文章呢？(￣∇￣)有木有超级想小夕呢(￣∇￣) 小夕在前面写了一堆纯理论和半理论的文章，不要怕，这次来一篇纯工程的tricks集合！ 如果有人问小夕："小夕，要是人工智能的就业岗位一夜之间消失了，你会去转行做什么呢？" 答曰："当然是去做Linux运维啊23333" 小夕有一台自己负责的GPU服务器，她可让小夕操碎了心呐。最近好不容易把这娇气的小公举拉扯大了，下面就向各位服务...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利