不要再纠结卷积的公式啦！0公式深度解析全连接前馈网络与卷积神经网络 11
Hello~你们的小夕终于吐泡泡了～前几天小夕又加班赶project啦，拖了好几天，都快患上拖稿焦虑症了_(:з」∠)_ 关于卷积神经网，小夕就不从卷积讲啦。以前不止一个粉丝问我卷积神经网络中卷积的意义，甚至在知乎上被邀请回答一个“卷积神经网络为什么不叫互相关神经网络”的类似的奇怪问题，终于忍不住，还是赶紧把CNN写了吧（说的自己要去拯救世界了一样(//∇//) 我们还是从前面更简单的机器学习mo...
谷歌、CMU发文：别压榨单模型了！集成+级联上分效率更高！ 8
集成模型（Ensemble）可以提升模型的精度，但往往面临提升计算量的困境，用级联模型（Cascade）在预测时提前中断则可解决计算量的问题。最近，谷歌和CMU的研究者对此进行了深入的分析，他们比较了常见深度神经网络在图像任务上集成学习的效果。他们提出，通过多个轻量级模型集成、级联可以获得相比单个大模型更高效的提分方案。 目前大家大都通过设计模型结构，或是暴力扩大模型规模来提升效果，之后再通过模型...
ACL2020 | 基于Knowledge Embedding的多跳知识图谱问答 6
一只小狐狸带你解锁 炼丹术&NLP 秘籍 背景 什么是知识图谱问答？ 知识图谱（KG）是一个多关系图，其中包含数以百万计的实体，以及连接实体的关系。知识图谱问答（Question Answering over Knowledge Graph, KGQA）是利用知识图谱信息的一项研究领域。给定一个自然语言问题和一个知识图谱，通过分析问题和 KG 中包含的信息，KGQA 系统尝试给出正确的答案...
我拿乐谱训了个语言模型！ 7
最近在刷EMNLP论文的时候发现一篇非常有趣的论文《Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models》，来自斯坦福大学NLP组。论文有趣的发现是让语言模型先在乐谱上进行训练，再在自然语言上训练可以有效的提升语言模型的性能。在看了一大堆BERT-based的模型...
恕我直言，你的实验结论可能严重依赖随机数种子！ 17
God does not play dice with the universe ...... But BERT Does ! 包括BERT在内的预训练模型已经是现今NLP工作的标配。但你有没有考虑过，这些工作的实验结论可能都是虚假的？在 Bertology 中，大家从 huggingface 上下载 Google 训好的模型，在精调中结合改进，并应用于下游任务。所有的工作都是基于一组特定的初始化...
禁术级竞赛刷分技巧：找到跟测试集最接近的有标签样本
不管是打比赛、做实验还是搞工程，我们经常会遇到训练集与测试集分布不一致的情况。一般来说我们会从训练集中划分出来一个验证集，通过这个验证集来调整一些超参数[1]，比如控制模型的训练轮数以防止过拟合。然而，如果验证集本身跟测试集差别比较大，那么验证集上很好的模型也不代表在测试集上很好，因此如何让划分出来的验证集跟测试集的分布差异更小一些，是一个值得研究的题目。 为什么分布不一致 首先，明确一下本文所考...
视频问答兴起，多跳问答热度衰退，92篇论文看智能问答的发展趋势
2019年的时候，舒意恒Y.Shu整理了一份《2019年，智能问答有哪些研究方向？》，如今2020年已经过去了一半，该领域的研究趋势发生了一些有趣的变化。于是Y.Shu继续为大家整理了今年ACL、AAAI、IJCAI、SIGIR、CVPR、ICML、KDD等顶级会议上智能问答方向的92篇论文，进行了分方向梳理，并为大家打包了这92篇的论文PDF挂在订阅号后台方便大家下载。 在智能问答涉及的各个小方...
谈谈怎样提高炼丹手速 4
最近搞定几件焦头烂额的大事后，终于有了一丢丢的时间来写写文章，并且偶尔思考下算法工程师的核心竞争力是什么。 前不久一时兴起写了篇标题党文章《惊了！掌握了这个炼丹技巧的我开始突飞猛进》，简单描述了一下我的升级打怪路线图。后来想了想，发现还有一点极其重要的基本功常常被大家忽略，但确是初级&中级算法工程师之间拉开差距的重要因素，那就是：手速。 手速有什么用呢？ 假如一件事情工程量较大（大型实验 ...
全球44家机构，55位大佬，历时两年，打造最强NLG评测基准！ 14
（大家好，我是已经鸽了夕总仨月没写文章了的小轶（yì）！新的一年一定改过自新，多读paper多写稿，望广大读者敦促(ง •̀_•́)ง） 今天要和大家分享的是卖萌屋学术站上的本月最热paper。何以最热，看它头上顶了多少大厂tag大概就知道了： 点开paper以后，小铁我更是直呼好家伙..... 超长author list——55位作者众星云集，来自共计全球44家不同机构。并且，在paper末尾更...
如何与深度学习服务器优雅的交互？ 14
有没有想到小夕今天会发文章呢？(￣∇￣)有木有超级想小夕呢(￣∇￣) 小夕在前面写了一堆纯理论和半理论的文章，不要怕，这次来一篇纯工程的tricks集合！ 如果有人问小夕："小夕，要是人工智能的就业岗位一夜之间消失了，你会去转行做什么呢？" 答曰："当然是去做Linux运维啊23333" 小夕有一台自己负责的GPU服务器，她可让小夕操碎了心呐。最近好不容易把这娇气的小公举拉扯大了，下面就向各位服务...
-
2023-01-15
-
2023-01-14
-
2023-01-14
-
2023-01-14
-
2023-01-14
推广返利