深度学习

Facebook大公开：解决NLG模型落地难题！工业界的新一波春天？ 14

知行编程网人工智能前沿 2年前 (2022-01-29) 13 0

作为NLP领域的“三高”用户（高产、高能、高钞），FaceBook最近（2020年11月）又发表了一篇高水准文章，目前已被COLING-2020接收，号称解决了自然语言生成（NLG）落地的问题：Best Practices for Data-Efficient Modeling in NLG:How to Train Production-Ready Neural Models with Les...

EMNLP'20最佳论文揭晓！八块肌肉=能打电话？！ 7

知行编程网人工智能前沿 2年前 (2022-01-27) 2 0

背景今天上午十点刚刚颁布的EMNLP 2020最佳论文，获奖者是来自UCBerkeley团队的这篇Digital Voicing of Silent Speech。刷了那么多NLP论文，各种pretraining、BERT、XXX-former...是不是都快刷出审美疲劳了？今年的EMNLP best paper绝对耳目一新！!工作研究了一个极具潜在社会影响力的新任务：Silent Speec...

一种自配置的医学目标检测方法

橙子每日Arxiv 2年前 (2022-01-15) 30 0

机器学习如何用于医学图像处理呢？今天橙子姐姐带大家看看深度学习用于肺部数据的检测。医学图像中对象的同时定位和分类，也称为医学对象检测，具有很高的临床相关性，因为诊断决策通常取决于对象的评级而不是例如。像素。对于这项任务，方法配置的繁琐和迭代过程构成了主要的研究瓶颈。最近，nnU-Net 成功地解决了图像分割任务的这一挑战。按照 nnU-Net 的议程，在这项工作中，我们将医疗对象检测的配置过程系...

天天说常识推理，究竟常识是什么？ 9

知行编程网人工智能前沿 2年前 (2022-02-04) 156 0

写这篇文章的时候，我去搜了搜常识的例子。 “睁开眼睛打喷嚏是不可能的。（还真没留意。）““北极熊是左撇子。“”长颈鹿没办法咳嗽。” 呃？好吧，我需要补一补自己的常识。那么这些所谓的“常识”真的是常识吗？关于常识的研究近年来是比较火热的话题，在NLP领域，研究的方向主要有两条线，一是各种benchmark数据集的构建，各种刷榜以测试我们的模型是否具备某些类型的常识；二是常识知识图谱的构建，关注点主...

小哥哥，检索式chatbot了解一下？ 26

知行编程网人工智能前沿 2年前 (2022-01-06) 31 0

1. 扫盲对话的概念很大，从输入形式上分为文本和语音，本文当然只考虑文本。从对话目的上分为任务型对话与非任务型/闲聊型对话。顾名思义，任务型对话就是为了解决任务而进行的对话，比如你让Siri帮你定闹钟、发短信等，而闲聊型对话当然就是human-to-human的正常聊天啦。本文就不讨论任务型对话了，有兴趣的同学可以戳这里扫扫盲，本文聚焦在非任务型对话的多轮对话问题上。要完成对话的建模，目前主要...

基于光谱数据和全连接神经网络的高光谱图像分类

橙子每日Arxiv 2年前 (2022-01-12) 34 0

今天橙子姐姐带大家看看高光谱如何实现分类吧~ 可以观察到，通过使用深度学习方法，可以对一维和二维信号实现高分类性能。在此背景下，大多数研究人员尝试使用深度学习方法对高光谱图像进行分类，这些图像的分类成功率已超过 90%。深度神经网络 (DNN) 实际上由两部分组成：i) 卷积神经网络 (CNN) 和 ii) 全连接神经网络 (FCNN)。 CNN 确定特征时，FCNN 用于分类。在高光谱图像的分...

step-by-step: 夕小瑶版神经网络调参指南（上） 11

知行编程网人工智能前沿 2年前 (2022-01-04) 12 0

距离上一篇文章已经过去好久好久好久啦。闭关几个月后，其实早有继续码文章的打算，先后写了一下核函数与神经网络的一些思考、文本预处理tricks、不均衡文本分类问题、多标签分类问题、tensorflow常用tricks、噪声对比估算与负采样等文章，结果全都半途而废，写了一半然后各种原因丢掉了就不想再接着写。结果电脑里稿子攒了好多，却让订阅号空了这么久。今天终于下定决心必须要码一篇了，下午临时决定写一篇...

BP算法是从天上掉下来的吗？ 10

知行编程网人工智能前沿 2年前 (2021-12-29) 163 0

第二个标题：一般而特殊的前馈神经网络前馈神经网络在文章《逻辑回归到神经网络》（以下简写《LR到NN》）中，小夕为大家描述了一个从逻辑回归延伸到神经网络的过程。在《一般化机器学习与神经网络》中，小夕阐述了神经网络的一般性。这一篇会完全进入神经网络的状态，阐述神经网络的特殊性。其实在《LR到NN》中的这张简单的图，就是本文要讲的前馈神经网络（feed-forward neural netwo...

动手做个DialoGPT：生成式多轮对话模型 3

知行编程网人工智能前沿 2年前 (2022-01-24) 36 0

前段时间刷Arixv的时候，发现清华大学开源了一个大规模的中文闲聊语料库LCCC，从开源的文件上来看，这可能是目前开源的数量最大、质量最好的闲聊语料库了，而且还包含了部分多轮对话聊天，总的来说可玩性还是蛮强的。笔者也被它吸引到了，尝试着用它来训练了一个闲聊对话模型，结果看上去还是不错的，在此分享一下自己的经验。论文名称：《A Large-Scale Chinese Short-Text Con...

谈谈怎样提高炼丹手速 4

知行编程网人工智能前沿 2年前 (2022-02-04) 4 0

最近搞定几件焦头烂额的大事后，终于有了一丢丢的时间来写写文章，并且偶尔思考下算法工程师的核心竞争力是什么。前不久一时兴起写了篇标题党文章《惊了！掌握了这个炼丹技巧的我开始突飞猛进》，简单描述了一下我的升级打怪路线图。后来想了想，发现还有一点极其重要的基本功常常被大家忽略，但确是初级&中级算法工程师之间拉开差距的重要因素，那就是：手速。手速有什么用呢？假如一件事情工程量较大（大型实验 ...