三位科学家的主要贡献
今年图灵奖获得者在人工智能技术方面取得重大突破的技术成果包括但不限于:
Geoffrey Hinton
反向传播:1986年,Hinton与David Rumelhart 和 Ronald Williams 合作发表了一篇里程碑式的论文《Learning Internal Representations by Error Propagation》,他们通过实验验证了,反向传播算法可以在神经网络的隐藏层中学习到对输入数据的有效表达,现在,反向传播算法已广泛应用在各式各样的神经网络中。
玻尔兹曼机:1983年,Hinton与Terrence Sejnowski一起发明了Boltzmann机,这是第一批能够学习神经元内部表征的神经网络之一。
卷积神经网络的改进:2012年,Hinton和他的学生Alex Krizevsky 和Ilya Sutskever 一起,改进了卷积神经网络,引进了 rectified 线性神经元和dropout正则化。在Imagenet竞赛中,Hinton和他的学生几乎将目标识别的错误率减半,并重塑了计算机视觉领域。
Yoshua Bengio
序列的概率模型:20世纪90年代,Bengio将神经网络与序列的概率模型(如隐马尔可夫模型)结合起来。这些想法被纳入AT&T/NCR用于阅读手写检查的系统中,在20世纪90年代被认为是神经网络研究的顶峰,现代深度学习语音识别系统正在扩展这些概念。
Word Embeddings和注意力模型:2000年,Bengio写了一篇里程碑式的论文,“神经概率语言模型”,介绍了高维嵌入作为词义的表示。Bengio的见解对自然语言处理任务(包括语言翻译、问答和视觉问答)产生了巨大而持久的影响。他的小组还介绍了一种注意力机制的形式,这导致了机器翻译的突破,并形成了带深度学习的顺序处理的关键部分。
生成对抗网络:自2010年以来,Bengio关于生成性深度学习的论文,特别是与Ian Goodfellow共同开发的生成对抗性网络(GANs),引发了计算机视觉和计算机图形学的革命。计算机从此可以生成图像,赋予了其创造力。
Yann LeCun
卷积神经网络:20世纪80年代,LeCun发明了卷积神经网络,这是该领域的基本模型,它对于提高深度学习的效率至关重要。上世纪80年代末,在多伦多大学和贝尔实验室工作时,LeCun是第一个在手写数字图像上训练卷积神经网络系统的人。如今,卷积神经网络已成为计算机视觉以及语音识别、语音合成、图像合成和自然语言处理的行业标准。它们被广泛应用于各种应用,包括自动驾驶、医学图像分析、语音激活助手和信息过滤等等。
改进反向传播算法:Lecun提出了早期版本的反向传播算法,并基于变分原理对其进行了清晰的推导。他的工作加快了反向传播算法,从而加快了学习速度。
— 完 —
为您推荐
谁都能看懂的神经网络教程:从原理到优化如此简单
还记得吗?那些最基础的机器学习知识。
18 个 Python 高效编程技巧,Mark!
机器人骚扰电话?别惹程序员!
中文!台大李宏毅机器学习公开课2019版上线
本篇文章来源于: 深度学习这件小事
本文为原创文章,版权归知行编程网所有,欢迎分享本文,转载请保留出处!
内容反馈