深度学习理论综述

龙源期刊网 深度学习理论综述 作者：韩小虎徐鹏韩森森 来源：《计算机时代》2016 年第 06 期 摘 要： 深度学习是机器学习研究中的一个新领域，其动机在于建立、模拟人脑进行分析 学习的神经网络，模仿人脑的机制来解释数据。目前深度学习在智能识别方向具有很强的优越 性。文章主要介绍了深度学习的基本理论、常用模型和开发平台。 关键词： 深度学习； 机器学习； 特征表示； 工具 中图分类号：TP399 文献标志码：A 文章编号：1006-8228（2016）06-107-04 Abstract： Deep learning is a new field in the research of machine learning， whose motivation is to build and simulate the neural network， with which the human brain analyzes and studies， and simulate the mechanism of human brain to interpret the data. At present， deep learning has a strong advantage in the direction of intelligent identification. This paper mainly introduces the basic theory ， common models and development plats of deep learning. Key words： machine learning； deep learning； feature expression； tool 0 引言 神经网络的历史最早可以追溯到上世纪的40年代，在 20世纪 80年末期，Rumelhart、 Hinton和 Williams在《自然》（Nature）上发表了用于人工神经网络的BP（Back- Propagation，反向传播）算法[1]，掀起了一阵机器学习的浪潮，但是由于各种原因，神经网络 被许多学者放弃。 20世纪 90年代，更多的学者开始采用浅层机器学习模型，例如SVM（Support Vector Machines，支持向量机），最近邻等分类器，Boosting等。这些模型都取得了巨大成功，但是 同时由于理论分析难度大，训练方法复杂，这个时期神经网络陷入了沉寂。 自 2006年以来，深度学习领域取得了突破性进展，人工智能的实现，不再是那么遥不可 及的事情了。至于技术手段，在依赖云计算对大数据的并行处理能力的基础上，更加依赖一个 算法，这个算法就是深度学习，通过这个方法，人们终于知道如何处理抽象概念这个难题。 深度学习的概念最早由机器学习领域的泰斗、多伦多大学G.E.Hinton教授提出[2]，之后 在各大领域有了飞速的发展。2012年，由 Hinton教授带领的深度学习团队在ImageNet图像分 类大赛中取得了优胜，其准确率超过了第二名10%以上，引起了计算机视觉领域的极大震动， 再一次掀起了深度学习的浪潮。同年6月，Google被披露出 Google Brain计划，这个项目由斯 坦福大学的机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家JeffDean共