深度学习教学大纲

深度学习 一、课程说明一、课程说明 课程编号 092115Z10 课程名称（中/英文） 深度学习/Deep Learning 课程类别选修 学时/学分32/2 先修课程机器学习、线性代数、概率论与数理统计、高等数学、计算机程 序设计基础 适用专业大数据、计算机科学与技术、智能科学与技术、物联网工程、信 息安全 教材、教学参考书 [1] 台湾大学Machine Learning and having it deep and structured. 毅 http//speech.ee.ntu.edu.tw/tlkagk/courses_MLDS17.html [2] Deep Learning. Ian Goodfellow，Yoshua Bengio，and Aaron Courville （著）. MIT, 2017 [3] 机器学习. 周志华（著）. 清华大学出版社, 2016 [4] 深度学习原理与应用实践. 张重生（著）. 电子工业出版社, 2016 [5] Deep Learning A Practitioners Approach. Adam Gibson and Josh Patterson （著）. OReilly Media, 2017 [6] 深度学习儿方法与应用. 邓力, 俞栋（著） ， 谢磊 译）.机械工业 出版社, 2016 [7] 神经网络与深度学习. 吴岸城 （著）. 电子工业出版社,2016 二、课程设置的目的意义二、课程设置的目的意义 本课程是为大数据专业设立的拓展知识体系的专业选修课。 深度学习是人工 智能特别是机器学习领域近几年兴起的一个研究热点， 主要是研究如何利用多层 次的深度人工神经网络运用模块化思想自动的学习数据的特征的一种端到端机 器学习模式。 课程设置的目的是让学生了解深度学习这一机器学习和大数据分析 前沿研究领域， 从而一方面训练学生的科研思维能力，另一方面为学生在机器学 习、大数据分析等领域的创新实践提供创新思维训练。 三、课程的基本要求三、课程的基本要求 知识 掌握单个神经元与逻辑回归的对应关系，以及前向全连通神经网络基 本架构； 理解深度神经网络的模块化思想；掌握深度学习在训练和测试阶段进行 分别优化的技巧（如自适应学习率、正则化、 Dropout 等） ；掌握卷积神经网络基 本思想并学会灵活运用；理解和掌握词嵌入、自编码器、迁徙学习等无监督学习 的基本原理；掌握结构化学习的基本概念、原理和框架，并结合循环神经网络进 第 1 页/ 共 6 页 一步理解结构化学习的理念；了解和掌握深度强化学习的基本概念和方法。 能力能够熟练掌握深度学习开发工具（如TensorFlow）的框架，并能够基 于深度神经网络设计和实现深度学习应用； 能够根据卷积神经网络的 3 个属性灵 活运用卷积神经网络到不同类型的机器学习任务；能够运用词嵌入、自编码器、 迁徙学习等技术完成各类无监督学习的训练任务； 能够运用循环神经网络完成训 练机器翻译等结构化学习的任务。 素质建立深度学习基于框架的商业软件开发观念，通过课程中的演示、交 互、讨论培养表达、归纳、分析、沟通、交流等素质，通过课程学习及课程项目 建立深度学习技术到应用的思维模式， 提升理解工程管理与经济决策的基本素质。 通过课外导学的模式，提升自主学习和终身学习的意识，形成不断学习和适应发 展素质。 四、教学内容、重点难点及教学设计四、教学内容、重点难点及教学设计 章节章节教学内容教学内容 总总 学学 时时 学时分配学时分配 讲课讲课 实实 含研含研 践践 讨讨 教学重点教学重点 教学教学 难点难点 教学方案设计（含教学教学方案设计（含教学 方法、教学手段）方法、教学手段） 第 1 章绪论220 第 2 章 神经元与逻 辑回归 22 最大似然 估计与交 叉熵；逻 辑回归与 2 分类的区 （ 别 和 联 课 系；单个 外 神经元与 逻辑回归 的对应关 系 从深度学习的发展历 程出发，介绍深度学习 的基本概念和思想，然 后通过对各种类型的深 度神经网络典型应用的 介绍，形成对深度学习 这一前沿领域的初步认 识。 教学思路从逻辑回归 和分类的区别和联系出 发，引出生成模型和判 Sigmoid别模型的区别和关联， 函数的数引出 sigmoid 和 softmax 学推导；函数的物理意义；从逻 生成模型辑回归的局限性引出逻 和判别模辑回归和单个神经元的 型 的 区关联，并说明层次化连 别；交叉接多个神经元的必要 熵与方差性。 用在逻辑教学模式课堂内知识 回归上的讲授和课堂内学生回答 区别问题，并结合实际动手 操作；1.5 学时课程讲 授； 0.5 学时课堂回答问 题；2 学时课外作业。 第 2 页/ 共 6 页 章节章节教学内容教学内容 总总 学学 时时 学时分配学时分配 讲课讲课 实实 含研含研 践践 讨讨 教学重点教学重点 教学教学 难点难点 教学方案设计（含教学教学方案设计（含教学 方法、教学手段）方法、教学手段） 教学思路首先通过前 向神经网络来理解深度 神经网络的基本框架， 再通过浅层和深层神经 网络（相同数量级的参 数）的性能对比引出深 层神经网络的模块化思 想，从而说明加深网络 层数的益处。 教学模式课堂内知识 讲授和课堂内学生回答 问题，并结合实际动手 操作；1.5 学时课程讲 授； 0.5 学时课堂回答问 题；2 学时课内实验。 教学思路首先说明深 度学习训练和测试的基 本流程，并说明初学者 容易在训练效果不太好 的时候就归罪于过拟合 是有其片面性的，并由 此引出分别针对训练和 测试阶段的效果不好的 问题而推荐使用的一些 技巧。 教学模式课堂内知识 讲授和课堂内学生回答 问题，并结合实际动手 操作；1.5 学时课程讲 授； 0.5 学时课堂回答问 题；2 学时课外作业。 教学思路首先介绍使 用 CNN来识别图像的3 个主要原因，并由此引 出 CNN 的基本框架， 以 及框架中卷积和池化这 两个模块所具备的特性 是如何对应上述 3 个原 因的，最后再介绍卷积 和池化的具体细节。在 此基础上，介绍各种解 释 CNN 隐含层所学内 容的方法，以及图像之 外的一些 CNN 应用。 教学模式课堂内知识 讲授和课堂内学生回答 问题，并结合实际动手 操作；1.5 学时课程讲 授； 0.5 学时课堂回答问 题；2 学时课内实验。 深度学习框 第 3 章架及模块化 思想 42 2 （ 课 内 实 验） 掌握深度 神经网络 的基本框 架；理解 深度学习 模块化思 想 对深度学 习模块化 思想的理 解；理论 知识的实 践运用 第 4 章 深度学习训 练技巧 22 自适应学 习率 （Momen tum 等） 、 Dropout 的思想与 2具 体 流 （程，及其 课与 外） Ensemble 的联系； Early Stopping; Batch Normaliz ation 梯度消失 问 题 ； Maxout 与ReLu 的关系； L1 与 L2 正则化的 本 质 区 别； Dropout 测试阶段 权重乘以 系数背后 的原