机器学习教学大纲

《机器学习》教学大纲《机器学习》教学大纲 英语名称：英语名称：Machine Learning 开课学期：开课学期：第二学年一学期 总学时数：总学时数：54 学时 一、教学对象一、教学对象 本大纲适应于综合大学计算机科学与技术专业研究生 二、教学目的二、教学目的 自从计算机被发明以来，人们就想知道它们能不能学习。如果我们理解了计算机学习的内在机制，即怎样使 它们根据经验来自动提高，那么影响将是空前的。 目前，我们还不知道怎样使计算机的学习能力和人类相媲美。 同时机器学习从本质上又是一个多学科的领域。 它吸取了人工智能、概率统计、计算复杂性理论、控制论、信息论、哲学、生理学、神经生物学等学科的成果。 但是一些针对特定学习任务的算法已经产生。关于学习的理论认识已开始逐步形成。人们开发出了很多实践性的 计算机程序来实现不同类型的学习，一些商业化的应用也已经出现。本课主要针对机器学习这个领域，重点介绍 机器学习中的核心算法和理论，具体描述了多种学习范型、算法、理论以及应用。 三、教学要求教学要求 教学内容本着少而精的原则，突出重点，深入浅出，在重视基础理论的同时，注意培养学生独立思考的能力， 同时注意引导学生用学到的理论来解决本方向中的一些实际的问题，达到为研究生开设这门课的意义和目的。 四、主要教学内容 本课程的讲授分为 8 章 （一）绪论（（一）绪论（4 4 学时）学时） 机器学习的一般原理及相关概念 学习问题的标准描述 设计一个学习系统 选择训练方式 选择目标函数 选择目标函数的表示 选择函数逼近算法 最终的设计 （二）概念学习和一般到特殊序（（二）概念学习和一般到特殊序（4 4 学时）学时） 概念学习的定义和基本方法 概念学习的任务和基本术语（实例，目标概念，训练样例，正例，反例，假设） 归纳学习的方法。 搜索的概念学习。 假设的一般到特殊序 Find-S 算法：寻找极大特殊假设。 变型空间和候选消除算法 学习结果的评价。 （三）决策树学习（（三）决策树学习（6 6 学时）学时） 决策树学习的基本原理、算法和表示法。 属性选择度量标准的基本原理。 基本的决策树学习算法 ID3 决策树学习中的假设空间搜索 决策树学习的归纳偏置 决策树学习的常见问题(过度拟合, 连续值属性等)和常用的处理方法 （修剪， 定义新的离散值属性等） （四）人工神经网络（（四）人工神经网络（6 6 学时）学时） 神经网络的基本原理和表示方法。 感知器的基本原理和训练法则（梯度下降和delta 法则）的基本原理 反向传播算法（BP）和训练法则。 反向传播算法的其它问题：收敛性、局部极小值等。 （五）（五）评估假设（（3 3 学时）学时） 对假设的精度进行经验的评估是机器学习中的基本问题。它包含 估计假设精度（样本错误率、真实错误率、置信区间等） 采样理论基础和方法 学习方法的比较 （六）贝叶斯学习（（六）贝叶斯学习（6 6 学时）学时） 贝叶斯公式的基本原理、先验概率，后验概率的概念。 Brute-Force 贝叶斯概念学习的基本原理和贝叶斯法则的应用 MAP 假设和一致学习器 极大似然、最小描述长度准则和最小误差平方假设原理和应用 贝叶斯最优分类器原理和算法 朴素贝叶斯分类器算法和它在文本分类中的应用 EM 算法的原理、实现和应用 （七）计算学习理论（（七）计算学习理论（3 3 学时）学时） 本章从理论上刻画了若干类型的机器学习问题中的困难，和若干类型的机器学习算法的能力。基本内容 包含： 样本复杂度 （Sample complexity） 、 计算复杂度(Computational complexity)和出错界限 （Mistake bound） 。 可能学习近似正确假设：假设的错误率、PAC 可学习性 有限假设空间的样本复杂度 无限假设空间的样本复杂度 VC 维 （八）基于实例的学习（（八）基于实例的学习（3 3 学时）学时） 基于实例的学习基本原理 k-近邻法算法及实现 距离加权最近邻算法 （九）增强学习（（九）增强学习（3 3 学时）学时） 增强学习基本原理：一个能够感知环境的自治agent，怎样学习选择能达到其目标的最优动作。 学习的任务：获得一个控制策略，以选择能达到目的的行为。 Q-学习算法的原理和实现 其它问题：Q 函数的设计、算法的收敛性、实验策略等 四、考核四、考核 本课程种类考查课，可采取期末书面考查或论文撰写等形式。 五、实践环节（五、实践环节（1616 学时）学时） 实验内容： 利用 java 语言进行编程设计实现下面的算法 决策树算法的设计与实现 人工神经网络（BP 算法的设计和实现） 贝叶斯分类器的设计与实现 K-近邻算法的设计与实现 Q（增强）学习算法的设计与实现 专题讨论（书面或口头形式） 六、教科书六、教科书 《Machine learning》 TOM M. MITCHELL机械工业出版社