机器学习，10-701和15-781, 2005

汤姆·米切尔和安德鲁·W。摩尔
自动学习和发现中心
计算机科学学院，卡内基梅隆大学

2005年秋季

很难想象会发生什么比自动改进自己的系统更吸引人通过经验实现绩效。机器学习处理从多种类型的经验中学习的计算机算法从机器人探索环境到挖掘已有的资源数据库，以积极探索和挖掘网络。这个本课程旨在让博士生在方法，需要研究的技术、数学和算法学习和数据挖掘，或应用针对目标问题学习或数据挖掘技术。

本课程的主题如下从经典统计，从机器学习，从数据挖掘，来自贝叶斯统计和统计算法。

学生进入课堂具备概率、统计和算法将是一个优势，但该类是这样设计的任何具有强大数学背景的人都可以完全赶上参与。

国际单项体育联合会您在等待名单上：如果现在已完全订阅该类。你可以考虑这个以下选项：

上课的时候就去上课春季学期再次提供
来到前几个讲座和课程介绍发展。我们将从候补名单中录取与我们可以，一旦我们看到有多少注册学生在前两周。

等级讲座:星期二&星期四上午10:30至11:50，Wean Hall 7500启动2005年9月13日星期二

审查会议： 星期四下午5-6点，位置NSH 1305，9月15日星期四开始。助教将涵盖讲座和家庭作业中的材料，并回答您的问题。这些复习课程是可选的（但非常有用！）。

讲师：

汤姆·米切尔，Wean Hall 5309，x8-2611，办公时间：通过Sharon预约Cavlovich，sharon.cavlovich@cmu.edu
安德鲁·摩尔,NSH 3117，x8-7599，办公时间：通过Kristen预约施劳德，kristens@cs.cmu.edu

课程秘书:

莎伦卡夫洛维奇， sharon.cavlovich@cmu.edu ，Wean Hall 5315，x8-5196

教学助理：

吉盟太阳,Wean 5117，x8-3046，办公时间：周四下午3:30-4:30
味精辛格,Wean 5130，x8-3052，办公时间：星期二下午3:30-4:30
迈克斯蒂尔曼,NSH 1612A，x8-7598，办公时间：星期二下午1:00-2:00

教材：

教科书（可选，但强烈建议）： 机器学习,汤姆·米切尔。
其他建议（可选）教科书：图案分类（第二版）,杜达、哈特和斯托克。
其他建议（可选）教科书：神经模式识别网络,克里斯·毕晓普（Chris Bishop）。
额外的读数视情况提供。

分级：

最终成绩将以期中考试（20%）、家庭作业（30%）、期末专题（20%）和期末考试(30%).

迟到家庭作业政策：

你总共允许2个整个学期未被罚款的迟到天数。你可能会在两个不同的作业上迟到1天，或在上迟到2天一个家庭作业。一旦使用了这些天，你将受到相应的惩罚符合以下政策：

作业值得做在到期日开始上课时获得学分。
它值一半的学分接下来的48小时。
它值零学分之后。

你必须交出所有为了通过这门课，即使是零学分的家庭作业。
交所有迟交的作业分配给莎伦·卡夫洛维奇

作业重新分级策略：

如果你觉得我们已经批改作业时出错，请用书面的 解释我们会考虑你的要求。请注意，重排作业可能会使你的成绩提高或向下。

协作关于作业：

将完成作业每个学生必须提交自己的答案。它是然而，学生可以合作找出回答并相互帮助解决问题。我们假设作为博士生，你将学习亲自了解解决方案的责任任何由这种合作产生的工作，并将写下你自己的最终解决方案。你必须写下来每个家庭作业都要写下与你一起学习的学生的名字合作。

课程项目：

项目指导（2005年11月10日发布）
数据集集合（2005年11月10日发布）

考试：

将有一次期中考试考试和期末考试。两者都会打开书本，打开笔记。不允许使用计算机。
期末考试日期： 十二月19 8:30-11:30上午HH B103和HHB131（Hammerschlag大厅） (我们不可能满足个人的要求重新安排决赛。确保在制定时考虑到这一点寒假旅行计划。
最终审查注释：迈克的幻灯片

家庭作业：马上就来！

实验性的授课时间表：

模块	日期	讲座主题和阅读	讲师	家庭作业
可选预热	清华大学9月8日	可选讲座：一些基本知识的热身复习可能性概念。讲座：基本概率	摩尔
概述和机器学习算法	图9月13日	机器学习，功能近似，决策树学习阅读：机器学习，第章3、决策树讲座：机器学习与决策树（pdf格式）	米切尔
审查概率，最大似然估计，MAP估计	Th（第个）9月15日	快速游览概率中有用的概念讲座：第1部分,第2部分,第3部分背诵1：幻灯片	摩尔	硬件1 pdf格式邮政总局更正解决
	图9月20日	MLE公司和MAP估计讲座：幻灯片	摩尔
线性的模型	Th（第个）9月22日	线性回归和基本函数讲座：幻灯片	摩尔
天真贝叶斯	图9月27日	贝叶斯主义者分类器，天真贝叶斯分类器、MLE和MAP估计演讲幻灯片：朴素的贝叶斯要求的读数：天真贝叶斯和Logistic回归	米切尔	硬件1由于硬件2 pdf格式列车-1.txt 测试-1.txt 布洛特·高斯。米解决
物流回归，回归判别模型和生成模型	Th公司9月29日	后勤回归、生成和区分分类器，最大化条件数据似然、MLE和MAP估计。讲座幻灯片：物流回归，回归要求的读数：天真贝叶斯和Logistic回归可选读数：打开歧视性的和生成分类器，吴和Jordan，NIPS，2001年。	米切尔
非线性模型神经网络	图 10月4日	神经网络和梯度下降讲座幻灯片：神经的网络要求读数：机器学习第4章可选阅读：主教第9.1、9.2章	米切尔
	Th（第个） 10月6日	交叉验证和基于实例的学习演讲幻灯片：过盈基于实例读数：机器学习第章4. 对于工作示例关于使用梯度下降的交叉验证，请参阅以下文件（尤其是附录）：基于内存学习,C.G.Atkeson，基于记忆的连续逼近方法非线性建模和预测研讨会，新墨西哥州圣达菲，1990年9月17日至21日有关更多信息关于局部加权方法，请参见本地加权学习	摩尔	硬件2由于
高斯混合物模型	图 10月11日	交叉验证（续）	摩尔
	Th（第个） 10月13日	没有演讲
中期考试 (解决)	图 10月18日	盖子到目前为止的一切。打开书本，注意事项。关闭计算机。早上10:30准时来上课。然后您将有80分钟的时间回答六个最简短的问题以及截至10月11日（含）的读数。我们强烈建议您练习使用以前的考试，所以你知道会发生什么。试着先做前面的考试，然后再看解决方案。你可以在课堂上看笔记，但是不要依靠这个因为除非你足够熟悉你不需要查找就可以完成问题的材料技术。此外，为了帮助准备，将在复习课上进行复习会议将于10月13日星期四下午5点举行，届时将对10月17日星期一，NSH 1305，下午6点至晚上7点30分。上一个实践考试。		项目到期的提案
计算型学习理论	Th（第个） 10月20日	PAC公司学习I：样本复杂性，不可知论学习阅读：机器学习第7章上的幻灯片PAC学习	米切尔	硬件3 ds2.txt文件解决方案
	图 10月25日	PAC学习II：风险投资维度、SRM、错误界限阅读：机器学习,第7章上的幻灯片V尺寸和错误界限	米切尔
保证金基于基础的方法	Th（第个） 10月27日	SVM、，果仁，和优化方法阅读：伯吉斯教程	摩尔	复习HW3
图形化模型	图 11月1日	贝叶斯网：表示，条件独立幻灯片在贝叶斯网络，带批注的幻灯片阅读：加赫拉马尼辅导的（阅读第2节）	米切尔	硬件3由于
	Th（第个） 11月3日	贝叶斯网：推理、变量消除等。演讲注释1,注释2	摩尔	背诵
	图 11月8日	贝叶斯网：学习参数和结构（完全观测数据，并开始EM）	戈登堡
电磁阀和半监督学习	Th（第个） 11月10日	贝叶斯EM高斯网络与高斯混合幻灯片	米切尔
HMM（HMM）	图 11月15日	隐马尔可夫模型：表示和学习演讲笔记和注释注释阅读（您应该仔细查看前八个侧面）	摩尔
时间系列模型	Th（第个） 11月17日	图形化模型：更多概述属于图形范畴的高级概率模型模型。本讲座定义并讨论特定实例，例如作为卡尔曼滤波器、无向图和动态贝叶斯网络	戈登堡	最终项目报告到期
	周一11月21日	项目海报会议：下午4点至6点30分，在纽厄尔-西蒙大厅中庭		项目壁报展示
维度减少	图 11月22日	维度减少：功能选择、PCA、SVD、ICA、Fisher鉴别的幻灯片	米切尔
	图 11月29日	高级主题：机器学习和文本分析幻灯片	米切尔	硬件4 缺少.csv EM注释推理注释解决
马尔可夫模型	Th（第个） 12月1日	马尔可夫决策过程：预测不确定世界中的决策结果。	摩尔
	图 12月6日	钢筋学习：学习政策在不确定的世界中最大化预期的未来回报。带注释的幻灯片第页标题：机器学习第13章	摩尔
	Th（第个） 12月8日	缩放比例：一些Andrew最喜欢的数据结构和算法统计机器学习。	摩尔	硬件4由于
最终考试	星期一12月19日	12月19 8:30-11:30 a.m，位于HH B103和HH B131（Hammerschlag大厅）。无法重新安排。打开书本，打开笔记，关闭计算机。		HMM/MDP审查尺寸缩减隐马尔可夫模型

早期版本的网页本课程的版本：（包括以下示例期中考试，家庭作业问题,...)

课程网站（本页）：

http://www.cs.cmu.edu/~awm/10701
更正或评论孙继萌.

注释给外面的人CMU（中央计量单位）：拜托请随意重复使用您发现有用的任何课程材料在你自己的课程中。我们要求您保留任何版权通知，包括书面通知，指明任何您使用的材料。

机器学习，10-701和15-781, 2005

2005年秋季

日期

讲座主题和阅读

图9月13日

机器学习，功能近似，决策树学习

图9月20日

图9月27日