机器学习

2011年春季,10-701/15-781

卡内基梅隆大学

米切尔


日期 讲座 话题 阅读资料和有用的链接 讲义
1月11日 ML简介
决策树
幻灯片

视频
  • 机器学习示例
  • 定义明确的机器学习问题
  • 决策树学习
米切尔:第3章
主教:Ch 14.4
这个机器学习学科
 
1月13日 决策树学习

概率复习

带批注的幻灯片

视频
  • 大局
  • 过度拟合
  • 随机变量、概率
安德鲁·摩尔的基本概率教程
主教:第1章至第1.2.3章
主教:Ch 2至2.2
硬件11月14日发布
1月18日
概率与估计

带批注的幻灯片

视频
  • 贝叶斯规则
  • 最大似然比
  • 地图
安德鲁·摩尔的基本概率教程
主教:第1章至第1.2.3章
主教:Ch 2至2.2
1月20日
朴素的贝叶斯

带批注的幻灯片

视频
  • 有条件的独立性
  • 多项式朴素贝叶斯
米切尔:朴素贝叶斯和Logistic回归
1月25日
高斯朴素贝叶斯
幻灯片
带批注的幻灯片

视频
  • 高斯贝叶斯分类器
  • 文件分类
  • 脑图像分类
  • 决策面形式
米切尔:朴素贝叶斯和Logistic回归
HW1到期
HW2输出
1月27日
  • 朴素贝叶斯-大局
  • Logistic回归:条件似然最大化
  • 梯度上升作为一种通用的学习/优化方法
米切尔:朴素贝叶斯和Logistic回归

Ng和Jordan:打开判别分类器和生成分类器,NIPS,2001年。
2月1日
  • 生成/判别模型
  • 最小平方误差和最大数据似然
  • 偏方差分解
  • 正规化
2月3日
实际问题

  • 功能选择
  • 过度拟合
  • 偏差-方差权衡
2月8日
  • 贝叶斯网
  • 用条件独立性假设表示联合分布
HW3输出
2月15日
图形模型2
幻灯片
视频
  • D-分离与条件独立
  • 推断
  • 从完全观察到的数据中学习
  • 从部分观察数据中学习
2月17日
  • 相对长度单位
相对长度单位和HMM教程J.比尔梅斯
2月22日
  • 高斯聚类的混合
  • 学习贝叶斯网络结构-Chow Liu
简介。到图形模型,K.Murphy
图形模型教程,M.乔丹
HW3到期
HW4输出
2月24日
计算型
学习
理论
带注释的幻灯片
视频
  • PAC学习
米切尔:第7章
3月1日
HW4到期
3月3日 中期考试
  • 在课堂上
  • 打开笔记,打开书本,没有互联网
中期
解决方案
3月15日
计算型
学习
理论
带注释的幻灯片
视频
  • 错误的界限
  • 加权多数算法
米切尔:第7章
3月17日
半监督
学习
幻灯片:联合培训
NELL公司
视频
  • 协同培训/多视角学习
  • 永无止境的学习(NELL)
3月22日
隐马尔可夫模型
带注释的幻灯片

  • 马尔可夫模型
  • HMM和贝叶斯网络
  • 其他概率时间序列模型
主教Ch.13
3月24日
神经网络
幻灯片

视频
  • 非线性回归
  • 反向传播和梯度下降
  • 学习隐藏层表示
Mitchell第4章
主教Ch.5
项目建议书到期
3月29日
学习表征I
幻灯片

视频
  • 人工神经网络
  • PCA公司
主教Ch.12至12.1
PCA教程,J.Schlens
SVD和PCA,Wall等人。
3月31日
学习表现II
幻灯片

视频
  • 深度信念网络
  • ICA公司
  • CCA公司
深度信仰网论文、辛顿&萨拉库丁诺夫
CCA教程、M.Borga
4月5日
学习表现III
幻灯片

视频
  • Fisher线性判别
  • 潜在Dirichlet分配
  • 内核函数简介
Bishop Ch.6.1(必填)
Bishop Ch.6.2、6.3(可选)
4月7日
核方法和支持向量机
幻灯片

视频
  • 回归:原形式和对偶形式
  • 核与核回归
  • 支持向量机
主教章6.1
主教Ch.7至7.1.2
4月12日
支持向量机II
幻灯片

视频
  • 最大限度地提高利润
  • 噪声和软边缘支持向量机
  • PAC学习和SVM
  • 铰链损失,对数损失,0-1损失
主教Ch.7至7.1.2 项目中期报告到期
4月14日 今天没有CMU课程
4月19日
主动学习
幻灯片

视频
客座演讲:Burr Settles博士
  • 不确定度采样
  • 委员会质询
结算:主动学习调查
4月21日
计算生物学硕士
幻灯片

视频
嘉宾演讲:Ziv Bar-Joseph教授
4月26日
强化学习I
幻灯片

视频
  • 马尔可夫决策过程
  • 值迭代
  • Q学习
Kaelbling等人:强化学习:一项调查
4月28日
  • 非确定性领域中的Q学习
  • RL作为动物学习模型
  • 期末考试复习
5月6日(星期五) 期末考试
  • 下午1-4点
  • 地点:Gates Hillman 4401
  • 打开笔记,打开书本,没有互联网
最终研究指南