CS194-26/294-26：计算机视觉和计算摄影入门 计算机科学部 加州大学伯克利分校

教练： 阿列克谢（阿利奥莎）埃夫罗斯（办公时间：课后)
GSI：哲曹（办公时间：周五上午9点至10点）
导师：Chenyue Cai（办公时间：周一上午8点至9点，电子邮件：Chenyue_Cai[at]berkeley[at]edu），Kenny Chen（上班时间：周三上午9点至10点，电子邮件地址：kenchen10[at]berkeley[at]edu]，Yibin Li（办公时间为周四晚上11点至12点，电子邮件号码：liyibin516[at]berkeley[at]edu），以及紫罗兰·姚（办公时间：周二下午1点至2点，电子邮件：violetyao[at]berkeley[at]edu）。
读者：Justin Wang（电子邮件：justinnyiwang[at]berkeley[at]edu）
大学单位：4
学期：2020年秋季
网页： http://inst.eecs.berkeley.edu/~cs194-26/fa20/
问答： 广场课程网站
位置：远程（缩放链接张贴在广场上）
时间 :MW下午5:00至下午6:30

先决条件：
这是一门以项目为导向的课程，因此具有良好的编程能力（至少CS61B型)是绝对必要的。此外，熟悉线性代数(数学54或EE16A/B标准或者Gilbert Strang的在线班)和微积分至关重要。神经网络经验（例如。CS189号)是一个加号。对于这些服用CS294-26型，注册需征得讲师同意（请先在等候名单上注册）。

课程描述：
这门高级本科课程的目的是向学生介绍使用视觉数据（图像和视频）进行计算。我们将介绍数字照片中视觉信息的获取、表示和处理（图像处理），图像分析和视觉理解（计算机视觉）以及图像合成（计算摄影）。将介绍从经典（如高斯和拉普拉斯金字塔）到现代（如ConvNets、GAN）的关键算法，强调使用这些技术构建实际系统。这种实践性的强调将反映在编程作业中，学生将有机会获得自己的图像，并在很大程度上从头开始开发用于解决应用程序的图像分析和合成工具。

编程分配：

项目1：俄罗斯帝国——给普罗库丁·戈尔斯基照片收藏

查看学生提交的资料在这里

班级选择奖： 索拉夫·米塔尔

项目2：带过滤器和频率的乐趣

查看学生提交的资料在这里

班级选择奖：王莎莎

项目3：面部变形和照片集建模

查看学生提交的资料在这里

班级选择奖： 索拉夫·米塔尔,阿波罗·托莫普洛斯

项目4：基于神经网络的人脸关键点检测

查看学生提交的资料在这里

Kaggle优胜者：凯文·林
班级选择奖：索拉夫·米塔尔

项目5：（自动）缝合和照片马赛克

查看学生提交的资料A部分 B部分

班级选择奖：阿波罗·托莫普洛斯

最终项目

查看学生提交的资料预先罐装的 自己提议的

文本手册：
我们将不严格地使用Rick Szeliski的新第二版计算机视觉教科书。最新的草稿已备妥教科书的网站。如果你发现一个错误或打字错误，请给Rick发电子邮件，让他有机会在完成的书中得到确认！第一版仍在书店里，但它缺少了一些重要的东西，比如关于卷积神经网络的讨论。

那里是您可以使用的许多其他精细文本一般参考：

计算机视觉：一种现代方法(2^第版本），福塞斯和庞塞（经典计算机视觉文本）
视觉科学：光子到现象学，斯蒂芬帕尔默（关于人类视觉的伟大著作感知）
数字图像处理，第二版，Gonzalez and Woods（良好的通用图像处理文本）
线性代数及其应用，吉尔伯特斯特朗 （一本关于线性的真正精彩的书代数）

船级社注释
老师非常感谢大量的研究人员使他们的幻灯片可用于本课程。 史蒂夫·塞茨和里克塞利斯基我特别好心地让我使用他们精彩的演讲笔记。 此外，我想感谢保罗德贝维奇,斯蒂芬·帕尔默,保罗赫克伯特,大卫·福赛斯,史蒂夫马施纳以及其他，如幻灯片中所述。 这个讲师很乐意允许使用和修改任何学术幻灯片和研究目的。然而，请确认原始来源在适当的情况下。

暂定等级表：

课程日期	主题	材料
8月26日	介绍	幻灯片：pdf格式,pptx公司 摄影如何成为一种艺术形式通过阿伦·赫兹曼
8月31日	捕获光。。。人与机器	幻灯片：pdf格式,pptx公司
9月2日	点处理	Szeliski第二章 幻灯片：pdf格式,幻灯片演示文件
9月9日	图像处理滤波I	启动Szeliski Ch 3 幻灯片：pdf格式,幻灯片演示文件 Reinhard等人。，图像之间的颜色传递IEEE计算机图形和应用，2001年
9月14日	图像处理滤波II	继续Szeliski Ch 3 幻灯片：pdf格式,幻灯片演示文件
9月17日	频域	Szeliski Ch 3号机组.4 幻灯片：pdf格式,幻灯片演示文件
9月21日	金字塔混合，模板，NL过滤器	Szeliski 3.5、3.3版 幻灯片：pdf格式,幻灯片演示文件 伯特和阿德尔森，一种多分辨率样条函数及其在图像拼接中的应用ACM ToG，1983年
9月23日	空间频率与人类感知	幻灯片：pdf格式,幻灯片演示文件
9月28日	图像变形我	Szeliski 3.6版 幻灯片：pdf格式,幻灯片演示文件
9月30日	图像变形II	继续Szeliski Ch 3
10月5日	数据驱动方法：面	幻灯片：pdf格式,幻灯片演示文件 高尔顿，“将许多不同人物的肖像组合成一个人物的合成肖像。”,《自然》，1878年 罗兰和费雷特，“通过形状和颜色控制面部外观”，CG&A，1995年 布兰兹和维特，“3D人脸合成的可变形模型”，SIGGRAPH 1999 库特斯、爱德华兹和泰勒，“活动外观模型”，ECCV 1998年
10月7日	数据驱动方法：视频纹理	幻灯片：pdf格式,幻灯片演示文件 Schodl等人。，视频纹理SIGGRAPH’00号 Efros和Leung，基于非参数采样的纹理合成ICCV’99 埃弗罗斯和弗里曼，用于纹理合成和传输的图像绗缝，信号'01 Hertzmann等人。图像类比，SIGGRAPH 2001。
10月12日	视觉纹理（人体和机器）	幻灯片：pdf格式,幻灯片演示文件
10月19日	基于神经网络的特征学习	幻灯片：pdf格式,幻灯片演示文件
10月22日	卷积神经网络I	幻灯片：pdf格式,幻灯片演示文件
10月26日	卷积神经网络二	幻灯片：pdf格式,幻灯片演示文件 彩色图像着色Zhang等人，2016年 使用卷积神经网络学习产品设计的视觉相似性，Bell等人，2015
10月28日	用于图像合成的ConvNets	幻灯片：pdf格式,幻灯片演示文件 Szeliski 5.5.3版 Pix2Pix像素Isola等人，2017年 大家现在跳舞Chan等人，2018年 CycleGAN公司Zhu等人，2017年 神经风格转换，Gatys等人，2015年
2003年11月	摄像机	幻灯片：pdf格式,幻灯片演示文件
11月5日	建模灯光	幻灯片：pdf格式,幻灯片演示文件 塞利斯基14.3
2009年11月	同源字和马赛克	幻灯片：pdf格式,幻灯片演示文件 Szeliski Ch 8号
11月16日	自动图像对齐	幻灯片：pdf格式,幻灯片演示文件
11月23日	单个视图的场景建模	幻灯片：pdf格式,幻灯片演示文件
11月30日	多视图几何：运动中的立体和结构	幻灯片：pdf格式,幻灯片演示文件
12月2日	是什么造就了一幅伟大的画面？	幻灯片：pdf格式,幻灯片演示文件

摄像头：
尽管这不是必须的，但强烈鼓励学生获得数字课程中使用的摄像头。

评估方法：
评分将基于一组编程和书面作业（60%）、6-7（含1次）的课堂随堂测验（20%）和期末专题（20%）。 对于编程作业，学生总共可以获得5个每学期迟到五天；每延迟一天，将支付10%处罚。

参加CS294-26考试的学生还需要提交一份会议式的论文，描述他们的最终项目。

编程资源:
将鼓励学生使用MATLAB（与图像处理工具包一起使用）或Python（与scikit-Image或opencv一起使用）作为他们的主要计算平台。 这两种语言中的特定库提供了大量内置图像处理功能。 这里有一些链接有用的MATLAB和Python资源为该类编译。

本课程之前的课程:
可以找到本课程以前的课程在这里。

其他大学的类似课程：

• 计算摄影 （霍伊姆，UIUC）
• 计算摄影 （海斯，棕色）
• 数字和计算摄影 （麻省理工大学杜兰德分校）
• 计算机视觉 （塞茨&乌瓦辛顿Szeliski）

页面设计承蒙道格詹姆斯