15-463、15-663、15-862计算摄影
2023年秋季

戏弄者
计算摄影将图形、视觉、光学和成像结合在一起。在本课程中,您将学习以下所有内容:(顶部,从左到右)摄影光学和图像处理管道;曝光、高动态范围成像和噪声;色彩和图像编辑;聚焦、光场和编码摄影;(底部,从左到右)辐射测量和光度立体;射影几何、立体和结构光;飞行时间成像和计算光传输。

课程描述

计算摄影是计算机图形学、计算机视觉、光学和成像的融合。它的作用是克服传统相机的局限性,将成像和计算结合起来,以实现捕获、表示和与物理世界交互的新的增强方式。

本课程概述了计算摄影的发展现状。在课程开始时,我们将学习现代图像处理管道,包括手机和单反相机上遇到的管道,以及高级图像和视频编辑算法。然后我们将继续学习任务的物理和计算方面,如3D扫描、编码摄影、光场成像、飞行时间成像、VR/AR显示和计算光传输。在课程即将结束时,我们将讨论一些活跃的研究主题,例如创建以光速捕获视频的相机、环视墙壁的相机或可以看到皮肤下面的相机。

本课程有很强的动手能力,包括七个家庭作业和一个期末专题。在家庭作业中,学生将有机会通过获取自己的室内和室外场景图像,以及开发从中提取信息所需的计算工具,来实施本课程中涵盖的许多技术。示例作业包括构建端到端HDR成像管线和结构光扫描仪。在期末专题中,学生可以选择使用现代传感器和讲师提供的其他光学仪器(光场相机、飞行时间传感器、投影仪、激光源等)。

交叉列表:这是一门高级本科和研究生入门课程,交叉列为15-463(本科生)、15-663(硕士生)和15-862(博士生)。请确保注册与您当前注册状态相匹配的课程部分。

竞争

摄影比赛:作业分配竞赛的提交文件和结果见下文。

最终项目竞赛:提交的材料和结果可在最终项目竞赛第页。提交文件也可在卡内基·梅隆计算成像YouTube频道.

前提条件

本课程要求熟悉线性代数、微积分、编程和图像计算。特别是,以下任一课程都可以证明您满足这些先决条件:

如果您想注册但尚未参加上述任何课程,请务必联系讲师!我们每年都会根据具体情况做出很多例外。本课程不要求有摄影或成像方面的经验。

教科书

没有必要的教科书。每堂课和作业都包括一份广泛的参考文献列表(主要是论文),你需要参考这些参考文献才能顺利完成课程。

以下教科书通常也可以作为有用的参考。所有这些都可以从CMU库在线获得:

评价

你的最终成绩由以下部分组成:

家庭作业:所有家庭作业都有一个编程组件,学生将使用Python实现计算摄影管道,还有一个摄影组件,学生可以使用单反相机捕获和处理自己的图像。

迟到天数:对于家庭作业,学生总共有五天的自由迟到时间。任何额外的迟到天数都将受到10%的罚款。请注意,我们将强制执行提交截止日期严格地以计算逾期天数。特别是,我们不会因为上传延迟、提交不正确的文件等原因而做出任何例外。

合作政策:我们鼓励学生分组工作,但每个学生都必须提交自己的工作。这包括:编写自己的代码,构建自己的图像设置,拍摄自己的照片,以及制作自己的作品。如果你是一个团队,在你的书面报告中包括你的合作者的名字。您绝对不能共享或复制任何来源的代码、数据或文本。此外,除非明确允许,否则不得使用任何外部代码或数据。这些以及任何其他形式的作弊都是被禁止的,这将导致整个课程(不仅仅是你被抓到的作业)的分数不及格。如果您不确定某些活动是否会作弊,请谨慎行事,并在继续之前询问教学人员。此外,您不得在未来的课程实例中向其他学生提供您在本课程中完成的任何代码或书面材料,也不得将此材料(例如,在网上)用于未来的课程示例。您必须确保用于课程的任何在线存储库都是私有的。

提交作业:我们将使用分级范围,通过画布提供,用于提交和评分作业。提交作业时,学生必须遵循作业提交指南.

最终项目:在学期末,每个学生都将完成自己选择的项目。期末项目报告和报告将在期末考试周提交。有关详细信息,请参阅最终项目页面.

15-663, 15-862:参加15-663或15-862课程的学生需要做一个更实质性的期末专题。

作业分配竞赛:对于每个作业,教师将选择在拍摄和处理自己的图像时产生最佳结果的学生。获奖学生将获得一份与家庭作业相关的免费摄影礼物。比赛与每个作业的分数分开。

最终项目竞赛:由CMU计算摄影学院组成的评审团将选出两个最佳项目。获奖学生将获得免费单反相机比赛与最终项目的成绩分开。

摄像头

学生确实如此本课程需要拥有一台数码相机,但如果他们拥有手动控制相机,欢迎使用。我们将提供关于50个摄像头套件(尼康D3300/3400/3500单反相机,18-55毫米变焦镜头,三脚架)。请注意,学生将对任何未能归还的相机或其他借来的设备承担经济责任,或将损坏或丢失的部件归还。

相机教程:为了让学生更容易使用相机套件,我们将相机教程.

会议

讲座:讲座将在GHC 4303中进行。每次讲座结束后,我们将在画布上制作讲座录音。

电子邮件、办公时间和讨论

电子邮件:给教师发邮件时,请在标题中使用[15463]!

办公时间:正式办公时间将在首次调查后公布。

办公时间:教职员工在以下时间有固定的办公时间:

所有办公时间都将在Smith Hall(EDSH)236(图形休息室)亲自进行。

请随时给我们发送电子邮件,告知我们如何安排额外的办公时间。请不要给老师发电子邮件询问有关家庭作业或评分的问题。你应该把这些贴在Slack上。

讨论:我们将使用Slack进行课程讨论和公告。

对研究感兴趣?

我们正在积极寻找各级学生(本科生、硕士生、博士生),以帮助完成计算摄影、成像、渲染和一般图形各个方面的项目。如果你感兴趣,请给Yannis发一封电子邮件(或在课堂上亲自与他交谈)。

你还应该看看卡内基·梅隆计算机成像网站YouTube频道,以查找有关CMU此处活动的相关项目的更多信息。

最后,欢迎您参加本学期的成像小组会议。如果你想收到关于小组会议的公告,以及关于摄影和成像研究的其他电子邮件,请让Yannis将你添加到成像小组的邮件列表中。

(暂定)教学大纲

学期中,日期和主题可能会发生变化。每场讲座之前,幻灯片都会上传到这个网站上。

日期话题作业
M、 8月28日介绍
W、 8月30日数字摄影
F、 9月1日HW1输出
M、 2004年9月无课(劳动节)
W、 2006年9月针孔和透镜
M、 9月11日摄影光学和像差
W、 9月13日曝光和高动态范围成像
F、 9月15日HW1到期,HW2输出
M、 9月18日噪声
W、 9月20日颜色
F、 9月22日
M、 9月25日双边和边缘感知过滤
W、 9月27日梯度域图像处理
F、 9月29日HW2到期,HW3输出
M、 2002年10月焦点堆栈和离焦点深度
W、 2004年10月光场
M、 2009年10月反褶积
W、 10月11日编码摄影
F、 10月13日HW3到期,HW4输出
M、 10月16日无课(秋季休息)
W、 10月18日无课(秋季休息)
M、 10月23日辐射和反射率
W、 10月25日光度立体声
M、 10月30日几何相机建模和校准
W、 11月1日双视图几何图形
F、 2003年11月HW4到期
M、 2006年11月视差和立体声HW5输出
W、 11月8日飞行时间成像
M、 11月13日间接照明
W、 11月15日光传输矩阵
M、 11月20日傅里叶光学HW5到期,HW6输出
W、 11月22日不上课(感恩节)
M、 11月27日高级主题项目建议书到期
W、 11月29日高级主题
M、 2004年12月高级主题
W、 2006年12月总结
F、 2008年12月HW6到期

以前的课程

CMU和其他地方的类似课程

致谢

这门课的材料是从许多不同的人和地方拼凑而成的。特别感谢以下同事分享他们的课程材料或将其在线提供(按字母顺序):Supreeth Achar、Andrew Adams、Amit Agrawal、Michael Brown、Oliver Cossairt、Fredo Durand、Alyosha Efros、Kayvon Fatahalian、Steven Gortler、Mohit Gupta、Sam Hasinoff、James Hays、Hugues Hoppe、Ivo Ihrke、,沃伊西奇·雅罗斯茨、克里斯·基塔尼、基洛斯·库图拉科斯、道格拉斯·兰曼、贾科·莱蒂宁、阿纳特·莱文、马克·莱沃伊、史蒂夫·马施纳、斯里尼瓦萨·纳拉西姆汉、史里·纳亚尔、任恩·吴、马修·奥图尔、西尔万·帕里斯、拉维·拉马穆尔蒂、拉梅什·拉斯卡尔、阿斯温·桑卡拉纳拉亚南、罗伯特·萨姆纳、理查德·塞利斯基、加夫里尔·陶宾、詹姆斯·汤普金、戈登·韦茨坦、托德·齐克勒。特别感谢Jiatian(Caroline)Sun开发了一些家庭作业中使用的渲染器。个人幻灯片和家庭作业包括他们自己的学分。