课程描述
计算摄影是计算机图形学、计算机视觉、光学和成像的融合。它的作用是克服传统相机的局限性,将成像和计算结合起来,以实现捕获、表示和与物理世界交互的新的增强方式。
本课程概述了计算摄影的发展现状。在课程开始时,我们将学习现代图像处理管道,包括手机和单反相机上遇到的管道,以及高级图像和视频编辑算法。然后我们将继续学习任务的物理和计算方面,如3D扫描、编码摄影、光场成像、飞行时间成像、VR/AR显示和计算光传输。在课程即将结束时,我们将讨论一些活跃的研究主题,例如创建以光速捕获视频的相机、环视墙壁的相机或可以看到皮肤下面的相机。
本课程有很强的动手能力,包括七个家庭作业和一个期末专题。在家庭作业中,学生将有机会通过获取自己的室内和室外场景图像,以及开发从中提取信息所需的计算工具,来实施本课程中涵盖的许多技术。示例作业包括构建端到端HDR成像管线和结构光扫描仪。在期末专题中,学生可以选择使用现代传感器和讲师提供的其他光学仪器(光场相机、飞行时间传感器、投影仪、激光源等)。
交叉列表:这是一门高级本科和研究生入门课程,交叉列为15-463(本科生)、15-663(硕士生)和15-862(博士生)。请确保注册与您当前注册状态相匹配的课程部分。
前提条件
本课程要求熟悉线性代数、微积分、编程和图像计算。特别是,以下任一课程都可以证明您满足这些先决条件:
- 16-385计算机视觉,OR
- 16-720计算机视觉,OR
- 16-820高级计算机视觉,OR
- 15-462计算机图形,或
- 18-793图像和视频处理。
如果您想注册但尚未参加上述任何课程,请务必联系讲师!我们每年都会根据具体情况做出很多例外。本课程不要求有摄影或成像方面的经验。
教科书
没有必要的教科书。每堂课和作业都包括一份广泛的参考文献列表(主要是论文),你需要参考这些参考文献才能顺利完成课程。
以下教科书通常也可以作为有用的参考。所有这些都可以从CMU库在线获得:
- 计算机视觉:算法与应用理查德·塞利斯基(Richard Szeliski)。
- 计算成像书由Ayush Bansai、Achuta Kadambi和Ramesh Raskar撰写。
- 计算机视觉中的多视图几何理查德·哈特利(Richard Hartley)和安德鲁·齐瑟曼(Andrew Zisserman)。
- 计算机视觉:一种现代方法作者:David Forsyth和Jean Ponce。
- 三维计算机图形学基础史蒂文·戈特勒(Steven Gortler)。
- 数字图像处理拉斐尔·冈萨雷斯(Rafael Gonzalez)和理查德·伍兹(Richard Woods)。
- 摄影芭芭拉·伦敦和约翰·厄普顿。
评价
你的最终成绩由以下部分组成:
- 六个为期两周的家庭作业(75%)。
- 最终项目(20%)。
- 课堂参与率(5%)。
家庭作业:所有家庭作业都有一个编程组件,学生将使用Python实现计算摄影管道,还有一个摄影组件,学生可以使用单反相机捕获和处理自己的图像。
迟到天数:对于家庭作业,学生总共有五天的自由迟到时间。任何额外的迟到天数都将受到10%的罚款。请注意,我们将强制执行提交截止日期严格地以计算逾期天数。特别是,我们不会因为上传延迟、提交不正确的文件等原因而做出任何例外。
合作政策:我们鼓励学生分组工作,但每个学生都必须提交自己的工作。这包括:编写自己的代码,构建自己的图像设置,拍摄自己的照片,以及制作自己的作品。如果你是一个团队,在你的书面报告中包括你的合作者的名字。您绝对不能共享或复制任何来源的代码、数据或文本。此外,除非明确允许,否则不得使用任何外部代码或数据。这些以及任何其他形式的作弊都是被禁止的,这将导致整个课程(不仅仅是你被抓到的作业)的分数不及格。如果您不确定某些活动是否会作弊,请谨慎行事,并在继续之前询问教学人员。此外,您不得在未来的课程实例中向其他学生提供您在本课程中完成的任何代码或书面材料,也不得将此材料(例如,在网上)用于未来的课程示例。您必须确保用于课程的任何在线存储库都是私有的。
提交作业:我们将使用分级范围,通过画布提供,用于提交和评分作业。提交作业时,学生必须遵循作业提交指南.
最终项目:在学期末,每个学生都将完成自己选择的项目。期末项目报告和报告将在期末考试周提交。有关详细信息,请参阅最终项目页面.
15-663, 15-862:参加15-663或15-862课程的学生需要做一个更实质性的期末专题。
作业分配竞赛:对于每个作业,教师将选择在拍摄和处理自己的图像时产生最佳结果的学生。获奖学生将获得一份与家庭作业相关的免费摄影礼物。比赛与每个作业的分数分开。
最终项目竞赛:由CMU计算摄影学院组成的评审团将选出两个最佳项目。获奖学生将获得免费单反相机比赛与最终项目的成绩分开。
摄像头
学生确实如此不本课程需要拥有一台数码相机,但如果他们拥有手动控制相机,欢迎使用。我们将提供关于50个摄像头套件(尼康D3300/3400/3500单反相机,18-55毫米变焦镜头,三脚架)。请注意,学生将对任何未能归还的相机或其他借来的设备承担经济责任,或将损坏或丢失的部件归还。
相机教程:为了让学生更容易使用相机套件,我们将相机教程.
会议
讲座:讲座将在GHC 4303中进行。每次讲座结束后,我们将在画布上制作讲座录音。
对研究感兴趣?
我们正在积极寻找各级学生(本科生、硕士生、博士生),以帮助完成计算摄影、成像、渲染和一般图形各个方面的项目。如果你感兴趣,请给Yannis发一封电子邮件(或在课堂上亲自与他交谈)。
你还应该看看卡内基·梅隆计算机成像网站和YouTube频道,以查找有关CMU此处活动的相关项目的更多信息。
最后,欢迎您参加本学期的成像小组会议。如果你想收到关于小组会议的公告,以及关于摄影和成像研究的其他电子邮件,请让Yannis将你添加到成像小组的邮件列表中。
(暂定)教学大纲
学期中,日期和主题可能会发生变化。每场讲座之前,幻灯片都会上传到这个网站上。
致谢
这门课的材料是从许多不同的人和地方拼凑而成的。特别感谢以下同事分享他们的课程材料或将其在线提供(按字母顺序):Supreeth Achar、Andrew Adams、Amit Agrawal、Michael Brown、Oliver Cossairt、Fredo Durand、Alyosha Efros、Kayvon Fatahalian、Steven Gortler、Mohit Gupta、Sam Hasinoff、James Hays、Hugues Hoppe、Ivo Ihrke、,沃伊西奇·雅罗斯茨、克里斯·基塔尼、基洛斯·库图拉科斯、道格拉斯·兰曼、贾科·莱蒂宁、阿纳特·莱文、马克·莱沃伊、史蒂夫·马施纳、斯里尼瓦萨·纳拉西姆汉、史里·纳亚尔、任恩·吴、马修·奥图尔、西尔万·帕里斯、拉维·拉马穆尔蒂、拉梅什·拉斯卡尔、阿斯温·桑卡拉纳拉亚南、罗伯特·萨姆纳、理查德·塞利斯基、加夫里尔·陶宾、詹姆斯·汤普金、戈登·韦茨坦、托德·齐克勒。特别感谢Jiatian(Caroline)Sun开发了一些家庭作业中使用的渲染器。个人幻灯片和家庭作业包括他们自己的学分。