研究论文

深度热成像：通过空间表面温度模式的深度学习实现野外近距离材料类型识别

作者:

Youngjun村赵,

纳迪亚 Bianchi-Berthouze公司,

尼古拉马夸特，以及

西蒙·J。尤利尔作者信息和声明

CHI’18：2018 CHI计算机系统人为因素会议记录

2018年4月

论文编号：2，共页1-13

https://doi.org/10.1145/3173574.3173576

出版:2018年4月19日出版历史

获取访问权限

摘要

我们引入了深度热成像技术，这是一种近距离自动识别材料的新方法，可增强人们对其附近环境的理解和普遍存在的技术。我们的方法使用集成在智能手机中的低成本移动热像仪来捕捉热纹理。深度神经网络将这些纹理分类为材质类型。这种方法有效地工作，无需环境光源或直接接触材料。此外，深度学习网络的使用消除了为不同材料手工制作特征集的需要。我们通过训练系统在室内和室外环境中识别32种材料类型来评估系统的性能。我们的方法在15种室内材料的14860张图像中的识别准确率超过98%，在17种室外材料的26584张图像中，识别准确率高于89%。最后，我们讨论了它在HCI应用中实时使用的潜力和未来的方向。

补充材料

suppl.mov公司（pn1011-file5.mp4）

补充视频

下载
22.61 MB

工具书类

[1]

Miika Aittala、Tim Weyrich和Jaakko Lehtinen。2015.静止材料的两次SVBRDF捕获。ACM图形交易（TOG）——ACM SIGGRAPH 2015年会议记录34，4:110-122。

数字图书馆

[2]

肖恩·贝尔（Sean Bell）、保罗·厄普彻奇（Paul Upchurch）、诺亚·斯纳维利（Noah Snavely）和卡维塔·巴拉（Kavita Bala）。2015.使用上下文数据库中的材料在野外进行材料识别。IEEE计算机视觉和模式识别会议论文集，3479-3487。

[3]

LouAnne E.Boyd、Xinlong Jiang和Gillian R.Hayes。2017.ProCom:设计和评估一个移动和可穿戴系统，以支持自闭症患者的近距离感知。2017年CHI计算机系统人为因素会议记录（CHI'17），2865-2877。

数字图书馆

[4]

William D.Callister和David G.Rethwisch。2011年，材料科学与工程：导言。纽约约翰威利父子公司。

[5]

维克多·C·陈和郝玲。2002.雷达成像和信号分析的时频变换。Artech之家。

[6]

E.Cheung和V.J.Lumelsky。1989年。机器人机械手运动规划中的接近感测：系统和实施问题。IEEE机器人与自动化汇刊5，6:740--751。

[7]

Youngjun Cho、Andrea Bianchi、Nicolai Marquardt和Nadia Bianchi Berthouze。2016.RealPen:使用听觉-行动反馈在触摸表面上的手写任务中提供真实感。第29届用户界面软件与技术年度研讨会（UIST’16）会议记录，195-205。

数字图书馆

[8]

Cho Youngjun、Nadia Bianchi-Berthouze和Simon J.Julier。2017年，DeepBreath：在无约束环境下，利用低成本热成像深入学习呼吸模式，实现压力自动识别。第七届情感计算与智能交互国际会议，ACII 2017，456-463。

[9]

Youngjun Cho、Munchae Joung和Sunuk Kim。2015.具有接近触摸功能的电子装置及其控制方法，美国专利，公开号：US2015/0062087。https://patents.google.com/patent/US20150062087A1

[10]

Youngjun Cho、Simon J.Julier、Nicolai Marquardt和Nadia Bianchi Berthouze。2017年。使用移动热成像在高动态范围场景中稳健跟踪呼吸频率。生物医学光学快报8，10:4480-4503。

[11]

Mircea Cimpoi、Subhransu Maji和Andrea Vedaldi。2015.纹理识别和分割的深度过滤库。IEEE计算机视觉和模式识别会议记录，3828-3836。

[12]

Mike Crang和Nigel Thrift。2002.思维空间。劳特利奇。

[13]

Anind K.Dey和Jonna Häkkilä。2008.上下文感知和移动设备。移动技术用户界面设计和评估研究手册：205-217。

[14]

安德烈·迪米特洛夫（Andrey Dimitrov）和马尼·戈尔帕瓦尔·费尔德（Mani Golparvar-Fard）。2014.基于视觉的材料识别，用于自动监控施工进度，并从无序的现场图像收集中生成建筑信息模型。高级工程信息学28，1:37-49。

数字图书馆

[15]

保罗·多里什（Paul Dourish）。2004年，当我们谈论语境时，我们谈论的是什么。个人和无处不在的计算8，1:19--30。

数字图书馆

[16]

马克斯·埃里克（Marks Eric）和泰泽·约琴（Teizer Jochen）。重型施工设备操作的接近感测和报警技术。建筑研究大会2012:981-990。

[17]

雅各布·埃里克森、刘易斯·吉罗德、布雷特·赫尔、瑞恩·牛顿、塞缪尔·马登和哈里·巴拉克里希南。2008.坑洞巡逻：使用移动传感器网络进行路面监测。第六届移动系统、应用程序和服务国际会议论文集，29-39。

数字图书馆

[18]

罗斯·吉希克（Ross Girshick）。2015年，《美国有线电视新闻网快报》。IEEE计算机视觉国际会议论文集，1440-1448。

数字图书馆

[19]

原小太郎、Vicki Le和Jon Froehlich。2013年，将众包和谷歌街景结合起来，确定街道级无障碍问题。《SIGCHI计算机系统人为因素会议论文集》（CHI'13），631-640。

数字图书馆

[20]

克里斯·哈里森和斯科特·哈德森。2008.用于位置感知移动计算的轻型材料检测。在第21届ACM用户界面软件和技术年度研讨会（UIST’08）的会议记录中，279-282。

数字图书馆

[21]

安东尼乌斯·亨德里克斯（Antonius Hendriks）、达米安·里昂（Damian M.Lyons）和弗兰克·吉达（Frank Guida）。2001.带避障功能的真空吸尘器，美国专利，公开号：US6226830 B1。https://patents.google.com/patent/US6226830B1

[22]

肯·欣克利和迈克·辛克莱。1999.触摸输入设备。《SIGCHI计算机系统人为因素会议论文集》（CHI'99），223--230。

数字图书馆

[23]

凯瑟琳·霍洛韦和尼克·泰勒。2013.使用能力模型测量轮椅使用者人行道可达性的微观方法。交通规划与技术36，7:636--649。

[24]

H.Holone、G.Misund和H.Holmstedt。2007.用户在为自己做：使用用户生成的内容进行步行导航。2007年下一代移动应用、服务和技术国际会议（NGMAST 2007），91-99。

数字图书馆

[25]

哈拉尔德·霍隆（Harald Holone）、冈纳·米苏德（Gunnar Misund）、哈亚康·托尔斯比（H\a akon Tolsby）和斯坦纳·克里斯托弗森（Steinar Kristoffersen）。2008.具有协作用户反馈的个人导航方面。《第五届北欧人机交互会议论文集：搭建桥梁》（NordiCHI'08），182-191。

数字图书馆

[26]

Max Jaderberg、Karen Simonyan、Andrew Zisserman和koray kavukcuoglu。2015年，空间变压器网络。《神经信息处理系统进展论文集》28（NIPS），2017-2025。

数字图书馆

[27]

Piyawan Kasemsuppakorn和Hassan A.Karimi。2009年，轮椅导航的个性化路线。基于位置的服务杂志3，1:24--54。

数字图书馆

[28]

J.Kölzer、E.Oesterschulze和G.Deboy。1996.电子材料和器件的热成像和测量技术。微电子工程31，1:251--270。

数字图书馆

[29]

亚历克斯·克利舍夫斯基（Alex Krizhevsky）、伊利亚·萨茨克弗（Ilya Sutskever）和杰弗里·欣顿（Geoffrey E Hinton）。2012.使用深度卷积神经网络进行ImageNet分类。神经信息处理系统进展论文集25（NIPS），1097-1105。

数字图书馆

[30]

丹尼尔·库兹（Daniel Kurz）。2014.热触摸：为移动增强现实应用程序提供随处可见的触摸界面。在混合增强现实（ISMAR）中，2014年IEEE国际研讨会，9月16日。

[31]

吉亚德·拉普特（Gierad Laput）、罗伯特·肖（Robert Xiao）和克里斯·哈里森（Chris Harrison）。2016年。ViBand：使用商品智能手表加速度计的高保真生物声学传感。第29届用户界面软件与技术年度研讨会（UIST’16）会议记录，321-333。

数字图书馆

[32]

埃里克·拉尔森（Eric Larson）、盖布·科恩（Gabe Cohn）、西德汉特·古普塔（Sidhant Gupta）、任晓峰（Xiaofeng Ren）、贝弗利·哈里森（Beverly Harrison）、迪特·福克斯（Dieter Fox）和什威塔克·。2011.热浪：用于表面用户交互的热成像。在SIGCHI计算机系统人为因素会议记录（CHI’11）中，2565-2574。

数字图书馆

[33]

约翰·伦纳德（John J.Leonard）和休·杜兰·怀特（Hugh F.Durrant-Whyte）。2012.用于移动机器人导航的定向声纳传感。施普林格科技与商业媒体。

[34]

C.Liu、L.Sharan、E.H.Adelson和R.Rosenholtz。2010年。探索材料识别贝叶斯框架中的特征。2010年IEEE计算机学会计算机视觉和模式识别会议，239-246。

[35]

H.Liu、X.Song、J.Bimbo、L.Seneviratne和K.Althoefer。2012.使用智能接触感应手指通过触觉探索进行表面材料识别。在2012年IEEE/RSJ智能机器人与系统国际会议上，52-57。

[36]

J.M.劳埃德。2013.热成像系统。施普林格科技与商业媒体。

[37]

Sapan Naik和Bankim Patel。2017年，利用模糊分类器进行热成像，对成熟度和大小进行无损芒果分级。《信息通信技术新兴趋势与创新》（ICEI），2017年国际会议，15-20。

[38]

维诺德·奈尔和杰弗里·欣顿。2010年。整流线性单元改善了受限的boltzmann机器。第27届国际机器学习会议（ICML-10）论文集，807-814。检索自http://machinelirning.wustl.edu/mlpapers/paper_files/icml2010_航空H10.pdf

数字图书馆

[39]

I.Pavlidis、Peter Symosek、B.Fritz、Mike Bazakos和Nikolaos Papanikolopoulos。2000.车辆乘员的自动检测：成像问题及其解决方案。机器视觉与应用11，6:313--320。

数字图书馆

[40]

任少清、何开明、罗斯·吉希克和孙健。2015.更快的R-CNN：利用区域建议网络实现实时目标检测。《神经信息处理系统进展学报》28（NIPS），91-99。

数字图书馆

[41]

E.F.J.Ring和K.Ammer。2012.医学中的红外热成像。生理测量33，3:R33。

[42]

马克·里奥斯。1984.基于同步扫描仪的激光测距仪。应用光学23，21:3837--3844。

[43]

伊冯·罗杰斯。2011年，交互设计走向狂野：为狂野的理论而奋斗。互动18，4:58-62。

数字图书馆

[44]

贝纳迪诺·罗梅拉-佩雷斯和菲利普·托尔。2015年，一种令人尴尬的简单零快照学习方法。《第32届国际机器学习会议论文集》，2152-2161。

数字图书馆

[45]

Chandra Roychoudhuri、Al F.Kracklauer和Kathy Creah。2008.光的本质：光子是什么？CRC出版社。

[46]

福齐亚·赛义德（Fauzia Saeed）、西蒂·卡马里亚图尔（Siti Qamariatul）、穆吉布·拉赫曼（Mujib Rahman）和阿兰·伍德赛德（Alan Woodside）。2015年，英国地方当局的坑洞管理状况。沥青混合料和路面VI:153-159。

[47]

Alireza Sahami Shirazi、Yomna Abdelrahman、Niels Henze、Stefan Schneegass、Mohammadeza Khalilbeigi和Albrecht Schmidt。2014.开发交互式系统的热反射。第32届ACM计算机系统人为因素年会论文集（CHI'14），3483-3492。

数字图书馆

[48]

佐藤敏彦、吉田茂、Alex Olwal、石博信、Hiyama Atsushi、谷川智宏、Hirose Michitaka和Ramesh Raskar。2015.SpecTrans：与无纹理、镜面反射和透明表面相互作用的通用材料分类。《第33届ACM计算机系统人为因素年会论文集》（CHI'15），2191-2200。

数字图书馆

[49]

Albrecht Schmidt、Michael Beigl和Hans-W.Gellersen。1999.环境比地点更重要。计算机与图形23，6:893--901。

[50]

Igor V.Tetko、David J.Livingstone和Alexander I.Luik。1995年，神经网络研究。1.过度训练与过度训练的比较。化学信息与计算机科学杂志35，5:826--833。

[51]

安德烈·维达尔迪（Andrea Vedaldi）和卡雷尔·伦克（Karel Lenc）。2015.MatConvNet：用于MATLAB的卷积神经网络。第23届ACM国际多媒体会议（MM'15），689-692。

数字图书馆

[52]

Michael Vollmer和MÃKlaus-Peter。2017年。红外热成像：基础、研究和应用。约翰·威利父子公司。

[53]

王廷春（Ting-Chun Wang）、朱俊彦（Jun-Yan Zhu）、伊比·平崎（Ebi Hiroaki）、曼莫汉·钱德拉克（Manmohan Chandraker）、阿列克谢·埃夫罗斯（Alexei A.Efros）和拉维·拉马穆蒂（Ravi Ra。2016年，材料识别4D Light-Field数据集和CNN架构。计算机视觉——ECCV 2016（计算机科学讲稿），121-138。

[54]

Jason Wiese、T.Scott Saponas和A.J.Bernheim Brush。2013.Phoneproception：使手机能够推断其存放位置。《SIGCHI计算机系统人为因素会议论文集》（CHI'13），2157-2166。

数字图书馆

[55]

杨惠雄、弗拉米奇、施伦普夫、哈里斯·比蒂尔和亚伦·奎格利。2016.RadarCat：输入和交互的雷达分类。第29届用户界面软件与技术年度研讨会（UIST’16）会议记录，833--841。

数字图书馆

[56]

杨惠雄、李朱英、安德烈亚·比安奇、大卫·哈里斯·比蒂尔和亚伦·奎格利。2017.SpeCam:使用移动设备的前置摄像头感应表面颜色和材料。《第19届移动设备和服务人机交互国际会议论文集》（MobileHCI’17），25:1--25:9。

数字图书馆

[57]

朱向新、卡尔·冯德里克、德瓦·拉马南和查尔斯·福克斯。2012年。我们是否需要更多的训练数据或更好的对象检测模型。在《英国机器视觉会议论文集》（BMVC’12）中。

[58]

查看AI.检索自https://www.microsoft.com/en-us/seeing-ai/

[59]

编码现实。检索自http://viral.media.mit.edu/projects/encoded_reality/

[60]

2017保时捷Panamera。检索自http://www.motorauthority.com/news/1105162_2017-保时捷panamera-deep-dive/第3页#

[61]

CAT S60：世界上第一款热成像智能手机。检索自https://www.catphones.com/？product=cat-s60-智能手机

[62]

杰森TK1。检索自http://www.nvidia.com/object/jetson-tk1-embeddeddev-kit.html

[63]

Caffe深度学习框架。检索自http://caffe.berkeleyvision.org/

[64]

TensorFlow手机。检索自https://www.tensorflow.org/mobile网站/

[65]

Dyson 360 Eye机器人。检索自https://www.dyson.co.uk/robot-vacuums/dyson-360-eye-overview.html

[66]

LG HOM-BOT广场。检索自http://www.lg.com/uk/hom-bot

[67]

谷歌地图现在允许用户为位置添加轮椅可访问性详细信息。检索自https://techcrunch.com/2017/07/08/google-maps-nowlets-users-add-wheelchair-accessibility-details-forlocations网站/

引用人

弗洛雷斯·H祖尼加ARadeta M公司阴Z利亚纳格M莫特拉赫NNguyen N公司塔科马S优素福·M努尔米·P(2024)SEAGULL：用于水下塑料监测和分析的低成本普适传感2024年IEEE/ACM第九届物联网设计与实现国际会议（IoTDI）10.1109/IoTDI61053.2024.0009(49-60)在线发布日期：2024年5月13日
https://doi.org/10.109/IoTDI61053.2024.00009
哈迪H沙巴H欧巴德AZearah S公司(2024)深度学习在热红外图像处理中的应用数据分析与管理学报10.1007/978-981-99-6547-2_10(115-123)在线发布日期：2024年1月3日
https://doi.org/10.1007/978-981-99-6547-2_10
Elvitigala D公司王毅胡毅奎格利A(2023)RadarFoot：智能鞋的细颗粒地面环境感知第36届ACM用户界面软件与技术年会论文集10.1145/3586183.3606738(1-13)在线发布日期：2023年10月29日
https://dl.acm.org/doi/10.1145/3586183.3606738
显示更多引用者

索引术语

深度热成像：通过深度学习空间表面温度模式在野外进行近距离材料类型识别
1. 以人为中心的计算
  1. 人机交互（HCI）

建议

基于深度卷积神经网络的野外微笑检测

微笑或幸福是我们日常生活中最普遍的面部表情之一。野外微笑检测是一个重要而富有挑战性的问题，越来越受到情感计算界的关注。在本文中，我们。。。
阅读更多信息
基于面部地标检测和热成像的舒适度评估皮肤温度提取
BuildSys’19：第六届ACM节能建筑、城市和交通系统国际会议记录

尽管能源消耗占很大比例，但目前建筑物中的暖通空调系统未能达到维持舒适室内条件的主要目的。当前控制环境中热条件的“一刀切”方法。。。
阅读更多信息
基于热成像的人脸识别：传统方法与基于CNN的方法的比较研究
ICMLSC’24：2024年第8届机器学习和软计算国际会议记录

本文提出了一种基于热成像的人脸识别方法：对传统方法和基于CNN的方法进行了比较研究。该方法包括两个不同的组成部分：传统的人脸识别和基于CNN的人脸识别。在…中。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

CHI’18：2018 CHI计算机系统人为因素会议记录

2018年4月

8489页

国际标准图书编号：9781450356206

内政部：10.1145/3173574

总主席：
雷根·曼德里克
加拿大萨斯喀彻温大学
,
马克·汉考克
加拿大滑铁卢大学
,
课程主席：
马克佩里
英国伦敦布鲁内尔大学
,
安娜·考克斯
英国伦敦大学学院

版权所有©2018 ACM。

允许制作本作品的全部或部分数字或硬拷贝供个人或课堂使用，但不收取任何费用，前提是复制品的制作或分发不是为了盈利或商业利益，并且复制品在首页注明本通知和完整引文。必须尊重作者以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布，在服务器上发布或重新发布到列表，需要事先获得特定许可和/或付费。从请求权限[电子邮件保护].

赞助商

SIGCHI:ACM计算机与人类交互特别兴趣小组

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2018年4月19日

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章

资金来源

UCL-ORS公司

会议

2018年7月

赞助商：

SIGCHI公司

CHI’18：计算机系统人为因素会议

2018年4月21日-26日

加拿大蒙特利尔QC

接受率

CHI’18论文接受率为666，共提交2590份，26%；

26314份提交文件的总体接受率为6199份，24%

即将召开的会议

24岁CHI PLAY

赞助商：
西奇

游戏中的计算机与人类交互年度研讨会

2024年10月14日至17日

坦佩雷，芬兰

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

31
引文总数
查看引文
1,968
总下载次数

下载次数（过去12个月）80
下载次数（最近6周）10

其他指标

查看作者指标

引文

引用人

弗洛雷斯·H祖尼加ARadeta M公司阴Z利亚纳格M莫特拉赫NNguyen N公司塔科马S优素福·M努尔米·P(2024)SEAGULL：用于监测和分析水下塑料的低成本普及传感2024年IEEE/ACM第九届物联网设计与实现国际会议（IoTDI）10.1109/IoTDI61053.2024.0009(49-60)在线发布日期：2024年5月13日
https://doi.org/10.1109/IoTDI61053.2024.00009
哈迪H沙巴H欧巴德AZearah S公司(2024)深度学习在热红外图像处理中的应用数据分析与管理学报10.1007/978-981-99-6547-2_10(115-123)在线发布日期：2024年1月3日
https://doi.org/10.1007/978-981-99-6547-2_10
Elvitigala D公司王毅胡毅奎格利A(2023)RadarFoot：智能鞋的细颗粒地面环境感知第36届ACM用户界面软件与技术年会论文集10.1145/3586183.3606738(1-13)在线发布日期：2023年10月29日
https://dl.acm.org/doi/10.1145/3586183.3606738
阿尔哈比R沙溪S克鲁兹S李L森·S佩德拉姆M罗马语C海丝特JKatsaggelos A公司Alshurafa N公司(2023)SmokeMon公司ACM互动、移动、穿戴和普及技术会议录10.1145/35694606:4(1-25)在线发布日期：2023年1月11日
https://dl.acm.org/doi/10.1145/3569460
大阪YDomae Y公司小仓一世古川岛Y卡达尔A(2023)利用回收电机内部产生的热量进行材料识别的机器人温度调节2023年IEEE机器人与仿生国际会议（ROBIO）10.1109/ROBIO58561.2023.10354795号(1-7)在线发布日期：2023年12月4日
https://doi.org/10.10109/ROBIO58561.2023.10354795
约书亚·J纳拉西曼L约格什瓦兰五世阿南德·M(2023)基于人工神经网络的恶劣天气条件下目标检测系统2023第二届国际技术创新大会（INOCON）10.1109/INOCON57975.2023.10101071(1-3)在线发布日期：2023年3月3日
https://doi.org/10.1109/INOCON57975.2023.10101071
陈JRaghunath A公司迈克尔森KGollakota S公司(2022)使用智能手机LiDAR测试一滴液体ACM互动、移动、穿戴和普及技术会议录10.1145/35172566:1(1-27)在线发布日期：2022年3月29日
https://dl.acm.org/doi/10.1145/3517256
渡边H苏米亚MTerada T公司(2022)超声人机协同回声定位IEEE接入10.1109/通道2022.322446810(125264-125278)在线发布日期：2022年
https://doi.org/10.109/ACCESS.2022.3224468
格罗·曼·W喇叭H尼格曼O(2022)利用热成像提高远程材料分类能力科学报告10.1038/s41598-022-21588-412:1在线发布日期：2022年10月14日
https://doi.org/10.1038/s41598-022-21588-4
博勒A乌德马累SFalzon O公司Azzopardi G公司(2022)CORF3D等高线图及其在荷斯坦牛RGB和热像识别中的应用带应用程序的专家系统2016年10月10日/j.eswa.2021.116354192(116354)网上发布日期：2022年4月
https://doi.org/10.1016/j.eswa.2021.116354
显示更多引用者

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

媒体

数字

其他

桌子