拉瓦尼亚·沙兰；刘策；露丝·罗森霍兹；爱德华·阿德尔森。 使用感知灵感特征识别材料。 （英语） Zbl 1270.68258号 国际期刊计算。视觉。 103，第3期，348-371（2013）. 小结：我们的世界不仅由物体和场景组成，还由各种材料组成。能够识别我们周围的材料（例如塑料、玻璃、混凝土）对人类和计算机视觉系统都很重要。不幸的是，在视觉识别文献中，材料很少受到关注，并且很少有计算机视觉系统专门用于识别材料。本文提出了一种从单个图像中识别材料类别的系统。我们提出了一组基于人类材料识别研究的中低层图像特征，并使用SVM分类器将这些特征组合在一起。在具有挑战性的现实世界材料类别数据库中，我们的系统优于最先进的系统。当我们将系统的性能与人类观测者的性能直接进行比较时，人类很容易超越我们的系统。然而，当我们考虑到图像特征的局部性质及其测量的表面特性（例如，颜色、纹理、局部形状）时，我们的系统与人类的表现不相上下。我们认为，材料识别的未来进展将来自：（1）对非局部表面特性（例如，延伸高光、物体识别）的作用有更深入的理解；以及（2）努力在图像中建模这种非局部表面特性。 MSC公司： 68吨10 模式识别、语音识别 68T45型 机器视觉和场景理解 关键词：材料识别；材料分类；纹理分类；机械土耳其；感知 软件：SIFT公司；固化；WordNet（文字网） PDF格式BibTeX公司 XML格式引用 \textit{L.Sharan}等人，《国际计算杂志》。视觉。103，第3号，348--371（2013；Zbl 1270.68258） 全文： 内政部 链接 参考文献： [1] Adelson，E.H.（2001）。关于看东西：人类和机器对材料的感知。在SPIE中，人类视觉和电子成像VI（第4299卷，第1-12页）。 [2] Bae，S.、Paris，S.和；Durand，F.（2006）。照片外观的双比例色调管理。位于纽约ACM SIGGRAPH。 [3] Belongie，S.、Malik，J.和；Puzicha，J.（2002）。使用形状上下文的形状匹配和对象识别。TPAMI，24（4），509–522·Zbl 05111066号 ·doi:10.1109/34.993558 [4] Berzhanskaya，J.、Swaminathan，G.、Beck，J.和；Mingolla，E.（2005）。高光对光泽感知的远程影响。感知，34（5），565–575·doi:10.1068/p5401 [5] 布莱，D.M.，Ng，A.Y.，&；Jordan，M.I.（2003）。潜在Dirichlet分配。机器学习研究杂志，3，993–1022·Zbl 1112.68379号 [6] Bloj，M.、Kersten，D.和；Hurlbert，A.C.（1999）。立体形状的感知通过相互照明影响颜色感知。《自然》，402877-879。 [7] 博伊文，S.，&；Gagalowicz，A.（2001）。从单个图像中对漫反射、镜面反射和光泽表面进行基于图像的渲染。洛杉矶ACM SIGGRAPH（第107–116页）。 [8] Boyaci，H.、Maloney，L.T.和；Hersh，S.（2003）。在双目视觉场景中感知表面方向对感知表面反照率的影响。《视觉杂志》，3541–553·doi:10.1167/3.8.2 [9] Brainard，D.H.、Kraft，J.M.和；Longere，P.（2003）。色觉：从光到物体。《颜色恒常性：开发计算模型的经验测试》（第307-334页）。牛津：牛津大学出版社。 [10] Burges，C.（1998年）。模式识别支持向量机教程。数据挖掘和知识发现，2（2），121–167·Zbl 05470543号 ·doi:10.1023/A:1009715923555 [11] Canny，J.（1986年）。边缘检测的计算方法。TPAMI，80（6），679–698·doi:10.1109/TPAMI.1986.4767851 [12] Caputo，B.、Hayman，E.和；Mallikarjuna，P.（2005）。特定类别的材料分类。《ICCV会议录》，北京（第2卷，第1597-1604页）。 [13] Caputo，B.、Hayman，E.、Fritz，M.和；Jan-Olof E.（2007）《现实世界中的材料分类》。马丁：IDIAP。 [14] 库拉，O.G.和；Dana，K.J.（2004年a）。使用双向特征直方图进行三维纹理识别。国际JCV，59（1），33–60·doi:10.1023/B:VISI.0000020670.05764.55 [15] 库拉·O·G、达纳·K·J、墨菲·F·P和；Rao，B.K.（2004）。皮肤纹理的双向成像和建模。IEEE生物医学工程学报，51（12），2148–2159·doi:10.1109/TBME.2004.836520 [16] 库拉·O·J和；Dana，K.J.（2004年b）。使用双向特征直方图的三维纹理识别。国际计算机视觉杂志，59（1），33–60·doi:10.1023/B:VISI.0000020670.05764.55 [17] Dallal，N.和；Triggs，B.（2005年）。人体检测定向梯度直方图。在CVPR中，蒙博诺（Montbonnot）（第2卷，第886-893页）。 [18] Dana，K.J.和；Nayar，S.（1998年）。三维纹理的直方图模型。CVPR（第618-624页）。 [19] Dana，K.J.、Van-Ginneken，B.、Nayar，S.K.和；Koenderink，J.J.（1999）。真实世界曲面的反射和纹理。ACM图形学报，18（1），1-34。 [20] Debevec，P.、Hawkins，T.、Tchou，C.、Duiker，H.P.、Sarokin，W.和；Sagar，M.（2000年）。获取人脸的反射场。路易斯安那州ACM SIGGRAPH（第145–156页）。 [21] Debevec，P.、Tchou，C.、Gardner，A.、Hawkins，T.、Poullis，C.、Stumpfel，J.、Jones，A.、Yun，N.、Einarsson，P.，Lundgren，T.，Fajardo，M.和amp；Martinez，P.（2004）。在捕获的自然光照下估计复杂场景的表面反射特性。南加州大学ICT-TR-06。 [22] Dror，R.、Adelson，E.H.和；Alan S.Willsky（2001）。在未知真实环境照明下，从单个图像中识别表面反射特性。在IEEE关于识别照明变化中的物体的研讨会上。 [23] Durand，F.和；Dorsey，J.（2002）。用于显示高动态范围图像的快速双边滤波。圣安东尼奥ACM SIGGRAPH。 [24] 埃弗罗斯，A.A.，&；Freeman，W.T.（2001）。用于纹理合成和传输的图像绗缝。位于洛杉矶ACM SIGGRAPH。 [25] 费菲，L.，&；Perona，P.（2005）。用于学习自然场景类别的贝叶斯层次模型。CVPR，圣地亚哥（第2卷，第524-531页）。 [26] 弗莱明，R.W.，&；Bülthoff，H.（2005）。低级图像提示半透明材料的感知。ACM应用感知汇刊，2（3），346–382·doi:10.1145/107739.1077409 [27] 弗莱明，R.W.，德罗，R.，&；Adelson，E.H.（2003）。真实世界的照明和表面反射特性的感知。《视觉杂志》，3（5），347-368·doi:10.1167/3.5.3 [28] 弗莱明，R.W.，托拉尔巴，A；Adelson，E.H.（2004）。镜面反射和形状感知。《视觉杂志》，4（9），798–820。 [29] 福赛斯·D·；Fleck，M.M.（1999）。人体裸体的自动检测。国际JCV，32（1），63–77·兹伯利05467153 ·doi:10.1023/A:1008145029462 [30] 弗里茨（M.Fritz）、布莱克（M.Black）、布拉德斯基（G.Bradski）和；Darrell，T.（2009）。一种用于透明物体识别的附加潜在特征模型。在NIPS中。 [31] Gilchrist，A.、Kossifidis，C.、Bonato，F.、Agostini，T.、Cataliotti，J.、Li，X.等人（1999年）。关于光感知的锚定理论。《心理评论》，106795-834·doi:10.1037/0033-295X.106.4.795 [32] He、X.D.、Torrance、K.E.、Sillion、F.S.和；Greenberg，D.P.（1991）。光反射的综合物理模型。在第18届计算机图形和交互技术年会上（第25卷，第175-186页）。纽约：ACM。 [33] Ho，Y.X.，Landy，M.S.和；Maloney，L.T.（2008）。光泽和表面纹理的联合测量。心理科学，19（2），196-204。 [34] Hu，D.，Bo，L.和；Ren，X.（2011）。对日常物体进行强大的材料识别。在BMVC，邓迪。 [35] Jensen，H.W.、Marschner，S.、Levoy，M.和；Hanrahan，P.（2001）。地下光传输的实用模型。洛杉矶ACM SIGGRAPH（第511-518页）。 [36] Khan，E.A.、Reinhard，E.、Fleming，R.W.和；H.Bülthoff，H.（2006）。基于图像的材料编辑。ACM SIGGRAPH，波士顿（第654-663页）。 [37] Koenderink，J.J.、Van Doorn，A.J.、Dana，K.J.和；Nayar，S.（1999）。彻底凹坑表面的双向反射分布函数。国际计算机视觉杂志，31129-144·Zbl 05467888号 ·doi:10.1023/A:1008061730969 [38] Koenderink，J.J.和；van Doorn，A.J.（1987）。视觉系统中局部几何体的表示。生物控制论，545367-375·Zbl 0617.92024号 ·doi:10.1007/BF00318371 [39] Leung，T.和；Malik，J.（2001）。使用三维纹理表示和识别材料的视觉外观。国际JCV，43（1），29–44·兹比尔0972.68606 ·doi:10.1023/A:101126920638 [40] Liu，C.、Sharan，L.、Rosenholtz，R.和；Adelson，E.H.（2010）。探索材料识别贝叶斯框架中的特征。旧金山CVPR。 [41] Liu，C.、Yuen，J.和；Torralba，A.（2009）非参数场景解析：通过密集场景对齐进行标签传输。在CVPR中。 [42] Lowe，D.G.（2004）。独特的图像特征与尺度不变的关键点。IJCV，60（2），91–110·Zbl 02244065号 ·doi:10.1023/B:VISI.0000029664.99615.94 [43] Maloney，L.T.和；Yang，J.N.（2003）光照估计假设和表面颜色感知。《色彩感知：从光到物体》（第335-358页）。牛津：牛津大学出版社。 [44] Marschner，S.、Westin，S.H.、Arbree，A.和；Moon，J.T.（2005）成品木材外观的测量和建模。洛杉矶ACM SIGGRAPH（第727-734页）。 [45] Marschner，S.、Westin，S.H.、LaFortune，E.P.F.、Torrance，K.E.和；格林伯格博士（1999年）。基于图像的brdf测量，包括人体皮肤。在第十届欧洲图形绘制研讨会上，格拉纳达（第139-152页）。 [46] Matusik，W.、Pfister，H.、Brand，M.和；McMillan，L.（2000）。数据驱动的反射率模型。路易斯安那州ACM SIGGRAPH（第759–769页）。 [47] McHenry，K.和；Ponce，J.（2005）。用于查找玻璃的测地线活动轮廓框架。CVPR，圣地亚哥（第1卷，第1038-1044页）。 [48] McHenry，K.、Ponce，J.和；Forsyth，D.（2005）。寻找玻璃。CVPR，圣地亚哥（第2卷，第973-979页）。 [49] Motoyoshi，I.、Nishida，S.、Sharan，L.和；Adelson，E.H.（2007）。图像统计和表面反射率感知。《自然》，447，206-209·doi:10.1038/nature05724 [50] Nicodemus，F.（1965年）。不透明表面的方向反射率和发射率。应用光学，4（7），767–775·doi:10.364/AO.4.000767 [51] Nillius，P.和；Eklundh，J.-O.（2004）。根据材料的反射特性对其进行分类。ECCV，布拉格（第4卷，第366–376页）·Zbl 1098.68827号 [52] Nishida，S.和；Shinya，M.（1998）。使用基于图像的信息判断表面反射特性。美国光学学会杂志A，152951–2965·doi:10.1364/JOSAA.15.002951 [53] Nishino，K.、Zhang，Z.和；Ikeuchi，K.（2001）。从稀疏图像集确定反射参数和照明分布，以进行视相关图像合成。温哥华ICCV（第599-601页）。 [54] 奥伦，M.，&；Nayar，S.K.（1995）。朗伯模型的推广及其对机器视觉的影响。国际计算机视觉杂志，14（3），227-251·doi:10.1007/BF01679684 [55] Parikh，D.，&；Zitnick，L.（2010）。特征、算法和数据在视觉识别中的作用。在CVPR中。 [56] Pellacini，F.、Ferwerda，J.A.和；Greenberg，D.P.（2000）。为图像合成建立基于心理物理的光反射模型。在第27届计算机图形和交互技术年会上，新奥尔良（第55-64页）。纽约：ACM。 [57] Phong，B.-T.（1975年）。计算机生成图片的照明。ACM通讯，18，311–317·doi:10.1145/360825.360839 [58] 南卡罗来纳州庞特；Koenderink，J.J.（2005）。双向纹理对比功能。IJCV，第62（1/2）页，第17–34页·Zbl 1039.68701号 [59] Ramamoorthi，R.&；Hanrahan，P.（2001）。用于反向渲染的信号处理框架。洛杉矶ACM SIGGRAPH（第117–128页）。 [60] Robilotto，R.和；Zaidi，Q.（2004）。自然观察条件下真实物体的亮度识别极限。《视觉杂志》，4（9），779–797·doi:10.1167/4.8.779 [61] Romeiro，F.、Vasilyev，Y.和；Zickler，T.E.（2008）。被动反射计。ECCV（第4卷，第859-872页）。 [62] 罗梅罗，F.，&；Zickler，T.E.（2010年）。盲反射计。ECCV（第1卷，第45-58页）。 [63] Rosch，E.和；Lloyd，B.B.（编辑）。（1978年）。认知和分类。在分类原则中。希尔斯代尔：埃尔鲍姆。 [64] 佐藤（Sato，Y.）、惠勒（Wheeler，M.）和；Ikeuchi，K.（1997）。从观测得到的物体形状和反射率建模。ACM SIGGRAPH（第379–387页）。 [65] 萨瓦雷斯，S&；克里米尼西，A.（2004）。折叠纺织品的分类。网址：http://research.microsoft.com/vision/cambridge/recognition/MSRC_MaterialsImageDatabase.zip，2004年8月 [66] Sharan，L.、Li，Y.、Motoyoshi，I.、Nishida，S.和；阿德尔森，E.H.（2008）。表面反射率感知的图像统计。美国光学学会杂志A，25（4），846-865·doi:10.364/JOSAA.25.000846 [67] Sharan，L.、Rosenholtz，R.和；Adelson，E.（2009）。物质感知：你一眼就能看到什么？【摘要】。《视觉杂志》，9（8），784–784a。 ·doi:10.1167/9.8784标准 [68] 托德·J·T、诺曼·J·F和；Mingolla，E.（2004）。存在镜面反射高光时的亮度恒定性。心理科学，15，33-39·doi:10.1111/j.0963-7214.2004.01501006.x [69] Tominaga，S.和；田中，N.（2000）。从单色图像估计反射参数。IEEE计算机图形与应用，20（5），58–66。 [70] Varma，M.和；Zisserman，A.（2005）。从单个图像进行纹理分类的统计方法。国际JCV，62（1-2），61–81。 [71] Varma，M.和；Zisserman，A.（2009）。使用图像块样本进行材料分类的统计方法。TPAMI，31（11），2032-2047年。 [72] Ward，G.（1992年）。测量和建模各向异性反射。在第19届计算机图形和交互技术年会上（第26卷，第265-272页）。纽约：ACM。 [73] WordNet。(1998). WordNet：一个电子词汇数据库。马萨诸塞州剑桥：麻省理工学院出版社·Zbl 0913.68054号 [74] Xiao，B.和；Brainard，D.H.（2008）。三维物体的表面光泽和颜色感知。视觉神经科学，25371-385·网址：10.1017/S0952523808080267 [75] Yu，Y.，Debevec，P.，Malik，J.，Hawkins，T.（1999）。反向全局照明：从照片中恢复真实场景的反射模型。ACM SIGGRAPH（第215-224页）。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。