研究论文

VR/AR场景中基于声音仿真辅助的材料识别系统

作者:

张 Runting（跑步）,

浩南吴，以及

广东薛作者信息和声明

UbiComp/ISWC’21副刊：2021年ACM普及和普适计算国际联合会议的副刊和2021年AC M可穿戴计算机国际研讨会的副刊

2021年9月

页575-579

https://doi.org/10.1145/3460418.3480162

出版:2021年9月24日出版历史

获取访问权限

摘要

我们提出了一种新的模型，将转移学习方法用于通过敲入VR/AR应用程序来指定和识别对象的材料。与传统的接触敲击材料/物体识别方法不同，我们应用声音模拟方法来扩大包含真实场景中各种模型和材料的训练数据集。我们的方法基于神经网络的域逆向训练，它从预先收集的模拟和对应的真实敲击声中学习，以提取由不同材料决定的共同特征。给定扫描的三维模型和用户发出的真实敲击声，我们提出了一种增量学习模型，利用预训练转移学习模型提取的特征生成最终的材料分类器。我们进行了总体评估，结果表明，我们的系统实现了大约93.3%的材料识别准确率，远高于之前工作中提到的准确率。

工具书类

[1]

阿森·阿卜杜拉利（Arsen Abdulali）、伊布拉金·阿塔贾诺夫（Ibragim Atadjanov）、李承奎（Seungkyu Lee）和郑秀熙（Seokhee Jeon）。2019.基于测量的超弹性材料识别和触觉渲染的实时FEM模拟。第25届ACM虚拟现实软件与技术研讨会（澳大利亚新南威尔士州帕拉马塔）（VRST’19）。美国纽约州纽约市计算机协会，第15条，共10页。https://doi.org/10.1145/3359996.3364275

数字图书馆

[2]

维沙尔·阿加瓦尔（Vishal Agarwal）、舒巴姆·卡普（Shubham Kapse）、基什里·辛普尔（Kishori Shimple）和贾维德·谢赫（Javed Shaikh）。2020.使用声学信号处理进行材料识别的各种技术综述。《国际科学技术研究杂志》9（2020年3月），5408。

[3]

戴世杰、高志斌、史志远和黄连芬。2015.基于高光谱成像和SVM的材料智能识别。2015年第一届计算智能理论、系统和应用国际会议（CCITSA）。69–72. https://doi.org/10.109/CCITSA.2015.16

[4]

雅罗斯拉夫·加宁（Yaroslav Ganin）、叶夫根尼亚·乌斯蒂诺娃（Evgeniya Ustinova）、哈娜·阿贾坎（Hana Ajakan）、帕斯卡·日尔曼（Pascal Germain）、雨果·拉罗谢尔（Hugo Larochelle）、弗朗索瓦·拉维奥莱特（François La。2016年，神经网络领域培训。机器学习研究杂志17，1（2016），2096–2030。

[5]

布鲁诺·L·佐丹奴和斯蒂芬·麦克亚当斯。2006.真实撞击声的材料识别：钢、玻璃、木材和有机玻璃板尺寸变化的影响。《美国声学学会杂志》119，2（2006），1171-1181。

[6]

胡安·何塞·冈萨雷斯（Juan Jose Gonzalez Espana）、乔瓦尼·阿尔贝托·希梅内斯·别尔斯（Jovani Alberto Jimenez Builes）和安德烈斯·菲利佩·杰詹·塔巴雷斯（Andres Felipe Jejen Tabares）。2015.基于声阻抗的工业检测用超声波传感器。2015年，第20届信号处理、图像和计算机视觉研讨会（STSIVA）。1–6. https://doi.org/10.1109/STSIVAA.2015.7330435

[7]

Watcharada Hamontree、Chowarit Mitsantisuk和Jantanee Rungrangpitayagon。2015.使用敲击声处理和干扰观测器的反作用力进行物体识别。2015年第七届信息技术与电气工程国际会议（ICITEE）。370–375. https://doi.org/10.1109/ICTIEED2015.7408974

[8]

Ward Heylen、Stefan Lammens和Paul Sas，1997年。模态分析理论和测试。第200卷。比利时鲁汶大学。

[9]

金旭彤、李胜、曲天树、马诺查、王国平。2020年，深度模式：任意形状的实时冲击声合成。第28届ACM国际多媒体会议（西雅图，华盛顿州，美国）会议记录（MM’20）。计算机械协会，美国纽约州纽约市，1171-1179年。https://doi.org/10.1145/3394171.3413572

数字图书馆

[10]

N.凯沙瓦。2004.高光谱处理中的距离度量和波段选择，以及材料识别和光谱库应用。IEEE地球科学与遥感汇刊42，7（2004），1552-1565。https://doi.org/10.109/TGRS.2004.830549

[11]

穆纳·汗（Munna Khan）、卡塞尔·雷扎（Qaiser Reza）、阿肖克·库马尔·萨尔汗（Ashok Kumar Salhan）和沙伊拉·PSMA Sirdeshmukh。2019.基于声共振光谱的简单系统，用于材料的光谱表征和分类。《智能与模糊系统杂志》36，5（2019），4389–4397。

[12]

罗伯塔·L。Klatzky，Dinesh K。Pai和Eric P。克罗特科夫。2000.从接触声音中感知材料。出席9、4（2000）、399–410。https://doi.org/10.1162/105474600566907

数字图书馆

[13]

埃里克·克罗特科夫（Eric Krotkov）、罗伯塔·克拉茨基（Roberta Klatzky）和尼娜·祖梅尔（Nina Zumel）。1997年，机器人对材料的感知：材料类型的形状非变异声学测量实验。在实验机器人学IV中，Oussama Khatib和J.Kenneth Salisbury（编辑）。施普林格-柏林-海德堡，柏林，海德堡204-211。

[14]

Man Liu和D.G.Gorman。1995年，瑞利阻尼公式及其扩展。计算机与结构57，2（1995），277–285。https://doi.org/10.1016/0045-7949(94)00611-6

[15]

罗山、朱乐琪、卡斯帕·阿尔特霍费尔和刘宏斌。2017.敲击：使用叠层去噪自动编码器进行声目标识别。神经计算267（2017），18-24。https://doi.org/10.1016/j.neucom.2017.03.014

数字图书馆

[16]

Christoph Mertz，Sanjeev J。Koppal、Solomon Sia和Srinivasa Narasimhan。2012.用于室外场景重建和主要材料识别的低功耗结构光传感器。2012年IEEE计算机学会计算机视觉和模式识别研讨会。15–22. https://doi.org/10.109/CVPRW.2012.6239194

[17]

Mark Pauly、Niloy J Mitra、Joachim Giesen、Markus H Gross和Leonidas J Guibas。2005.基于示例的三维扫描完成。在几何处理研讨会上。23–32.

[18]

任志敏、叶恒钦和明C。林.2013。基于物理的模态声音合成示例。ACM事务处理。图表。32，1，第1条（2013年2月），16页。https://doi.org/10.1145/2421636.2421637

数字图书馆

[19]

奥斯顿·斯特林和明·C。林.2016。使用广义比例阻尼的交互式模态声音合成。第20届ACM SIGGRAPH交互式3D图形和游戏研讨会论文集（华盛顿州雷蒙德）（I3D’16）。美国纽约州纽约市计算机协会，79-86。https://doi.org/10.1145/2856400.2856419

数字图书馆

[20]

唐振宇，Nicholas J。布莱恩、李定泽、蒂莫西·R。Langlois和Dinesh Manocha。2020年。通过深度声学分析进行场景感知音频渲染。IEEE可视化和计算机图形学报26，5（2020），1991–2001。https://doi.org/10.109/TVCG.2020.2973058

[21]

Ju Wang、Jie Xiong、Xiaojiang Chen、Hongbo Jiang、Rajesh Krishna Balan和Dingyi Fang。2017.TagScan：与商品RFID设备同时进行目标成像和材料识别。《第23届移动计算与网络国际年会论文集》（美国犹他州雪鸟）（MobiCom’17）。美国纽约州纽约市计算机协会，288-300。https://doi.org/10.1145/3117811.3117830

数字图书馆

[22]

王觉贤。2019.使用时域方法的基于物理的声音合成。132页。https://www.proquest.com/desertations-theses/physics-based-sound-synthesis using-time-domain/docview/2466041968/se-2？accountid=13818-数据库版权ProQuest LLC；ProQuest不主张个人基础作品的版权；。

[23]

Jui-Xien Wang和Doug L James。2019.KleinPAT：声学传输时域预计算的最佳模式合并。ACM事务处理。图表。38, 4 (2019), 122–1.

数字图书馆

[24]

Jui-Xien Wang和Doug L。詹姆斯。2019.KleinPAT：声传输时域预计算的最佳模式配置。ACM事务处理。图表。第38、4条，第122条（2019年7月），共12页。https://doi.org/10.1145/3306346.3322976

数字图书馆

[25]

许洪毅（Hongyi Xu）和杰尼·巴比（Jernej Barbič）。2017.基于实例的阻尼设计。ACM事务处理。图表。第36、4条，第53条（2017年7月），共14页。https://doi.org/10.1145/3072959.3073631

数字图书馆

[26]

张周彤、吴佳军、李秋佳、黄正嘉、詹姆斯·特拉尔、乔什·麦克德莫特、约书亚·特南鲍姆和威廉·弗里曼。2017.物体感知听觉形状的生成性建模。IEEE计算机视觉国际会议论文集。1251–1260.

建议

沉浸式听觉显示系统“声桶”：基于边界表面控制原理的三维声场再现系统
VRST’18：第24届ACM虚拟现实软件与技术研讨会论文集

Sound cask是为了实现完美的3D听觉显示而开发的，它基于边界表面控制（BoSC）原理，在听者头部周围创建与主声场相同的3D声波。

如果我们考虑声音。。。
阅读更多信息
一种虚拟现实中的虚拟听觉方法
AM’18：2018年音频会议录《沉浸与情感中的声音》

在当今的工业中，预测软件在建筑声学中的应用是普遍的。Odeon、CATT和CadnaA等项目已成为设计过程中不可或缺的一部分。这些程序结合了一般声学理论和CAD建模。。。
阅读更多信息
飞行模拟器三维声音仿真系统
ICCMS’10：2010年第二届计算机建模与仿真国际会议论文集-第1卷

开发了一个逼真的三维声音仿真系统，该系统集成在用于飞行员训练的飞行模拟器中。简要介绍了飞行模拟器的组成。为了满足声音模拟系统的要求，Visual C++和。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

UbiComp/ISWC’21副刊：2021年ACM普及和普适计算国际联合会议的副刊和2021年AC M可穿戴计算机国际研讨会的副刊

2021年9月

711页

国际标准图书编号：9781450384612

内政部：10.1145/3460418

版权所有©2021 ACM。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重ACM以外的其他人拥有的本作品组件的版权。允许用信用证进行摘要。要以其他方式复制或重新发布，在服务器上发布或重新发布到列表，需要事先获得特定许可和/或付费。从请求权限[电子邮件保护]

赞助商

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2021年9月24日

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章
研究
推荐有限公司

资金来源

国家自然科学基金
上海交大青年研究启动基金、上海学术研究带头人项目

会议

UbiComp’21

赞助商：

UbiComp’21：2021年ACM普适计算国际联合会议

2021年9月21日至26日

虚拟，美国

接受率

2912份提交文件的总体接受率为764份，26%

即将召开的会议

24年UBICOMP

赞助商：
西奇
西奇

2024年ACM普适计算国际联合会议

2024年10月5日至9日

墨尔本，维多利亚州，澳大利亚

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

0
引文总数
187
下载总量

下载次数（过去12个月）40
下载次数（最近6周）三

其他指标

查看作者指标

引文

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

HTML格式格式

在中查看本文HTML格式格式。

媒体

数字

其他

桌子