研究论文

分析声音物体与身体运动之间的对应关系

作者:

克里斯蒂安尼莫恩,

罗尔夫·英格上帝洛伊,

亚历山大·雷夫萨姆杰森尼乌斯、和

吉姆托雷森作者信息和声明

ACM应用感知交易（TAP）,体积10,问题2

文章编号：9，第页1-22

https://doi.org/10.1145/2465780.2465783

出版:2013年6月4日出版历史

获取访问权限

摘要

音乐和身体运动之间的联系可以通过名为声音追踪这类研究的主要挑战之一是开发稳健的分析技术，能够处理音乐声音和身体运动所呈现的多维数据。这篇文章评价了四种不同的分析方法，在一个实验中，参与者根据短声音物体的感知特征移动他们的手。使用四种不同的方法对运动捕捉数据进行了分析，并将其与一组定量声音特征相关联：（a）模式识别分类器，（b）t吨-测试，（c）Spearmanρ相关，和（d）典型相关。本文说明了分析方法是如何相互补充的，并且将几种分析技术应用于同一数据集可以拓宽从实验中获得的知识。

工具书类

[1]

Bregman，A.S.1990年。听觉场景分析：声音的感知组织。麻省理工学院出版社，马萨诸塞州剑桥。

[2]

Burger，B.、Thompson，M.、Luck，G.、Saarikallio，S.和Toiviainen，P.2012。音乐打动我们：与节拍相关的音乐特征影响音乐诱导的运动规律。在音乐感知和认知国际会议论文集上。183--187.

[3]

Camurri，A.、Lagerlöf，I.和Volpe，G.，2003年。从舞蹈动作中识别情感：观众识别和自动技术的比较。国际J·休姆-计算。螺柱59、1--2、213--225。

数字图书馆

[4]

Caramiaux，B.、Bevilacqua，F.和Schnell，N.，2010年。走向手势声音的跨模态分析。《具体通信和人机交互中的手势》，S.Kopp和I.Wachsmuth，Eds.，《计算机科学系列讲座笔记》，第5934卷，柏林斯普林格，158-170。

数字图书馆

[5]

Clarke，E.F.2005年。聆听方式：音乐意义感知的生态学方法。牛津大学出版社，纽约。

[6]

Duda，R.O.、Hart，P.E.和Stork，D.G.2000。模式分类。Wiley-Interscience，纽约。

数字图书馆

[7]

Eitan，Z.和Granot，R.Y.，2006年。音乐如何运动：音乐参数和听众的运动图像。音乐感知。23, 3, 221--248.

[8]

Galantucci，B.、Fowler，C.和Turvey，M.，2006年。回顾了言语感知的运动理论。精神病。牛市。修订版13，3，361--377。

[9]

Godöy，R.I.2006年。手势洪亮的物体：谢弗概念装置的具体延伸。组织声音11，02，149--157。

数字图书馆

[10]

Godöy，R.I.2010a。音乐声音的手势启示。《音乐手势：声音、动作和意义》，R.I.Godöy和M.Leman，Eds.，Routledge，纽约，103-125。

[11]

Godöy，R.I.2010b。声波物体的图像。组织声音12，54-62。

数字图书馆

[12]

Godöy，R.I.、Haga，E.和Jensenius，A.R.2006年。通过录音探索音乐相关手势的初步研究。第二届ConGAS多媒体系统手势接口国际研讨会论文集。

[13]

Godöy，R.I.和Jensenius，A.R.2009年。音乐信息检索中的身体运动。第十届国际音乐信息检索学会会议记录。45--50.

[14]

格雷，J.M.，1977年。音色的多维感知缩放。J.声学。Soc.Amer公司。61, 5, 1270--1277.

[15]

Haga，E.2008年。音乐和身体运动之间的对应关系。奥斯陆大学博士论文。

[16]

Holm，S.1979年。一个简单的顺序拒绝多重测试程序。扫描。《美国法律总汇》第65-70页。

[17]

Hotelling，H.1936年。两组变量之间的关系。生物特征28，3/4，321--377。

[18]

休伦·D、达尔·S和约翰逊·R，2009年。面部表情和音高：多式联运联系的证据。员工。音乐。修订版4、3、93--100。

[19]

Kohler，E.、Keysers，C.、Umiltá，A.、Fogassi，L.、Gallese，V.和Rizzolatti，G.，2002年。听声音，理解动作：镜像神经元中的动作表征。《科学》2975582846-848。

[20]

Kozak，M.、Nymoen，K.和Godöy，R.I.，2011年。声音的频谱特征对手势类型和计时的影响。第九届国际手势研讨会论文集。E.Efthimiou和G.Kourupetroglou，编辑，20-24。

数字图书馆

[21]

Kussner，M.，2012年。创造形状：音乐家和非音乐家对声音的视觉表现。第四届系统音乐学学生国际认可会议记录。U.Seifert和J.Wewers，Eds.，音乐出版社。

[22]

Lartillot，O.、Toiviainen，P.和Eerola，T.，2008年。用于音乐信息检索的matlab工具箱。《数据分析、机器学习和应用》，C.Preisach、H.Burkhardt、L.Schmidt-Thieme和R.Decker编辑，《分类、数据分析和知识组织研究》。，柏林施普林格，261-268。

[23]

Leman，M.2008年。具体化音乐认知与调解技术。麻省理工学院出版社，马萨诸塞州剑桥。

数字图书馆

[24]

Leman，M.、Vermeulen，V.、De Voogdt，L.、Taelman，J.、Moelants，D.和Lesaffre，M.，2004年。手势音乐音频线索与感知表达质量的相关性。《人机交互中基于手势的交流》，A.Camurri和G.Volpe，Eds.，《计算机科学系列讲座笔记》，第2915卷，Springer，Berlin，40-54。

[25]

Liberman，A.M.和Mattingly，I.G.1985年。修正了言语感知的运动理论。认知21，1，1--36。

[26]

McAdams，S.、Winsberg，S.和Donnadieu，S.，Soete，G.，以及Krimphoff，J.，1995年。合成音色的感知缩放：常见维度、特殊性和潜在主题类别。《心理学研究》58、177--192。

[27]

Merer，A.、Ystad，S.、Kronland-Martinet，R.和Aramaki，M.，2008年。引起运动的声音的符号学：分类和声学特征。在计算机音乐建模和检索。《声音的感觉》，R.Kronland-Martinet、S.Ystad和K.Jensen编辑，《计算机科学系列讲座笔记》，第4969卷，柏林斯普林格-Verlag，139-158。

数字图书馆

[28]

Mierswa，I.、Wurst，M.、Klinkenberg，R.、Scholz，M.和Euler，T.，2006年。耶鲁：复杂数据挖掘任务的快速原型制作。在第12届ACM SIGKDD知识发现和数据挖掘国际会议论文集（KDD'06）。L.Ungar、M.Craven、D.Gunopulos和T.Eliassi-Rad，美国医学会编辑，935-940。

数字图书馆

[29]

Nymoen，K.、Caramiaux，B.、Kozak，M.和Torresen，J.2011年a。分析声音轨迹：音乐信息检索的多模态方法。在第一届国际ACM音乐信息检索与用户中心和多模式策略研讨会（MIRUM’11）的会议记录中。ACM，纽约，39-44。

数字图书馆

[30]

Nymoen，K.、Glette，K.、Skogstad，S.A.、Torresen，J.和Jensenius，A.R.，2010年。使用SVM分类器搜索声音和运动特征之间的跨个体关系。音乐表达新接口国际会议论文集。259--262.

[31]

Nymoen，K.、Skogstad，S.A.和Jensenius，A.R.，2011年b。声刀——一种动作捕捉工具。音乐表达新接口国际会议论文集。312--315.

[32]

Nymoen，K.、Torresen，J.、Godöy，R.和Jensenius，A.R.，2012年。一种分析声音轨迹的统计方法。《语音、声音和音乐处理：印度的拥抱研究》，S.Ystad、M.Aramaki、R.Kronland-Martinet、K.Jensen和S.Mohanty编辑，《计算机科学系列讲座笔记》，第7172卷，柏林斯普林格，120-145。

数字图书馆

[33]

Peeters，G.、Giordano，B.、Susini，P.、Misdariis，N.和McAdams，S.，2011年。音色工具箱：从音乐信号中提取音频描述符。阿库斯特。Soc.Amer公司。130, 5, 2902--2916.

[34]

Pellegrino，G.、Fadiga，L.、Fogassi，L.，Gallese，V.和Rizzolatti，G.1992。理解运动事件：一项神经生理学研究。实验脑研究91，176-180。

[35]

Pirhonen，A.2007年。声音和图像的语义——它们可以并行吗&quest；第13届国际听觉显示会议记录，319-325。

[36]

Repp，B.H.1995年。音乐表演中整体节奏对表达时间的定量影响：一些感性证据。音乐感知。13, 1, 39--57.

[37]

罗森鲍姆，D.2001。人类运动控制。圣地亚哥学术出版社。

[38]

谢弗，P.1966。音乐的特点。巴黎修道院。

[39]

舒伯特，E.2002。对音乐的持续情绪反应的相关性分析。《音乐科学规范》，2001-02，213--236。

[40]

Stein，B.E.和Meredith，M.A.，1993年。感官的融合。麻省理工学院出版社，马萨诸塞州剑桥。

[41]

Styns，F.、van Noorden，L.、Moelants，D.和Leman，M.，2007年。在音乐中行走。人类运动科学26，5769-785。

[42]

van Noorden，L.1975年。声调序列感知中的时间连贯性。埃因霍温技术大学博士论文。

[43]

van Nort，D.2009年。乐器聆听：以声音手势为设计原则。器官。声音14，2，177--187。

数字图书馆

[44]

瓦西拉基斯，P.2001。振幅波动的感知和物理特性及其音乐意义。加州大学洛杉矶分校博士论文。

[45]

Vines，B.W.、Krumhansl，C.L.、Wanderley，M.M.和Levitin，D.J.，2006年。音乐表演感知中的跨模态互动。认知101，1，80--113。

[46]

Vroomen，J.和de Gedler，B.2000。声音增强视觉感知：听觉组织对视觉的交叉效应。《实验杂志》。心理学：人类感知。性能26、5、1583-1590。

[47]

沃克，B.N.2000。声学中使用的概念数据尺寸的量级估计。德克萨斯州休斯顿莱斯大学博士论文。

[48]

Walker，R.1987年。文化、环境、年龄和音乐训练对声音视觉隐喻选择的影响。感知。心理学491-502。

[49]

Wessel，D.L.1979年。音色空间作为音乐控制结构。计算。音乐J.3，2，45-52。

[50]

Zatorre，R.2005年。音乐，神经科学和探索的食物；自然434，312--315。

引用人

棉花K德弗里斯K鞑靼K(2024)为失踪者歌唱：将身体带回人工智能语音技术第九届运动与计算国际会议记录10.1145/3658852.3659065(1-12)在线发布日期：2024年5月30日
https://dl.acm.org/doi/10.1145/3658852.3659065
吉比特S(2024)表达性指挥手势语法声音设计10.1007/978-3-031-57892-2_5(67-91)在线发布日期：2024年5月10日
https://doi.org/10.1007/978-3-031-57892-25
达马里奥STernström S公司戈布尔W主教L(2023)合唱歌手的身体运动心理学前沿10.3389/fpsyg.2023.122090414在线发布日期：2023年12月22日
https://doi.org/10.3389/fpsyg.2023.1220904
显示更多引用者

索引术语

分析声音物体与人体运动的对应关系
1. 应用计算
  1. 艺术与人文
    1. 声音和音乐计算
2. 硬件
  1. 通信硬件、接口和存储
    1. 信号处理系统
  2. 稳健性
    1. 硬件可靠性
      1. 信号完整性和噪声分析

建议

双手旋律声控中的表现策略
MOCO’17：第四届运动计算国际会议记录

本文描述了一个实验，在这个实验中，受试者对人声旋律进行了一个声音追踪任务。他们可以双手在空中自由移动，他们的动作通过红外标记系统捕捉。我们提出了…的类型学。。。
阅读更多信息
结合手指运动的全身运动表示与分类
摘要
本文提出了一种用手指表示人体全身运动的新方法，并对执行需要精细手指运动（例如握住或抓握）的任务时的人体运动进行分类。人类整体-。。。
集锦
- 本文提出了一种将全身与手指相结合的运动表示方法。
阅读更多信息
通过运动源对身体部位的重组产生舞蹈运动

在本文中，我们提出了一种通过结合人体运动数据库中的身体部位运动来合成新舞蹈动作的方法。该方法旨在提供一个运动源，使机器人或动画角色能够进行即兴表演。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM应用感知交易

ACM应用感知交易第10卷第2期

2013年5月

98页

国际标准编号：1544-3558

EISSN公司：1544-3965

内政部：10.1145/2465780

版权所有©2013 ACM。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重ACM以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布，在服务器上发布或重新发布到列表，需要事先获得特定许可和/或付费。从请求权限[电子邮件保护]

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2013年6月4日

认可的：2012年12月1日

修订过的：2012年10月1日

收到：2012年6月1日

在TAP中发布体积10,问题2

权限

请求对此文章的权限。

检查更新

作者标记

限定符

研究文章
研究
推荐

资金来源

贡献者

其他指标

查看文章度量

文献计量学和引文

文献计量学

文章指标

27
引文总数
查看引文
536
总下载次数

下载次数（过去12个月）28
下载次数（最近6周）4

其他指标

查看作者指标

引文

引用人

棉花K德弗里斯K鞑靼K(2024)为失踪者歌唱：将身体带回人工智能语音技术第九届运动与计算国际会议记录10.1145/3658852.3659065(1-12)在线发布日期：2024年5月30日
https://dl.acm.org/doi/10.1145/3658852.3659065
吉比特S(2024)表达性指挥手势语法声音设计10.1007/978-3-031-57892-2_5(67-91)在线发布日期：2024年5月10日
https://doi.org/10.1007/978-3-031-57892-25
达马里奥STernström S公司戈埃布尔W主教L(2023)合唱歌手的身体动作心理学前沿10.3389/fpsyg.2023.122090414在线发布日期：2023年12月22日
https://doi.org/10.3389/fpsy.2023.1220904
乔米A(2023)可穿戴技术与内脏的现象学研究：从体验互动到生物物理音乐表演有组织的声音10.1017/S1355771823000286(1-15)在线发布日期：2023年11月16日
https://doi.org/10.1017/S1355771823000286
皮尔逊L磅W(2022)卡纳塔克音乐表演中的手势-声音耦合：一种神经-身体分布的美学纠缠纽约科学院年鉴10.1111/nyas.148061515:1(219-236)在线发布日期：2022年6月21日
https://doi.org/10.1111/nyas.14806
帕沙利杜S(2022)Dhrupad即兴发声过程中声音和动作描述符与想象物体相互作用的力推断和预测可穿戴技术2017年10月10日/wtc.2022.8三在线发布日期：2022年7月5日
https://doi.org/10.1017/wtc.2022.8
上帝洛伊·R(2021)音乐表演中基于约束的声音运动对象心理学前沿10.3389/fpsyg.2021.73272912在线发布日期：2021年12月21日
https://doi.org/10.3389/fpsyg.2021.732729
华莱士B马丁·C托雷森JNymoen K公司Sas C公司少女N(2021)学习具体化的声音-动作映射：评估人工智能生成的舞蹈即兴表演第十三届创造力和认知会议记录10.1145/3450741.3465245(1-9)在线发布日期：2021年6月22日
https://dl.acm.org/doi/10.1145/3450741.3465245
签证F田中A(2021)音乐手势的交互式机器学习音乐人工智能手册10.1007/978-3-030-72116-9_27(771-798)在线发布日期：2021年7月3日
https://doi.org/10.1007/978-3-030-72116-9_27
凯尔卡T(2021)用于音乐信息检索任务的身体数据医学和音乐推荐系统10.1007/978-3-030-66450-3_10(153-165)在线发布日期：2021年4月8日
https://doi.org/10.1007/978-3-030-66450-3_10
显示更多引用者

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此文章

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

媒体

数字

其他

桌子

查看问题目录