摘要

对于裸耳而言，安装与波浪同在看起来很安静，但通过戴上改进过的耳机，可以发现隐藏的声音、乐器音调和海事声音。该装置由一系列高音扬声器组成，这些高音扬声器发射多通道超声波合成物，在空间中发出物理声音。听者耳朵上的超声波现象被嵌入耳机耳罩外部的麦克风捕获，转换为可听性，并输出到耳机。超声波材料的振幅解调导致多普勒效应放大，听者可以准确地听到音乐的弯曲和移动。虽然没有运动传感器、映射或反馈回路，但由于听者与声音现象的紧密纠缠，装置被视为是交互式的。互动的动态质量完全是通过游客的听觉才能体现出来的，这是一种由游客对声音、身体运动和感知行为的取向所决定的具体感官体验。本文描述了对安装的关键影响、其超声波技术、改装耳机的设计以及组成方法。

作者关键字

声音装置、声音艺术、互动艺术、互动、超声波、调幅

CCS概念

•应用计算→声音和音乐计算；媒体艺术；
•以人为中心的计算→交互设计→ 交互设计理论、概念和范式；

介绍

受声音艺术传统实践的启发，本文探讨了“静态”装置的交互潜力，即发出的声音不会因听者通过计算过程的移动而改变：没有运动传感器、编程交互、映射或反馈回路。相反，倾听的体验可能是感知由于声源的空间排列和听者与空气中物理存在的声音现象的紧密纠缠，因此具有互动性。互动体验是一种具体的感官体验，由听者对声音、身体运动和感知行为的取向决定。

与波浪同在是一种采用并建立在这种范式之上的艺术装置。由于系统中的超声波调制，多普勒效应被夸大，强调了听者与声学现象的密切互动。听者直接听到她动作的结果，与具有固定空间位置的声源有关。本文将描述对装置设计、技术实现以及与系统组成过程的关键影响。

声音装置艺术

1971年，美国声音艺术家马克斯·纽豪斯首次使用“声音装置”一词。Neuhaus感兴趣的是将作品的元素放在空间中，从而允许听者通过空间运动将声音放在自己的时间里[1]在这一传统中，艺术家组装音频播放技术，并在太空中创作和放置声音材料，以创建一个复杂的声音现象场。声音具有独特的沉浸感，作为一种艺术材料，它缩小了艺术对象与其观众之间的距离[2]安装艺术鼓励人们将注意力从声源上微妙转移在那里我们在声音的中间空间中的聆听体验。艺术品通常被描述为特定场地，因为它们与装置场地紧密相连，室内声学对作品有积极贡献。因此，装置突出了听力的情境性；取决于听者对装置的空间关系以及当他们将耳朵对准装置时的注意行为。

在20世纪60年代安装梦想之家由Young和Zazeela创作，持续的乐器和电子音调以高音量演奏到装置空间，创造驻波；空间固定的不同强度分子振荡的复杂模式[3].英寸留下来正弦波管弦乐团邀请游客携带一个小型正弦波发生器，设置其频率，并将其夹在展厅内悬挂的许多金属棒中的一根上[4]。从远处看，画廊空间充满了听起来像是一团白噪音悬在空中的东西。跨过电线，听者会意识到谐波簇的移动。更近距离的聆听可以让你感受到单个音调、微组合以及不同音调在空中的相互作用。

在上述两个例子中，听觉体验与听者耳朵相对于声音空间的位置密切相关。声音场景是如此复杂且固定在空间中，以至于当听者移动时，他们会感知到自己与装置之间不断变化的空间关系，甚至会对身体位置进行微小的调整。

中介和强化听力

上述装置使听者能够直接接触耳朵上的声音现象。艺术家们还创作了一些作品，让听众可以通过定制设备探索物理上存在但听不见的现象，这些设备可以增强耳朵以进行超人的聆听。在这里，听者的体验取决于感测设备对环境的方位。例如，库比什电气行走邀请观众使用将电磁信号转换为声音的耳机探索城市环境[5]在NIME 2015上展出的PHOX耳朵收听装置由两个安装在头盔上的抛物面话筒组成，佩戴者可以听到远处的声源[6].

范德海德的放射景观，是一种在公共空间运行的交互式声音装置。组合物通过电磁频谱中的几个发射器发射。参观者使用带有两个天线的手持式接收器探索装置，这两个天线对电磁场的电子和磁性元件具有不同的灵敏度。走动时，一些信号变大，另一些信号变弱，而接收器的移动允许进行更精细的探索[7].

超声波仪器和装置

超声波通常指频率高于20kHz的声音，这种现象是物理上存在的，但由于人类听力的限制而无法察觉。超声波距离传感器广泛用于数字乐器（DMI）和交互式设备（例如。[8])但可以说，超声波的技术和创新潜力尚未得到充分开发。在NIME 2010上，Ciglar引入了一个音乐界面，允许通过超声波传感器阵列对音频材料进行空中触觉操作[9]Raes描述了一种基于超声波从演奏者身体上的连续反射来感知演奏者手势或身体运动的系统。利用多普勒效应，系统感知运动的动力学而不是位置信息，作者认为这种模式非常适合在乐器中实现[10].  

许多艺术家在装置中使用了定向声音[11]，通过使用参数化扬声器，如Audio Spotlight[12]它由一组超声波换能器组成，允许声音以超定向波束投射。Pampin等艺术家[13]，阿卢诺[14]、Rijnierse和Bothof[15]我们与这项技术密切合作，创造了利用超声波强指向性和反射率的装置。在Alunno的音乐剧例如，一个旋转参数扬声器在周围环境中投射出一个声音景观，就像灯塔在海上投射出一束光线[14].

无传感器交互

到目前为止，所描述的每个安装都可能被描述为“静态”而不是“动态交互”，因为声音不会因侦听器操作而客观地发生变化。它们不符合科诺克和埃德蒙兹提出的互动艺术系统的现有定义[16]这可能与NIME中流行的装置形成对比，这些装置利用传感技术检测人类行为的各个方面并将其转换为数据。系统被编程来解释数据并通过扬声器、显示器或执行器生成输出[17]在这个范式中，身体运动被感知并映射到声音，但声音不是运动的直接结果，而是一种设计输出。在DMI设计的背景下，Reed和McPherson将这种情况描述为由于用户和机器之间存在中间阶段而启用“间接控制”[18].

我们认为，从人类的角度来看，听“静态”装置的体验可能会被视为具有丰富的互动性，这是因为声源的空间安排以及听者与声音现象的密切纠缠。互动体验完全是通过访客的听觉能力产生的，这取决于他们对声音、身体运动和感知行为的取向。这种互动是关系性的，是固定条件和整个人类技术世界关系的结果。与传统乐器一样，该装置具有特定于其设计和材质的声学特性。它不需要了解任何人类行为，因此，延迟和带宽限制等问题并不存在。”静电装置即使在微尺度上也能提供微妙而亲密的互动；DMI设计中重视的方面[19] [20]并且可能有助于在公共艺术环境中使用声音装置吸引听众。

与波浪同在超声波艺术装置

为了探索紧密纠缠与声波现象之间的相互作用，我们开发了与波浪同在这是一种多声道的声音装置，可以让听众进入超声波的无形世界。它由一组高音单元组成，这些单元发出一种空间合成的声音，在空间中发出实际的声音，但只有戴上一套经过修改的耳机，游客才能听到。受声音艺术传统中的安装实践的启发，其目的是创造一种声音具有强烈空间轮廓的声学环境，这样，身体的运动会导致清晰可辨的声音变化。通过调节听力，目的是强调声音现象的存在。

超声波调制

该装置利用调幅（AM）将可听范围内的声音转换为超声波，然后再将其转换回可听范围。调制器将目标音频信号乘以20.5kHz正弦载波，将信号的频率分量偏移此量。解调遵循相同的过程；乘以相同的载波频率将信号返回到可听见的范围。原始音频保持了相当完整，保持了其保真度，但被房间声学、身体存在和信号链的频率响应所着色。

多声道合成（由六到八个扬声器组成，取决于安装空间）在可听范围内合成，并以96kHz的采样率在Ableton Live中运行。在发射到位于展览空间的各个高音单元之前，每个音频通道都使用Max for Live设备进行振幅调制。空间邀请游客通过专门设计的耳机收听。超声波音频信号由两个EM272驻极体话筒振膜捕获，振膜安装在耳机耳罩上，以近似双耳设置。这些信号被发送到定制放大器电路，然后通过其音频屏蔽发送到Teensy 3.6。在通过耳机的相应耳朵输出信号之前，以96kHz的频率运行的Teensy草图通过相同的幅度调制过程解调每个麦克风信号。由可充电Lipo电池供电的Adafruit Powerboost 500为Teensy和放大器电路提供5V电压。有关系统的概述，请参见图1。

系统的实现需要仔细注意组件的频率响应和高采样率的可用性。在发射端，RME Fireface 800接口的宽频率响应允许在高达40kHz的载波频率下进行实验。在接收器方面，选择Teensy 3.6是因为尽管其音频屏蔽被宣传为以44.1kHz的固定采样率运行，但PJRC论坛用户共享了代码，以实现高达192kHz的高采样率[21].

为了强调倾听的行为，耳机应该退到感知感知的背景中。听众不需要持有任何东西，也不需要持续意识到技术的存在。因此，设计了一个小的亚克力盒子，戴在脖子上，如图2所示。它包含所有电子元件，包括一个开/关开关和音量控制旋钮。

多普勒效应

早期的实验包括测试不同的声源：简单的振荡器、语音录音和乐器样本。移动单个麦克风相对于发出正弦音调的单个高音扬声器，当麦克风来回移动时，会注意到音调的过度弯曲。使用锯齿波或巴松管样品等丰富的谐波源材料，可以发现音色失真，从而在麦克风移动时声音变得不和谐。

多普勒效应是这些夸张而不寻常的声波变化的原因。这是一个常见的过程，由于空气中声音的有限速度，当声源向听者移动或远离听者时，声音的感知频率会发生变化[22]在日常生活中，多普勒效应在移动的车辆上通常很明显，靠近车辆的声音会向上倾斜，而后退车辆的声音则向下倾斜。

在与波浪同在超声调制具有放大多普勒效应的不同寻常的特性。多普勒频移的作用是频率比，其中每个频率分量都乘以一个取决于声源和听者之间的速度的因子。考虑频率为𝑓的源信号_𝑠=1000Hz，频率为𝑓的载波_𝑐=25000Hz，从话筒相对于高音扬声器的运动来看，多普勒频移比𝑟=1.01。如果没有超声波调制，感知频率将为_𝑠= 1010𝐻𝑧.

通过超声波调制，高音扬声器将发射频率成分，在这种情况下为24kHz和26kHz。多普勒频移将导致麦克风处的接收频率为24.24kHz和26.26kHz。当这些信号被解调时，产生的频率将为𝑓_𝑐−𝑟(𝑓_𝑐± 𝑓_𝑠)：1260Hz和760Hz。以前只改变了1%的频率，现在只改变了25%左右，由于调制过程的两个边带，频率被分成了两个音调。当然，这种效应完全取决于运动，完全静止的位置不会引起任何多普勒频移。

设计使用声音

虽然声音的音频保真度在调制过程中得到了保持，但由于超声波的方向性增强、材料成分的影响，以及在较小程度上技术安装所在空间的声学特性，声音的空间外观会发生变化。通过安装系统收听，声音变得奇怪，并以不熟悉的方式表现出来。

作曲过程需要听不同的声音材料，以便从第一人称的角度理解它们的空间外观。那些不以听安装系统的经验为基础，但为多声道扬声器设置作曲的想法根本无法转化。因此，作曲的过程需要一种物质引导的方法，即声音内容是由装置的启示和限制来引导的，而不是一种强加的概念或美学思想。

在听和实验时，第一位作者注意到了与不同声音材料相关的经验印象。简单的持续声音，如正弦音调或和声乐器音调，似乎充满了空间作为一种环境存在。多普勒效应非常显著；微小的声波波动可以通过微小的运动来欣赏，并且由于在更大的区域上更快的运动，可以听到更显著的声音失真。这些“扭曲”的音质让人联想到在充满房间的液体中移动身体的画面，其中的涟漪和干扰是身体动作和水的声学特性的直接物理结果。在装置中与简单的持续声音交互具有类似的“感觉”。相比之下，不和谐、清晰和短暂丰富的声音具有明确的空间轮廓。当场转动，听者会意识到他们对声音的方向改变，但系统会扭曲他们对距离的感知。例如，语音就像广播一样传播，但信号来自一个非常特殊、狭窄的位置，感觉靠近耳朵，而不是来自遥远的来源。

构图过程还受到了在一个合理的设计图式中将交互感觉语境化的意图的指导，这样两者都积极地促进了作品的意义创造。问题是“为什么在这种背景下使用这种技术？”不断被问及。最终，与多普勒效应相关的“流动性”感觉以及装置对语音和环境录音的适用性激发了与波浪同在.访谈节选，探索和中的感官体验具有大海是一种捕捉波浪、漂浮或被淹没的感觉，它与沉浸式的音乐作品交织在一起。因此，该安装旨在获得以下体验与…在一起声音的现象，其感觉由对与…在一起水。视频示例1中可能会听到安装的摘录。

公共展览

与波浪同在在2021年9月的拉姆斯盖特音乐节上展出了四天（见图3）。110名听众体验了这个装置，44人完成了一个关于他们体验的简短调查。一些听众的反应表明，由于多普勒效应，他们意识到了互动效应。例如，L46说，“在移动的过程中，我可以感觉到我似乎很自然地想要解决的不和谐。”L47描述了他们在听安装时经常摇头，并“享受着当时我感觉到的声音所带来的影响。”L58描述了一种“360多维身体……遍布全身的传感器，告诉我我在哪里以及我在太空中的状态”的意识这些回应表明，尽管安装是“静态的”且没有传感器，但听众确实认为安装是交互式的。

结论和未来工作

受声音艺术传统中的装置实践的启发，与波浪同在无传感器。然而，我们认为这是感知的由于声音的空间排列和听者与声学现象的紧密纠缠，因此具有互动性。超声调制强调了这些方面，这导致多普勒效应被夸大。听者听到他们的身体运动与固定在空间中的声音的直接结果。本文描述了对装置开发的关键影响、技术实现以及采用的材料指导方法。

与波浪同在旨在探索聆听声音装置艺术的体验。未来的工作将包括在受控环境和野外环境中进行进一步的参与者研究，在此期间将与听众进行长达一小时的访谈。利用微观现象学访谈技术，这些会话旨在帮助听者表达声音交互的多模态感觉和空间聆听中的感知微观行为。

致谢

我们要感谢拉姆斯盖特音乐节、拉姆斯盖特音乐厅以及当地人，他们贡献了宝贵的时间接受了安装采访。本研究得到了EPSRC拨款EP/L01632X/1（媒体和艺术技术博士培训中心）和皇家工程学院在研究主席和高级研究奖学金计划下的支持。

道德声明

在公共展览期间收集的数据用于研究目的与波浪同在。在与装置进行自由互动后，成年游客将获得有关研究的信息，并通过完成简短的体验后调查和同意书被邀请参与。装置空间也被拍摄了一段时间，在进入装置之前，这一点已清楚地标示给听众。当听众退出装置时，他们寻求了他们的同意，研究中只包括了获得听众同意的视频。这项研究得到了伦敦玛丽女王大学伦理委员会的伦理许可。