摘要

扩展现实乐器的研究是音乐表达新接口领域的一个新兴课题。我们开发了一个混合现实音乐界面（MRMI），作为一种技术探索，以激发经验丰富的音乐家的设计灵感。我们即探索（i）与音乐表达相关的界面人机工程学，以及（ii）作为手势控制的用户自适应手势识别。10名音乐家参与者（平均年龄：25.6岁[SD=3.0]，6名女性，4名男性）参与了MRMI探针的测试。我们进行了用户评估，包括三个阶段。实验结束后，参与者被要求伴奏预先录制好的音乐。在任务后阶段，参与者参加半结构式访谈，并进行主题分析。流行的主题包括缩小界面尺寸、设备视野问题以及玩游戏时的身体紧张。尽管这取决于定制化和时间动态，但参与者大多赞成将手势作为表达控制；使用交互式机器学习（IML）进行用户自适应手势识别受到参与者的好评。

介绍

近年来，虚拟现实（VR）技术的日益普及导致了虚拟现实乐器（VRMI）作为一个研究领域的建立。然而，对混合现实音乐界面（MRMI）的研究较少，这是本研究的重点。[1]混合现实介质可以位于真实环境和虚拟环境之间（见图1）。头戴式MR设备能够将三维图像渲染到安装在用户眼前的半透明屏幕上，从而消除了单独监视器或移动显示器的必要性。

VRMI的现有工作侧重于仪器的设计和实施([2][3][4][5][6][7])，用户体验([8][9])，通用交互技术([10])或合作音乐制作([11][12]). 用于音乐交互的增强现实（AR）作品探索移动设备的使用([13])AR的多传感器应用([14])用投影仪增强手势乐器([15])或观众在增强的现场音乐表演中的体验([16]). 有许多工作利用人工智能研究身体运动的听觉化([17][18][19])和音乐的手势控制([20][21][22][23][24])但据我们所知，没有人探索基于交互式机器学习（IML）的用户自适应手势识别。与传统的机器学习（ML）相比，IML暴露了“数据收集-培训-执行”循环到系统用户[25]在提出的MRMI中，用户可以提供自己的数据来训练手的姿势识别算法，从而可以根据自己的手调整模型。

在我们的研究背景下，人机工程学是关于优化表演者的幸福感和乐器的性能，考虑到诸如乐器在空间中的位置、尺寸和操纵虚拟物体所需的动作等方面。许多工作使用人机交互方法讨论VRMI([2][9][10]). Mäki-Patola等人试图量化VRMI的效率及其学习曲线[2].的作者[9]基于Likert量表问题，比较四种VRMI在用户对控制、直觉、体力和其他方面的感知。Berthaut回顾了基于3D用户界面的交互技术及其在VRMI中的适用性[10]Serafin等人定义显示器人机工程学作为VRMI的基本设计原则[26]，但他们的讨论重点是与头戴式虚拟现实有关的方面设备而不是音乐界面的人体工程学习惯于使用这些设备。我们旨在解决文献中关于（i）MR中音乐界面的人机工程学和（ii）在MRMI中使用IML进行手势控制的用户自适应手势的使用方面的差距。

我们的MRMI作为一种技术探索，旨在揭示表演者如何思考MR中的音乐界面并与之互动。在本研究中，我们针对的是西方音乐领域经验丰富的音乐家，而不是特定的乐器组。我们的重点是界面人机工程学，而不是制作音乐。然而，我们需要有音乐经验的参与者，因为研究涉及音乐任务。

相关工作

设计VRMI

2014年，王提出了一套电脑音乐视觉设计原则[27]。他为研究人员提供了使用可视化组件进行虚拟仪器研究的指南。这些原则部分基于库克设计计算机音乐控制器的一套原则[28]库克第三原则”复制仪器是愚蠢的，利用专家技术是明智的“特别与VRMI相关，进而与MRMI相关。库克还建议设计师应找到方法，利用目标环境提供的特定机制。

Serafin等人。[26]建议将现有VRMI分为两类：

1. 试图复制传统仪器的VRMI

2. 采用新颖界面设计思想和/或尝试扩展传统仪器的VRMI

属于第一类的作品包括虚拟膜、木琴和手势调频合成器[2],布特耶马戏团（吹虚拟瓶子发出声音）[3]和科雷特弓弦VRMI[4]。由于VRMI与实物乐器非常相似，表演者的进入门槛很低。然而，这些乐器的演奏经验往往会导致表演者感觉到失真，因为这些乐器无法提供与实物乐器相同的控制水平。

第二类包括VRMI，如虚拟空气吉他[2]，的横向刻度和色度和弦仪器[5][6]和楔子接口[7]这些作品的灵感来自概念([2])或真正的物理([5][6][7])仪器。其基本原理是通过与传统乐器在物理上或概念上相似的界面为表演者提供相对较低的进入门槛，但通过手势和界面元素扩展演奏能力，这些元素在现实世界中很难实现。这类VRMI通常依赖于音乐界面设计中的既定实践，例如，创建将八度音阶细分为12个半音的虚拟对象结构。然而，它们通过接口的扩展引入了新颖性。例如横向刻度instrument通过在设计中注入吉他键盘的概念来扩展虚拟键盘，用户在虚拟矩阵上弹奏，而不是一组键，其中每一行都是前一行的俯仰移动副本。

使用IML将手势连接到声音

我们在这里研究了如何在MRMI中将手的姿势用作手势控制。手势可以被描述为一系列信号，产生可以被处理和存储的数据[29]可以对机器进行训练，以学习不同用户手势之间的共性和差异。这个韦基纳托系统[30]大大简化了ML技术在音乐表演中的应用。Wekinator的主要特点是其训练方法。培训数据不是在培训之前收集数据集，而是由用户实时提供。

Françoise等人利用一组概率模型进一步发展了这一理念，用于设计实时表演系统中的运动和声音关系[31]。他们使用地图演示方法。与Wekinator平台类似，通过学习用户提供的动作和手势示例来训练模型。在培训阶段，用户可以定义和细化映射。在表演阶段，手势与声音相连。映射的质量是迭代优化的。

MRMI的设计

设计方法：技术探针

设计或技术探针被描述为“旨在激发人们灵感的激发性任务集合”[32]或“部署这些仪器是为了发现未知事物，希望能返回一些有用或有趣的数据”[33]如Hutchinson等人所述，它们的特点是：

1. 功能简单-探针应该只包含数量非常有限的函数

2. 灵活性-探头应是开放式的，并允许进行实验

3. 可用性-探针在HCI意义上不应具有高可用性，但应激发用户并邀请他们讨论系统

4. 日志探测器应该收集有关其用户的数据，以帮助研究人员更好地了解问题

5. 设计阶段-为了挑战设计师的想法，探针应该是设计过程的早期和不可或缺的一部分

我们为提出的MRMI选择了这种设计方法。它具有简单的界面和几个核心功能。它很灵活，没有针对可用性进行优化。引入MRMI是为了挑战我们的设计理念，我们将在下文进行讨论。由此产生的见解将为我们未来的工作提供信息。

设计注意事项

这里应该指出，拟议的MRMI在音乐与意识形态意义上并不是中立的。然而，我们目前的研究重点是人机工程学和IML，而不是音乐。我们从西方音乐传统中确立的概念中获得灵感，例如将八度音阶细分为12个半音。有鉴于此，我们制定了四个设计目标：

• 执行₁：MRMI应为音乐家提供低门槛

• 执行₂：MRMI应包括“神奇的”互动[34]即难以或不可能通过物理接口实现的交互

• 执行_三：MRMI应采用手势识别作为手势控制之一

• 执行₄：IML应是MRMI的组成部分

音乐对象和乐器布局

我们将音乐对象（MO）定义为界面中产生音符和和弦的单个虚拟对象。图2显示了从设备屏幕捕获的界面的总体布局。MRMI由12个水平排列的MO组成，覆盖了分为半音（C4到B4）的一个八度音阶。MRMI试图将弦乐乐器和键控乐器的技术结合起来。基本思想是用右手弹奏，用左手修改声音。布局旨在满足执行₁，基于经验丰富的音乐家从概念上理解钢琴将八度音阶细分为半音的假设。

每个MO都可以用一个手指触摸并在空间中拖动。如果通过手部姿势应用修改，则触摸MO会触发指定的音符或和弦。通过MO的颜色变化提供视觉反馈。根据Magnusson的定义，术语麦角蛋白表示从一种媒体传播到另一种媒体的概念或技术[35]例如，平板电脑屏幕上显示的钢琴键。在这里，MO为传统钢琴键提供了一种说唱器。然而，它们也会受到传统钢琴键盘所提供的“神奇”交互作用的影响。拖动MO会触发对该音符或和弦的修改。释放后，MO会捕捉回其原始位置。修改类型由左手的姿势定义1.

使用位于MO下方的条形图（见图2），MRMI可以在特定范围内重新定位、缩放和旋转，以满足单个表演者的需求（端到端大约1.5米到3米）。这套机制旨在满足执行₂.

和声和琶音

我们将多个和弦音质与MO结合起来，使表演者能够演奏更复杂的音乐结构。按照执行_三，我们将一种轻量级的手势识别算法与MRMI结合，MRMI可以连续跟踪和分类用户手的关节配置，从而估计用户当前的手势。分类的手势可以映射到大调、小调、弱化、增强、主导、大调7、小调7、弱化7和半弱化7和弦。

当手部姿势被激活时，触摸MO将触发映射的和弦质量，并将MO指定的音符作为根。此外，用户可以通过在空间中拖动MO来弹奏和弦。

映射模式向用户公开，可以使用基于插槽的映射接口随时更改（见图3）。每个插槽对应一个和弦类型，每个彩色立方体对应一个记录的手姿势。

交互式机器学习

很明显，单个表演者可能具有不同的手部形态和灵活性。使用传统的ML技术，用户可用的手部姿势集需要由设计者预先定义，以便训练算法。为了给用户提供尽可能多的灵活性，IML范式被采用并与MRMI集成。在这里，IML允许每个用户记录自己的一组手势。因此，每个用户想要的手部姿势成为他们使用界面体验的一部分；MRMI学会对表演者作出反应。
IML训练功能（记录和删除手势）以界面中的一系列按钮的形式向用户公开。通过选择其中一个手部姿势立方体并按下按钮，表演者可以录制和微调手部姿势。该流程旨在满足执行₄。映射接口和IML功能位于MRMI的侧面。

演示

请参考视频2以下是MRMI功能的简短演示。视频简要介绍了界面和IML功能。

实施

MRMI是使用Unreal Engine框架为头戴式Microsoft HoloLens 2设备实现的。之所以选择Unreal引擎作为框架，是因为它是免费的、完全开源的，并且支持C++实现。

软件实施

核心接口被实现为一个软件类。接口中包含的MO在单独的类中定义。然后，核心接口动态实例化12个MO。构成MO的各个组件是使用面向对象编程原则抽象出来的。下表概述了MO中包含的组件。

表1：拟定MRMI中构成MO的组件

手的姿势识别和映射

我们使用了InteractML软件库三将手势识别集成到MRMI中。该库是作为Fiebrink的Wekinator软件的扩展而开发的[30]提供了一个k近邻分类器，该分类器针对移动设备进行了优化。手关节数据被用作MRMI算法的输入数据。手关节的旋转数据由HoloLens 2设备连续计算并在Unreal Engine中曝光。旋转数据表示为矢量，由俯仰、偏航和横滚值组成，每个值都存储为浮点数。单手输入数据由60个浮点数组成
($20\：跟踪\：关节\：*3=60\：浮动$). 基于输入数据的维数相对较低，该算法能够在设备上实时运行。

声音产生

所提出的MRMI本质上是一个手势控制器：它将手势作为输入，将其转发到单独的声音产生单元，并以呈现到用户环境中的视觉图像的形式返回反馈。实际的声音产生发生在单独的机器上。在这项研究中，我们使用了一个运行在数字音频工作站（Ableton Live）中的虚拟钢琴乐器。MRMI使用开放式声音控制协议（OSC）向计算机发送信号[36]，然后将其转换为乐器数字接口（MIDI）信号，并由数字音频工作站中的虚拟乐器进行解码。在研究过程中，主机与实验室中的一组立体声扬声器相连，充当表演者的公共广播系统（PA）。

评价

程序

我们进行了一项用户研究，以部署MRMI技术探针。该研究分为三个任务。在执行任务之前，实验者对设备和界面进行了解释。任务1涉及参与者熟悉MRMI（30分钟）。参与者被要求对界面的元素进行实验。向他们提供了一组预先记录的手势和相应的和弦映射（见图4）。如果愿意，他们可以记录自己的手势。在任务1中，参与者可以向实验者提问。

研究的任务2是一个音乐任务（30分钟）。参与者听一段音乐，即背景音乐（约2分钟长）。背景音乐包括简单的鼓部分和120 BPM的低音线。然后，参与者被指示沿着后退的轨道玩耍。在任务2中，参与者可以随时开始、停止和跳过背景音乐，以熟悉音乐的结构和和谐。

任务3是一项性能任务。参与者被要求在倒车跑道上即兴表演。然而，他们不被允许停下赛道，他们必须在整个赛道上比赛，以模拟真实的表现。参与者最多可以记录3次拍摄。

完成三项任务后，我们对参与者进行了半结构式访谈。访谈问题（见附录）询问了界面的布局、MR和IML的功能、音乐、控制和表现力。

最后，参与者必须根据Goldsmiths音乐成熟度指数（GoldMSI）完成问卷调查[37]这使我们能够评估参与者的音乐体验，这对于音乐任务来说是必要的。在整个实验过程中，参与者被记录在视频中。

参与者

10名参与者参与了这项研究。他们是通过我们大学的部门邮件列表以及口碑招聘的。在选择参与者时，我们根据他们的音乐体验进行了定制的预先筛选——只选择了至少演奏一种乐器的人。他们的平均年龄为25.6岁（SD=3.0）。6名参与者为女性，4名为男性。他们的国籍分布在欧洲（5名参与者）、印度（3名）和中国（2名）。其中7人是学生，其余参与者是专业人士。他们的主要乐器是钢琴（5）、吉他（2）、鼓（2）和萨克斯管（1）。

数据分析方法：专题分析

参与者访谈被转录并进行归纳主题分析。专题分析（TA）是指分析研究中参与者的反应，例如访谈中的反应。根据Braun&Clarke的定义，”[TA]是一种系统地识别、组织和洞察跨数据集的意义模式（主题）的方法”[38]作为一种定性研究工具，其目标是从数据中推断含义穿过数据集。

结果

金微星

参与者的音乐综合得分从81分到116分不等（M=101.60，SD=13.81），远高于英国的全国平均水平（81.58[37]). 虽然这些结果并不能保证参与者的音乐技能，但它们表明参与者已经接受了足够的音乐训练，积极参与音乐的生产和/或消费，并具备专心听音乐所需的感知能力。

主题分析

主题分析由一名编码员进行。从访谈答案中提取了187个代码。从答案中收集的代码被编入以下主题中（代码出现在括号中）。为了简洁起见，这里省略了代码出现次数较少的主题。其余主题请参阅附录。

接口控制

减小MRMI的大小 (26):
六名参与者表示希望使MRMI小于允许范围(“就个人而言，我更喜欢一个较小的互动空间。”“这就是为什么我想把它变小，这样我就可以，你知道，在一个更狭小的空间里做。”“是的，这样你就可以把界面变小，而不必在它周围晃动手臂，也不会触发很多这样的界面。”).

通过接口进行充分控制 (23):
对于一些参与者来说，对界面的感知控制水平就足够了(“我想我有足够的控制力，就像你想做的任何事情一样。”，“就像我可以控制音高，没有和声，我想用不同的姿势和速度来控制和弦。”).

缺乏对界面的控制 (22):
其他人表示对界面缺乏控制(“有时它会做出反应。有时它有点晚，有时它没有反应。”，“是的，对表现力有足够的控制，但对我正在玩的东西没有足够的控制。”“我觉得我对此感到沮丧，因为我没有足够的控制。”).

任务单的单个手指控制 (9):
8名参与者表示，他们希望能够单独控制MO的手指(“[…]只用一个手指指向[任务单]有时有点太无聊了。[…]比如你可以换手指或做类似的事情。”，“右手只是卡住了一个[动作]。”).

手势识别和IML

手的姿势识别算法缺乏准确性 (12):
5名参与者发现，最初的未经调整的手势识别算法不够准确(“试图让机器识别我正在做的手势时，我感到很沮丧”).

成功记录和重新记录手部姿势 （10） 以下为：
然而，9名参与者在记录自己的手势或重新记录预定义的手势时取得了积极的结果(“我想我真的很喜欢自己做手势，这使它真正具有交互性。”“一开始，它很难识别出一个手指，然后我录下来，这很好。”“然后，我重新定义了它（错误分类）。”没有发生。我觉得这很有趣，好像我没想到。”).

对用手姿势控制和弦的积极反应 (10):
3名参与者赞扬了手部姿势与和弦的联系(“[…]通过这样做可以改变音阶。它扩大了只演奏一个音符、只移动一只手并从那里改变一切的可能性，因此这无疑是最好的[功能]。”“事实上，你可以使用不同的手势来获得不同的和弦。”).

表达能力

游戏时表现力足够 (10):
五名参与者表示，他们可以通过界面表现出来(“就界面而言，是的，它……富有表现力”，“从这个意义上说，我喜欢和弦的使用，因为它能够帮助我创造出如果没有它们，我可能无法如此迅速地创造出的声音。所以我绝对能够从中创造出一些很酷的和谐互动。”，“是的，我想要一些更柔和的东西，沙龙（音乐风格），软键，完全没有支撑，我确实做到了。”).

游戏时表现力有限 (7):
四名参与者表示，他们觉得自己的游戏受到了限制(“我觉得我很难真正做我想做的事。”，“在这一点上，你有点受限。好吧，让我们想想那八度音阶在哪里？我应该喜欢哪个正方形，往后拉，然后？我应该选择哪只手臂？我应该做哪些手势来找到正确的音符。我认为这有点限制了我的演奏能力。”).

三名参与者发现很难实现他们的想法(“我脑子里的想法不，它不像我脑子里那样[复制]。”“我会说[我可以表达自己]高达40%，大脑比手跑得快。”).

问题和约束

视野（FOV）相关问题 （7） ：两名参与者表示HoloLens 2设备的小视场是一个问题(“所以，一旦我靠近（音乐对象），我的视野就会急剧缩小，是的。”，“我会根据视觉来重申这一点……（弹奏）的能力在视觉范围内是如此地难以发挥。”).

4名参与者专门解决了视野外的手势识别问题(“[……]所以它能够捕捉到一些手势，而这些手势可能你并不需要看到才能玩。”“（如果能有这样的东西，那就太好了），它可以让系统捕捉到我的身体，而不需要我看我的身体。”).

物理应变 (4):
四名参与者在玩乐器时感到身体紧张(“第三节课快结束时，我感到有点累，因为我必须一直这样做。”，“你走动得越多，就越累”，“我必须做物理锻炼，比如心肺运动，才能达到我想去的地方。”。”).

有形和触觉反馈 (2):
2名参与者解决了触觉反馈不足的问题(“我想说，如果你有触觉反馈，那会很酷。因为这样你就会知道你什么时候触觉了，什么时候没有。”).

将虚拟对象固定到物理曲面 (3):
在采访中，一位参与者意识到他们可以将界面连接到物理表面(“也许我应该把它挂在墙上什么的，也许在（正确触发音符）方面对我来说会容易得多。”，“我认为表面可能是最好的主意，因为时间是一种非常有触觉的信息，就像你从中得到反馈一样。”).

讨论和限制

虽然许多参与者对MRMI的人机工程学提出了问题，但界面普遍受到欢迎。参与者在长时间玩游戏时感到的身体紧张是一个主要问题。尽管只有四名参与者在访谈中表达了担忧，但所有参与者都利用了重新定位功能（即将MRMI移到更舒适的位置并缩小尺寸），并且所有参与者在会议期间都休息了几次。值得注意的是，没有一个参与者增加了界面的大小。这就提出了一个问题，即所选择的界面设计是否符合真实表演的要求，音乐家通常会演奏30-120分钟。

与此问题相关的是，将接口尺寸减少到允许的最小值（约1.5米）以外的一个经常被提及的点。显然，参与者希望界面的大小与他们的主要仪器相当。这表明，考虑到提议的MRMI的布局，更紧凑的接口在实践中可能更有用，这也将解决有关HoloLens 2设备视野的问题。解决这一问题的另一个策略是完善MRMI的人体工程学。通过更好地设计接口和驱动接口的动作，也可能减少压力。然而，如果接口的大小保持相似，FOV相关的问题仍将存在。

手部姿势算法对记录自己手部姿势的参与者（9/10名参与者）很有效。然而，鉴于有四名参与者报告了设备FOV以外的错误分类问题，需要进行单独调查，以评估当前方法是否足够稳健，适合在成熟应用程序中使用。自动识别手部姿势以改变操作对象的行为受到了好评。更重要的是，鉴于表演者身体的差异，整合IML功能似乎是设计健壮的手势控制MRMI的重要一步。

对MRMI的感知表达控制水平太有限。钢琴家和其他乐器的演奏者都提出了这样一个观点，即在与MO互动时，他们想单独利用所有手指。将右手简化为两种手势（触摸和拖动）让许多参与者感到沮丧。

参与者提出的关于触觉的观点及其不足也与MRMI高度相关。在技术赶上之前，设计师需要考虑将触觉反馈集成到界面中的替代方法。一位与会者提出的想法可能会解决这个问题。通过将小的虚拟物体投影到物理表面上，例如墙壁、桌子或地面，我们可以将一种间接的触觉反馈引入MRMI，可能会提升游戏体验。

考虑到讨论的要点，我们总结了我们研究的主要发现：

1.界面长期使用导致的物理应变是主要问题之一。

2.接口未完全包含在设备的视野内；这导致太多的头部运动，无法看到界面元素并与之交互。

3.MO交互的限制是一个主要限制；用户希望使用所有可用的手指触摸MO。

4.缺少预定义的控制手势，发现自定义控制手势更好。

5.缺乏触觉反馈是一些用户的障碍。

第1点直接涉及MRMI的接口设计。在这里，根据界面元素的大小对MRMI的控制水平进行详细调查，可能会在未来得出更具体的结果。
第2点涉及MR技术当前阶段硬件的技术限制。MRMI设计师应密切关注头戴式MR设备的有限视野，以最大限度地减少玩家因界面元素丢失而产生的沮丧情绪。
第三点是一个实际问题；对于大多数参与者来说，减少MO可能的手动操作是一个令人沮丧的原因。在可能的情况下，MRMI应该对其界面元素提供单独的手指控制，而不是将交互限制在一个特定的手势上。
第4点反映了这样一个观察结果，即大多数参与者都会记录自己的手势来控制乐器。考虑到MR中手势输入的复杂性质和人手的个体差异，我们得出结论，结合允许定义自定义控制手势的机制对MRMI中的表演者是有用的。我们研究的一个局限性源于这样一个事实，即每10名参与者中就有7人是人工智能领域的活跃研究人员。这可能会对人工智能技术在MRMI中的使用产生积极影响，应进一步研究。
第5点可以通过发挥MR设备的优势来缓解，利用物理环境来弥补虚拟物体触觉反馈的不足。这里需要做更多的工作，以在未来验证这一概念。

结论

我们提出了一种新的混合现实音乐界面，并将其作为一种技术探索，以探索界面人机工程学和用户自适应的手部姿势识别用于音乐控制。我们解释了界面的设计、实现和评估。我们的结果表明存在两个主要问题：仪器的人机工程学引起的身体疲劳和视野有限引起的问题。基于手势数据的复杂性，为手势控制集成交互式机器学习似乎是混合现实中鲁棒用户自适应界面的一个重要步骤。未来的工作应该通过研究MR中更紧凑、更符合人体工程学的接口来解决这些缺点。

致谢

我们要感谢NIME的匿名评论员们的深思熟虑。这项工作得到了英国研究与创新部的支持[赠款编号EP/S022694/1]。

道德声明

我们特此声明，这份手稿及其描述的研究符合NIME的道德和环境标准。我们向我们大学的道德委员会提交了一份关于研究动机、程序和目标的全面描述，并获得了他们的批准。在会议之前，所有参与者都被简要介绍了研究内容。在研究之前，我们获得了所有参与者的书面同意。获得的研究数据离线存储在加密设备上。

值得注意的是，对音乐表达新界面的研究通常基于对最终可能使用这些界面的人的一系列假设。我们的研究讨论了混合现实领域中新界面的人机工程学，但它受到了几个因素的限制，例如界面布局，它受到了西方音乐概念的启发，以及当前的设计侧重于没有损伤或残疾的表演者。

附录

半结构化面试问题

半结构化面试问题

主题分析中的其他主题

持续性说明 (10):
一半的参与者想要一种保持音符和和弦的方法(“如果有一种方法能让我弹奏和弦，然后用右手弹奏一些像典型乐器一样的东西，我一定会很高兴的。”).

未识别速度的微小变化 （2） ：两名参与者指出，MO没有记录到速度的微小变化(“除非你只是敲击它，并且用力击打它，否则你实际上听不到它的反应，但不要像……分钟的变化。”，“只是速度有问题。是的，我想要一个更强的音调，然后是一个更调暗的音调。这有点欠缺。”).

语义手势-和弦映射 （1） ：一位参与者指出，与其将手的姿势任意映射到和弦，不如将手的姿态的语义链接到特定的和弦(“所以我玩了这个。我演了5个。这将是一个大[和弦]，如果我演奏三和弦，那将是小三和弦或类似的东西，是吗？”).

与主要仪器的关联 (3):
两名参与者谈论了界面与主要乐器的心理联系(“（我赞成）用你的左手改变和弦，因为这对我这个吉他手来说完全管用。”，“对我来说，我必须考虑脑海中的键盘，找出我在弹什么和弦。”，”，“但我必须使用完全不同的界面弹钢琴，这一事实对我来说是个限制。”).

手部姿势-声音关联 (2):
一位参与者表示，他们开始将左手的形状与发出的声音联系起来(“是的，我的意思是，这就像是决定你想用左手表达的颜色或情感一样。”“[……]就像我的大脑开始把声音和我左手的形状联系起来一样”).

使用正确手势的问题 （2） ：2名参与者无法辨别触摸和拖动MO的手势(“一开始我觉得拖拽和按下按键有困难，”“如果我想这样做，我需要使用抓取[手势]。但抓取并不能给我正确的东西。”).

空间深度 （1） ：1名参与者对全息图的空间感知存在问题(“我认为，当你不接触东西时，在获得良好的空间深度感之前，这可能是一个练习的问题”).