发动机 达格斯图尔宫（Schloss Dagstuhl）——莱布尼兹·泽特鲁姆（Leibniz-Zentrum für Informatik） Dagstuhl跟进 1868-8977 2012-04-01 三 0 0 10.4230/DFU。第3.11041卷 文章 梅纳德·米勒 Masataka Goto 马库斯·谢德尔 DFU，第3卷，多模态音乐处理，完整卷 https://drops.dagstuhl.de/storage/02dagstuhl-follow-ups/dfu-vol003/dfu.Vol3.11041/dfu.Vol31.1041.pdf 声音和音乐计算、艺术和人文——音乐、多媒体信息系统 发动机 达格斯图尔宫（Schloss Dagstuhl）——莱布尼兹·泽特鲁姆（Leibniz-Zentrum für Informatik） Dagstuhl跟进 1868-8977 2012-04-01 三 0:i个 0:xii（0：xii） 10.4230/DFU。第3.11041.i卷 文章 梅纳德·米勒 Masataka Goto 马库斯·谢德尔 前言、目录、前言、作者列表 https://drops.dagstuhl.de/storage/02dagstuhl-follow-ups/dfu-vol003/dfu.Vol3.11041.i/dfu-Vol3.11041.i.pdf Frontmatter公司 目录 前言 作者列表 发动机 达格斯图尔宫（Schloss Dagstuhl）——莱布尼兹·泽特鲁姆（Leibniz-Zentrum für Informatik） Dagstuhl跟进 1868-8977 2012-04-01 三 1 22 10.4230/DFU。第3.11041.1卷 文章 托马斯·维雷纳 克里斯蒂安·弗雷默里 梅纳德·米勒 迈克尔·克劳森 分数和音频文件是两种最重要的表示方式，传达、录制、存储和体验音乐。虽然乐谱使用诸如音符、键和度量等符号在抽象层次上描述了一段音乐，但音频文件允许再现这段音乐的特定声学实现。每一种表现都反映了音乐的不同方面，从结构元素（例如动机、主题、音乐形式）到具体的表演方面（例如艺术造型、，声音）。因此，同时访问乐谱和音频表征非常重要。在本文中，我们解决了自动生成各种数据源之间音乐相关的链接结构可用于给定音乐的。特别是，我们讨论了乐谱-音频同步的任务，目的是将扫描乐谱图像中的区域链接到同一乐曲的音频录制中的音乐对应部分。这种链接结构构成了新接口的基础，允许用户在单个框架内访问和探索多模式音乐源。作为我们的主要贡献，我们概述了这种同步任务的最新进展，提出了一些新的方法，并指出了未来的研究方向。特别是，我们解决了存在结构差异时出现的问题，并讨论了将光学音乐识别应用于复杂管弦乐谱时面临的挑战。最后，给出了同步结果的潜在应用。 https://drops.dagstuhl.de/storage/02dagstuhl-follow-ups/dfu-vol003/dfu.Vol3.11041.1/dfu-Vol3.11041.1.pdf 音乐信号 音频 乐谱 音乐同步 对齐 光学音乐识别 用户界面 多模态 发动机 达格斯图尔宫（Schloss Dagstuhl）——莱布尼兹·泽特鲁姆（Leibniz-Zentrum für Informatik） Dagstuhl跟进 1868-8977 2012-04-01 三 23 36 10.4230/DFU。第3.11041.23卷 文章 藤原弘 Masataka Goto 歌词到音频的自动对齐技术在过去几年中引起了人们的关注，并且在该领域进行了各种研究。歌词到音频对齐的目标是估计歌词和音乐音频信号之间的时间关系，可以应用于各种应用，例如卡拉ok风格的歌词显示。在本文中，我们概述了这一研究主题的最新发展，其中我们特别关注各种方法的分类和应用。 https://drops.dagstuhl.de/storage/02dagstuhl-follow-ups/fu-vol003/dfu.Vol3.11041.23/dfu.Vol3.11041.23.pdf 歌词 对齐 歌厅 多功能音乐播放器 基于Lyrics的音乐检索 发动机 达格斯图尔宫（Schloss Dagstuhl）——莱布尼兹·泽特鲁姆（Leibniz-Zentrum für Informatik） Dagstuhl跟进 1868-8977 2012-04-01 三 37 52 10.4230/DFU。第3.11041.37卷 文章 埃西德，苗条 盖尔·理查德 音乐通常通过声音实现进行处理。这是一个限制性的概念，因为音乐显然是一个高度多模态的概念，其中各种类型的异构信息可以与给定的音乐片段（乐谱、音乐家的手势、歌词、用户生成的元数据等）相关联。最近，这促使研究人员通过音乐的各个方面来理解音乐，从而引发了“多模态音乐分析”研究。本文对多模信号分析中成功使用的方法进行了综合概述。特别是，通过五个突出不同多模态集成技术的案例研究，更详细地讨论了它们在音乐内容处理中的应用。案例研究包括一个用于音乐视频分析的跨模态关联示例、一个视听鼓转录系统、对知情源分离概念的描述、多模态舞蹈场景分析的讨论，以及一个用户交互音乐分析的示例。根据这些案例研究，最后提出了音乐处理中多模态的一些观点。 https://drops.dagstuhl.de/storage/02dagstuhl-follow-ups/dfu-vol003/dfu.Vol3.11041.37/dfu.Vol31.1041.37.pdf 多模式音乐处理 音乐信号索引与转录 信息融合 音频 视频 发动机 达格斯图尔宫（Schloss Dagstuhl）——莱布尼兹·泽特鲁姆（Leibniz-Zentrum für Informatik） Dagstuhl跟进 1868-8977 2012-04-01 三 53 72 10.4230/DFU。第31041.53卷 文章 维雷纳·科茨 梅纳德·米勒 从录音中自动提取和弦标签是音乐信息检索的中心任务。在这里，和弦标记通常是在特定录音条件下制作的音乐的特定音频版本上进行的，在特定乐器上演奏，并以音乐家的个人风格为特征。因此，获得的和弦标记结果受到版本相关特性的强烈影响。在本章中，我们表明，分析几个音频版本的和声特性可以同步稳定和弦标记结果，即不一致表示版本相关的特征，而几个版本之间的一致表示音乐中和谐稳定的段落。特别是，我们表明，一致标记的段落通常与正确标记的段落相对应。我们的实验表明，交叉版本标记程序显著提高了结果的精度，同时将召回率保持在相对较高的水平。此外，我们引入了一个强大的可视化工具，它可以在以小节为单位的音乐时间轴上显示和谐稳定的乐段。最后，我们演示了这种可视化如何帮助更好地理解分类错误，并且可以被音乐专家用作探索和声结构的有用工具。 https://drops.dagstuhl.de/storage/02dagstuhl-follow-ups/fu-vol003/dfu.Vol3.11041.53/dfu.Vol3.11041.53.pdf 谐波分析 弦标记 音频 音乐 音乐同步 音频校准 发动机 达格斯图尔宫（Schloss Dagstuhl）——莱布尼兹·泽特鲁姆（Leibniz-Zentrum für Informatik） Dagstuhl跟进 1868-8977 2012-04-01 三 73 94 10.4230/DFU。第3.11041.73卷 文章 塞巴斯蒂安·埃沃特 梅纳德·米勒 近年来，利用额外的音乐知识对录音进行处理已成为一个有前途的研究方向。特别是，已使用乐谱或MIDI文件指定的附加音符信息来支持各种音频处理任务，如源分离、音频参数化、性能分析或乐器均衡。在本文中，我们概述了记分信息源分离的方法，并通过讨论创新的应用程序和接口来说明其潜力。此外，为了说明这些方法背后的一些基本原理，我们演示了如何将分数信息集成到著名的非负矩阵分解（NMF）框架中。最后，我们将此方法与基于参数模型的高级方法进行了比较。 https://drops.dagstuhl.de/storage/02dagstuhl-follow-ups/dfu-vol003/dfu.Vol3.11041.73/dfu.Vol31.1041.73.pdf 音频处理 音乐信号 源分离 乐谱 对齐 音乐同步 非负矩阵分解 参数化mod 发动机 达格斯图尔宫（Schloss Dagstuhl）——莱布尼兹·泽特鲁姆（Leibniz-Zentrum für Informatik） Dagstuhl跟进 1868-8977 2012-04-01 三 95 120 10.4230/DFU。第3.11041.95卷 文章 克里斯蒂安·迪特马尔 埃斯特凡尼亚·卡诺 雅各布·阿伯 格罗尔米什，萨沙 本文介绍了音乐信息检索（MIR）技术在音乐教育中的应用及其在学习软件中的集成。本文概述了商用或处于研究阶段的系统。此外，还介绍了音乐学习系统中使用的三种著名的MIR方法及其最新技术：音乐转录、独奏和伴奏曲目创建以及演奏指令生成。作为MIR社区内开发的音乐学习系统的代表性示例，Songs2See软件概述如下。最后，描述了未来研究的挑战和方向。 https://drops.dagstuhl.de/storage/02dagstuhl-follow-ups/dfu-vol003/dfu.Vol3.11041.95/dfu.Vol31.1041.95.pdf 音乐学习 音乐转录 源分离 性能反馈 发动机 达格斯图尔宫（Schloss Dagstuhl）——莱布尼兹·泽特鲁姆（Leibniz-Zentrum für Informatik） Dagstuhl跟进 1868-8977 2012-04-01 三 121 134 10.4230/DFU。第3.11041.121卷 文章 罗杰·丹纳伯格。 人机音乐表演（HCMP）是对真人演奏者和实时计算机演奏者的音乐表演的研究。HCMP的一个目标是创造一个高度自主的人工表演者，能够扮演人类的角色，尤其是在流行音乐环境中。这将需要在自动音乐聆听和理解、新的音乐表现形式、音乐同步技术、实时人机通信、音乐生成、声音合成和声音传播方面取得进展。因此，HCMP是激励和整合高级音乐研究的理想框架。此外，HCMP有可能造福数百万的实践音乐家，无论是业余爱好者还是专业人士。介绍了HCMP的愿景、必须解决的问题以及最近的一些进展。 https://drops.dagstuhl.de/storage/02dagstuhl-follow-ups/dfu-vol003/dfu.Vol3.11041.121/dfu-Vol3.11041.121.pdf 互动表演 音乐处理 音乐信号 音乐分析 音乐合成 音频 分数 发动机 达格斯图尔宫（Schloss Dagstuhl）——莱布尼兹·泽特鲁姆（Leibniz-Zentrum für Informatik） Dagstuhl跟进 1868-8977 2012-04-01 三 135 156 10.4230/DFU。第31041.135卷 文章 马库斯·谢德尔 塞巴斯蒂安·斯托伯 埃米利亚·戈麦斯 奥利奥，尼古拉 辛西娅·列姆（Cynthia C.S.Liem）。 随着可用多媒体数据量的急剧增加，用于检索多媒体项的个性化和用户软件系统变得越来越重要。个性化系统是将关于用户的信息纳入其数据处理部分（例如，特定用户对电影类型的偏好）的系统。相反，上下文软件系统在处理数据时考虑到用户上下文的动态方面（例如，用户发出查询的位置和时间）。今天的用户自适应系统通常包含这两个方面。特别是针对音乐领域，本文概述了我们认为构建个性化音乐检索系统重要的各个方面。在这种情况下，我们首先概述了影响人类对音乐感知的因素。然后，我们提出并讨论了个性化、用户软件音乐检索系统的各种需求。最后，本文回顾了构建此类系统的最新技术，并特别考虑了“相似性”和“偶然性”方面的因素。 https://drops.dagstuhl.de/storage/02dagstuhl-follow-ups/dfu-vol003/dfu.Vol3.11041.135/dfu-Vol3.11041.135.pdf 用户软件音乐检索 个性化 推荐 用户上下文 自适应系统 相似性度量 偶然发现 发动机 达格斯图尔宫（Schloss Dagstuhl）——莱布尼兹·泽特鲁姆（Leibniz-Zentrum für Informatik） Dagstuhl跟进 1868-8977 2012-04-01 三 157 174 10.4230/DFU。第31041.157卷 文章 彼得·格罗什 米勒，梅纳德 琼·塞拉 快速增长的数字音频材料语料库需要新颖探索大型音乐收藏的检索策略。传统的检索策略依赖于描述单词中实际音频内容的元数据。在这种文本描述不可用的情况下，需要基于内容的检索策略，只使用原始音频材料。在本文中，我们讨论了基于内容的检索策略遵循逐个示例的查询范式：给定一个音频查询，任务是从音乐集合中检索与查询在某种程度上相似或相关的所有文档。这种策略可以根据其“特异性”进行松散分类，即查询与数据库文档之间的相似程度。这里，高特异性指的是严格的相似性概念，而低特异性则指的是一个相当模糊的概念。此外，我们引入了基于“粒度”的第二个分类原则，其中区分了片段级和文档级检索。使用基于特定性和粒度的分类方案，我们识别了各种检索场景，包括“音频识别”、“音频匹配”和“版本识别”。对于这三个重要类别，我们概述了代表性的最新方法，这也说明了检索场景之间有时微妙但至关重要的差异。最后，我们展望了一个面向用户的检索系统，它将各种检索策略结合在一个统一的框架中。 https://drops.dagstuhl.de/storage/02dagstuhl-follow-ups/dfu-vol003/dfu.Vol3.11041.157/dfu-Vol3.11041.175.pdf 音乐检索 基于内容 逐个查询示例 音频识别 音频匹配 封面歌曲识别 发动机 达格斯图尔宫（Schloss Dagstuhl）——莱布尼兹·泽特鲁姆（Leibniz-Zentrum für Informatik） Dagstuhl跟进 1868-8977 2012-04-01 三 175 194 10.4230/DFU。第31041.175卷 文章 梅纳德·米勒 乔纳森·德里奇 背景音乐经常被用来营造一种特定的氛围或吸引我们对特定事件的注意。例如，在电影或电脑游戏中，通常伴随的音乐传达了场景的情绪状态，并对观众或玩家沉浸在虚拟环境中起着重要作用。鉴于自制视频、幻灯片放映和其他消费者生成的视觉媒体流，需要计算机辅助工具，使用户能够以简单直观的方式生成具有美学吸引力的音乐曲目。在本文中，我们考虑了一个数据驱动的场景，其中音乐原材料以包含各种录音的数据库的形式给出。然后，对于给定的视觉媒体流，任务包括识别、操作、叠加、串联和混合合适的音乐片段，以生成满足视觉数据流和用户规范施加的特定约束的音乐流。我们的主要目标是概述各种基于内容的音乐处理和检索技术，这些技术在数据驱动的音轨生成中变得非常重要。特别是，我们绘制了一个总体流程图，其中强调了在后续音乐剪辑之间生成音乐上看似合理的过渡时，各种技术是如何协同作用并发挥作用的。 https://drops.dagstuhl.de/storage/02dagstuhl-follow-ups/dfu-vol003/dfu.Vol3.11041.175/dfu.Vol3.1041.175.pdf 音轨 基于内容的检索 音频匹配 时间尺度修改 翘曲 速度 节拍跟踪 和谐 发动机 达格斯图尔宫（Schloss Dagstuhl）——莱布尼兹·泽特鲁姆（Leibniz-Zentrum für Informatik） Dagstuhl跟进 1868-8977 2012-04-01 三 195 216 10.4230/DFU。第31041.195卷 文章 费利克斯·温格 比约恩·舒勒 辛西娅·列姆（Cynthia C.S.Liem）。 弗兰克·库思 Alan Hanjalic 音乐信息检索（MIR）这一新兴领域受到了信号处理和机器学习领域的影响，包括自动语音识别、图像处理和文本信息检索。在本文中，我们从语音和音乐处理之间方法转换的具体示例开始，面向模式识别的构建块：预处理、特征提取和分类/解码。然后，当描述从文本和图像信息检索中获得的相互灵感来源时，我们假设了一个更高层次的观点。我们的结论是，在MIR研究中处理音乐的特性有助于提高其他领域的技术水平，并且MIR未来面临的许多挑战与其他研究领域面临的挑战惊人地相似。 https://drops.dagstuhl.de/storage/02dagstuhl-follow-ups/dfu-vol003/dfu.Vol3.11041.195/dfu.Vol3.1041.195.pdf 特征提取 机器学习 多模态融合 评价 人为因素 跨领域方法论转移 发动机 达格斯图尔宫（Schloss Dagstuhl）——莱布尼兹·泽特鲁姆（Leibniz-Zentrum für Informatik） Dagstuhl跟进 1868-8977 2012-04-01 三 217 226 10.4230/DFU。第3.11041.217卷 文章 Masataka Goto 本文讨论了未来音乐信息研究将对我们的日常生活和社会产生影响的一些重大挑战。在这里，一些基本问题是如何为每个人提供最好的音乐，如何预测音乐趋势，如何丰富人与音乐的关系，如何发展新的音乐，以及如何利用音乐技术解决环境和能源问题。我们的目标是通过这些讨论和发展，在未来增加音乐信息研究的吸引力和社会影响。 https://drops.dagstuhl.de/storage/02dagstuhl-follow-ups/dfu-vol003/dfu.Vol3.11041.217/dfu-Vol3.11041.217.pdf 音乐信息研究 重大挑战 音乐处理 音乐信号 电子工程师 达格斯图尔宫（Schloss Dagstuhl）——莱布尼兹·泽特鲁姆（Leibniz-Zentrum für Informatik） Dagstuhl跟进 1868-8977 2012-04-01 三 227 246 10.4230/DFU。第31041.227卷 文章 辛西娅·列姆（Cynthia C.S.Liem）。 安德烈亚斯·劳贝尔 托马斯·利迪 理查德·刘易斯 克里斯托弗·拉斐尔 Joshua D.赖斯。 蒂姆·克劳福德 Alan Hanjalic先生 专注于数字音乐信息处理和组织的学术学科，通常被称为音乐信息检索（MIR），具有多学科的根源和兴趣。因此，MIR技术有潜力跨越学科界限产生影响，并在许多不同的用户社区中加强对音乐信息的处理。然而，在实践中，许多MIR研究议程项目似乎很难离开实验室，以便被目标受众广泛采用。一方面，这是因为MIR领域还相对年轻，因此技术需要成熟。另一方面，用户受众可能面临更深层、更根本的挑战。在本文中，我们讨论了MIR技术采用问题，这些问题是与音频混音、表演、音乐学和销售行业的专业音乐利益相关者一起经历的。许多利益相关者的心态和优先事项与大多数MIR学者的想法和优先事项大不相同，影响了他们对新MIR技术的接受。我们提到了观察到的主要差异及其背景，并认为必须考虑到这些差异，才能在MIR中实现真正成功的跨学科合作和技术采用。 https://drops.dagstuhl.de/storage/02dagstuhl-follow-ups/dfu-vol003/dfu.Vol3.11041.227/dfu-Vol3.11041.227.pdf 音乐信息检索 音乐计算 领域专业知识 技术采用 用户需求 跨学科合作