音乐变压器 swMATH ID: 42458 软件作者： Cheng Zhi Anna Huang、Ashish Vaswani、Jakob Uszkoreit、Noam Shazeer、Ian Simon、Curtis Hawthorne、Andrew M.Dai、Matthew D.Hoffman、Monica Dinculescu、Douglas Eck 描述： 音乐变形金刚。音乐在很大程度上依赖于重复来构建结构和意义。自我参照发生在多个时间尺度上，从主题到短语，再到对整个音乐片段的重用，例如在具有ABA结构的片段中。Transformer（Vaswani等人，2017）是一种基于自我关注的序列模型，在许多需要保持长期一致性的发电任务中取得了引人注目的成果。这表明，自我关注可能也非常适合于音乐建模。然而，在音乐创作和表演中，相对的时间安排至关重要。在Transformer中表示相对位置信息的现有方法基于两两距离调节注意力（Shaw等人，2018）。这对于音乐作品等长序列是不切实际的，因为它们对中间相对信息的记忆复杂度在序列长度上是二次的。我们提出了一种算法，将它们的中间内存需求减少到序列长度的线性。这使我们能够证明，具有我们改进的相对注意力机制的变形金刚可以生成结构引人注目的分钟长度的构图（数千步，是Oore等人2018年建模长度的四倍），生成连贯地阐述给定主题的延续，在seq2seq设置中，根据旋律生成伴奏。我们在JSB合唱团和钢琴电子竞赛这两个数据集上使用我们的相对关注机制对Transformer进行了评估，并在后者上获得了最先进的结果。 主页： https://arxiv.org/abs/1809.04281 源代码： https://github.com/jason9693/musictransformer-tensorflow2.0 相关软件： BERT（误码率）；亚当；PyTorch公司；j符号；蟒蛇；张紧器2传感器；LakhNES公司；穆塞根；MidiNet公司；漂亮的迷笛；音乐21；单调乏味；马斯皮；神经CDE；小队；阳极；火炬差异；DARPA时间；变压器-XL；GPT-3级 引用于： 2文件 全部的 前5名8位作者引用 1 汤姆·柯林斯 1 阮晋美 1 斯坦利·乔尔·奥斯尔 1 费德里科·鲁本 1 苏珊·斯蒂芬尼 1 王宝 1 夏和迪 1 尹宗玉 2篇连载文章中引用 1 机器学习 1 数学科学研究 在2个字段中引用 2 计算机科学（68至XX） 1 生物学和其他自然科学（92-XX） 按年份列出的引文