Clément磨坊;迈克尔·阿尔比布（Michael A.Arbib）。 用一种新颖的口音识别语音：语音感知的运动理论重新构建。 （英语） Zbl 1294.92011年 生物、网络。 107，第4期，421-447（2013）. 小结：言语感知的运动理论认为，我们根据他人言语的运动表征来感知他人的言语。然而，当我们学会识别外国口音时，似乎似乎可以理解，单词的识别很少涉及到说话人而不是听话人的言语手势的重建。为了更好地评估运动理论和这一观察结果，我们分三个阶段进行。第1部分将言语感知的运动理论置于一个更大的框架中，该框架基于我们早期的镜像神经元自适应形成模型，用于抓取，并将镜像系统的扩展视为更大的神经语言处理系统的一部分，通过当前对识别新口音中的言语的考虑而得到加强。然后，第2部分提供了一个新颖的计算模型，以了解听者是如何理解使用外国口音说听者母语的人的讲话的。该模型的核心原则是，听众使用关于说话者当前正在说出的单词的假设来更新将说话者产生的声音与听众的母语曲目中的音素联系起来的概率。平均来说，这提高了对后面单词的识别。该模型对其使用的表征的性质（运动与听觉）是中立的。它为第三部分的讨论提供了一个参考点，该部分提出了一个双流神经语言架构，以重新审视支持和反对言语感知运动理论和镜像神经元相关性的主张，并为运动理论的重构提取了一些启示。 MSC公司： 92C20美元 神经生物学 91层20 语言学 68分10秒 模式识别、语音识别 关键词：神经语言学;计算建模;镜像神经元;语音识别;外国腔;言语感知的运动理论;隐马尔可夫模型 PDF格式BibTeX公司 XML格式引用 \textit{C.Moulin-Frier}和\textit{M.A.Arbib}，生物学。赛博。107，第4号，421--447（2013；Zbl 1294.92011） 全文： DOI程序 arXiv公司 参考文献： [1] Adda-Decker M（2001）《面向自动语音识别中的多语言互操作性》。演讲通讯35（1）：5-20·Zbl 0983.68817号 ·doi:10.1016/S0167-6393（00）00092-3 [2] Arbib MA（2005）《交织原符号和原语音：超越镜子的进一步发展》。互动学习-社会行为-社区生物工艺系统6:145-171·doi:10.1075/is.6.2.02arb [3] Arbib MA（2006）失语症、失用症和语言就绪大脑的进化。失语症20:1-30 [4] 马萨诸塞州阿比布；Stemmer，B.（编辑）；Whitaker，H.（编辑），镜像神经元与语言，237-246（2008），阿姆斯特丹·doi:10.1016/B978-0-08-045352-1.00023-9 [5] Arbib MA（2010）动作和语言的镜像系统活动嵌入到背侧和腹侧通路的整合中。大脑和语言112:12-24·doi:10.1016/j.band.2009.10.001 [6] Arbib MA（2012）《大脑如何获得语言：镜像系统假说》。牛津大学出版社，纽约 [7] Arbib MA，Rizzolatti G（1997）《神经期望：从手工技能到语言的可能进化路径》。康明郡29:393-424 [8] 协会IP（1999）国际语音协会手册。剑桥大学出版社 [9] Bahl LR，Jelinek F（1975）《语音识别应用中插入、删除和替换信道的解码》。IEEE Trans-Inf理论21（4）：404-411·兹比尔0309.94037 ·doi:10.1109/TIT.1975.1055419 [10] Barrett AM、Foundas AL、Heilman KM（2005）语音和手势由独立系统进行调节。行为脑科学28:125-126·doi:10.1017/S0140525X05220034 [11] Basirat A，Sato M，Schwartz J-L，Kahane P，Lachaux J-P（2008）言语形式知觉涌现过程中的Parieto-frontalγ带活动。神经影像42（1）：404-413·doi:10.1016/j.neuroimage.2008.03.063 [12] Best C，McRoberts G，Goodell E（2001）《非母语辅音对比的辨别》，在听者的母语语音系统的知觉同化中有所不同。《美国科学院学报》109（2）：775-794·数字对象标识代码：10.1121/1.1332378 [13] Bonaiuto JB，Arbib MA（2010）《扩展镜像神经元系统模型》，II：我刚才做了什么？镜像神经元的新角色。生物网络102:341-359·Zbl 1266.92016号 ·doi:10.1007/s00422-010-0371-0 [14] Bonaiuto JB、Rosta E、Arbib MA（2007）《扩展镜像神经元系统模型：可听动作和不可见抓取》。生物网络96:9-38·Zbl 1118.92008号 ·doi:10.1007/s00422-006-0110-8 [15] Bradlow AR，Bent T（2008）非母语语音的感知适应。认知106（2）：707·doi:10.1016/j.认知.2007.04.005 [16] Brown GD（1984）伦敦Lund英语会话语料库中19万个单词的频率计数。Behav Res方法16（6）：502-532·doi:10.3758/BF03200836 [17] Buccino G、Lui F、Canessa N、Patteri I、Lagravinese G、Benuzzi F、Porro CA、Rizzolatti G（2004）非特异性行为识别中涉及的神经回路：一项FMRI研究。《认知神经科学杂志》16（1）：114-126·doi:10.1162/089892904322755601 [18] Eisner F，McQueen JM（2005）语音处理中感知学习的特殊性。注意力感知心理物理67（2）：224-238·doi:10.3758/BF03206487 [19] Fagg AH，Arbib MA（1998）《灵长类动物抓握控制中的偶极子-运动前相互作用建模》。神经网络11（7-8）：1277-1303·doi:10.1016/S0893-6080（98）00047-1 [20] Ferrari PF，Gallese V，Rizzolatti G，Fogassi L（2003）猴腹侧运动前皮质中观察到的吞咽和交流嘴动作后的镜像神经元反应。《欧洲神经科学杂志》17（8）：1703-1714·doi:10.1046/j.1460-9568.2003.02601.x [21] Ferrari PF，Rozzi S，Fogassi L（2005）镜像神经元对猴子腹侧前运动皮层中使用工具进行的动作的观察做出反应。《认知神经科学杂志》17（2）：212-226·doi:10.1162/0898929053124910 [22] Ferrari PF、Visalberghi E、Paukner A、Fogassi L、Ruggiero A、Suomi SJ（2006），猕猴的新生儿模仿。公共科学图书馆生物4（9）：e302·Zbl 1104.92313号 [23] Francis A，Baldwin K，Nusbaum H（2000）训练对听觉线索注意力的影响。感知心理62（8）：1668-1680。doi:10.3758/BF03212164·doi:10.3758/BF03212164 [24] Francis AL，Nusbaum HC（2002）《选择性注意和新语音类别的习得》。《实验心理学幽默感知表现》28（2）：349-366·doi:10.1037/0096-1523.28.2349 [25] Galantucci B，Fowler CA，Turvey MT（2006）《言语感知的运动理论综述》。《精神斗牛评论》13（3）：361-377·doi:10.3758/BF03193857 [26] Gales M，Young S（2007）隐马尔可夫模型在语音识别中的应用。发现信号处理趋势1：195-304·Zbl 1145.68045号 [27] 加莱斯，V。；Fogassi，L。；法迪加，L。；Rizzolatti，G。；Prinz，W.（编辑）；Hommel，B.（ed.），动作表现与顶叶下叶（2002），牛津 [28] Goldinger SD（1998）回声的回声？词法通达的情节理论。《心理学评论》105（2）：251·doi:10.1037/0033-295X.105.2.251 [29] 戈尔茨坦，L。；伯德·D。；萨尔茨曼，E。；Arbib，MA（编辑），声道手势动作单位在理解音韵学演变中的作用，215-249（2006），剑桥·doi:10.1017/CBO9780511541599.008 [30] Goldstone RL（1998）感知学习。《心理学年鉴》49（1）：585-612·doi:10.1146/annurev.psych.49.1.585 [31] Goodale MA，Milner AD（1992）感知和行动的独立视觉路径。神经科学趋势15:20-25·doi:10.1016/0166-2236（92）90344-8 [32] Grossberg S（2003）语音感知的共振神经动力学。J电话31（3）：423-445·doi:10.1016/S0095-4470（03）00051-2 [33] Guenther FH，Ghosh SS，Tourville JA（2006），音节产生背后皮层相互作用的神经建模和成像。脑语言96（3）：280-301·doi:10.1016/j.bandl.2005.06.001 [34] 霍金斯S（2003）系统精细语音细节在言语理解中的作用和表征。J电话31（3）：373-405·doi:10.1016/j.wocn.2003.09.006 [35] Hickok G（2009）语言的功能神经解剖学。物理生活版6:121-143·doi:10.1016/j.plrev.2009.06.001 [36] Hickok G，Poeppel D（2004），背流和腹流：理解语言功能解剖方面的框架。认知92（1-2）：67-99·doi:10.1016/j.认知.2003.10.11 [37] Hickok G，Poeppel D（2009），言语感知的运动影响：格勒诺布尔的观点。谈论大脑新闻和对语言神经组织的看法（博客由Greg Hickok和David Poeppel主持）http://talkingbrains.blogspot.com/2009/2004/motor-influence-of-speech-perception.html [38] Hintzman DL（1986）多跟踪内存模型中的模式抽象。心理学评论93:411-428·doi:10.1037/0033-295X.93.4.411 [39] Jaynes ET（2003）《概率论：科学的逻辑》。剑桥大学出版社·Zbl 1045.62001号 ·doi:10.1017/CBO9780511790423 [40] Kirchhoff K（1998）在噪声和混响环境中结合发音和声学信息进行语音识别。在：ICSLP诉讼程序，Citeseer，第891-894页 [41] Klatt DH（1979）《语音感知：声学语音分析和词汇获取模型》。J电话7（312）：1-26 [42] Kohler E、Keysers C、Umilta MA、Fogassi L、Gallese V、Rizzolatti G（2002）《听觉、理解动作：镜像神经元中的动作表征》。科学297（5582）：846-848·doi:10.1126/science.1070311 [43] Kröger BJ，Kannampuzha J，Neuschaefer-Rube C（2009）《朝向言语产生和感知的神经计算模型》。语音通讯51（9）：793-809·doi:10.1016/j.specom.2008.08.002 [44] Kuhl PK，Miller JD（1975）《灰鼠的语音感知：肺泡爆裂辅音中的无声区分》。科学190:69-72·doi:10.1126/science.1166301 [45] Liberman AM，Mattingly IG（1985）《言语感知的运动理论》修订。认知21:1-36·doi:10.1016/0010-0277（85）90021-6 [46] Liberman AM，Whalen DH（2000）关于言语与语言的关系。趋势认知科学4（5）：187-196·doi:10.1016/S1364-6613（00）01471-6 [47] Lindblom B（1990）《解释语音变异：H&H理论概述》。Speech Prod语音模型55:403-439·doi:10.1007/978-94-009-237-816 [48] Lotto AJ、Hickok GS、Holt LL（2009）《镜像神经元和言语感知的思考》。趋势认知科学13（3）：110-114·doi:10.1016/j.tics.2008.11.008 [49] Lotto AJ、Kluender KR、Holt LL（1997）日本鹌鹑（Coturnix Coturnix japonica）协同发音的感知补偿。美国声学学会杂志102（第2部分第1部分）：1134-1140·doi:10.1121/1.419865 [50] Luria AR（1973）工作大脑。企鹅图书，哈蒙德斯沃思 [51] MacNeilage PF（1998）言语产生进化的框架/内容理论。行为脑科学21:499-546 [52] MacNeilage PF，Davis BL（2005）言语进化的框架/内容理论：与手势起源理论的比较。互动学习-社会行为-社区生物艺术系统6:173-199·doi:10.1075/is.6.2.03交流 [53] Massaro DW，Chen TH（2008）《重新审视言语感知的运动理论》。《精神病公牛评论》15（2）：453-457；讨论458-462 [54] Meltzoff AN，Moore MK（1977）《人类新生儿面部和手部手势的模拟》。科学198:75-78·doi:10.1126/science.198.4312.75 [55] Moineau S，Dronkers NF，Bates E（2005）《探索失语症中单字理解的加工连续体》。语言听力研究杂志48（4）：884-896·doi:10.1044/1092-4388（2005/061） [56] Moulin-Frier C，Laurent R，Bessière P，Schwartz J-L，Diard J（2012）不利条件提高了言语感知的听觉、运动和知觉-动作理论的可分辨性：一项探索性贝叶斯建模研究。Lang Cong流程27:1240-1263（7-8特刊：不利条件下的语音识别）doi:10.1080/01690965.2011.645313 [57] Norris D，McQueen JM，Cutler A（2003）言语中的感知学习。认知心理学47（2）：204-238·doi:10.1016/S0010-0285（03）00006-9 [58] Oztop E，Arbib MA（2002）抓取相关镜像神经元系统的模式设计和实现。生物网络87（2）：116-140·Zbl 1104.92313号 ·doi:10.1007/s00422-002-0318-1 [59] Oztop E、Bradley NS、Arbib MA（2004）《婴儿抓握学习：计算模型》。实验脑研究158（4）：480-503·doi:10.1007/s00221-004-1914-1 [60] Pierrehumbert J（2002）《特定单词语音学》。实验室语音7:101-139 [61] Pinto J，Szoke I（2008）基于音素序列的快速近似口语词检测。2008年7月20日至24日在新加坡举行的第31届ACM SIGIR国际年会 [62] Rabiner LR（1989）语音识别中隐藏马尔可夫模型和选定应用的教程。专业IEEE 77（2）：257-286·数字对象标识代码：10.1109/5.18626 [63] Rauschecker JP（1998）灵长类动物听觉皮层的并行处理。听觉神经毒素3:86-103·数字对象标识代码：10.1159/000013784 [64] Rauschecker JP，Tian B（2000）听觉皮层处理“什么”和“哪里”的机制和流。《国家科学院院刊》97（22）：11800-11806。doi:10.1073/pnas.97.22.1180·doi:10.1073/pnas.97.22.1180 [65] Rizzolatti G，Arbib M（1998）《我们掌握的语言》。《神经科学趋势》21:188-194·doi:10.1016/S0166-2236（98）01260-0 [66] Rizzolatti G，Craighore L（2004）镜像神经元系统。《神经科学年鉴》27:169-192·doi:10.1146/annurev.neuro.27.070203.144230 [67] Rizzolatti G、Fadiga L、Gallese V、Fogassi L（1996）运动前皮层和运动动作的识别。干邑脑研究3:131-141·doi:10.1016/0926-6410（95）00038-0 [68] Sato M、Baciu M、Lœvenbruck H、Schwartz JL、Cathiard MA、Segebarth C、Abry C（2004）言语形式的多稳态表征：言语转换的功能MRI研究。神经影像23（3）：1143-1151·doi:10.1016/j.neuroimage.2004.07.055 [69] Schwartz J-L，BoöL-J，Abry C（2007）《将分散聚焦理论与感知-行动控制理论中可用特征原则的最大利用联系起来》。牛津大学出版社 [70] Schwartz J-L，Basirat A，Ménard L，Sato M（2012）动作控制理论的感知（PACT）：言语感知的感知器运动理论。神经语言学杂志25（5）：336-354 [71] Skipper JI、Goldin-Meadow S、Nusbaum HC、Small SL（2007）演讲相关手势、Broca区域和人类镜像系统。布莱恩·朗101（3）：260-277·doi:10.1016/j.bandl.2007.02.008 [72] Studdert-Kennedy M，Goldstein L（2003）《启动语言：离散无穷大的手势起源》。螺柱Evolo Lang 3:235-254·doi:10.1093/acprof:oso/9780199244843.0013 [73] UmiltàMA、Escola L、Intskirveli I、Grammont F、Rochat M、Caruana F、Jezzini A、Gallese V、Rizzolatti G（2008）当钳子成为猴子运动系统中的手指时。美国国家科学院院刊105（6）：2209-2213·doi:10.1073/pnas.0705985105 [74] LG安格莱德；米什金，M。；DJ Ingle（编辑）；马萨诸塞州古代尔（编辑）；曼斯菲尔德，RJW（编辑），《两个皮层视觉系统》（1982年），剑桥 [75] van Wassenhove V，Grant KW，Poeppel D（2005），视觉语音加速听觉语音的神经处理。美国国家科学院院刊102（4）：1181-1186·doi:10.1073/pnas.0408949102 [76] Viterbi AJ（1967）卷积码的误差界和渐近最优解码算法。IEEE Trans-Inf理论13（2）：260-269·Zbl 0148.40501号 ·doi:10.1109/TIT.1967.1054010 [77] Weinberger HS（2010）《口音档案》。乔治·梅森大学http://accent.gmu.edu/index.php [78] Whalen DH，Noiray A，Iskarous K，Bolanos L（2009）美式英语中下颌和舌头对元音高度维度的相对贡献。Acoust Soc Am杂志125（4）：2698-2698 [79] Wilson M（1988）MRC心理语言学数据库：机器可用词典，2.00版。Behav Res方法仪器计算20:6-10·doi:10.3758/BF03202594 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。