×
王绍南;张佳军;王海燕;林，南;宗成清

具有分布式单词表示的细粒度神经解码。 （英语） Zbl 1460.92112号

信息科学。 507, 256-272 (2020).
摘要：fMRI单词解码是指通过解读观看或听单词的人的功能性磁共振成像（fMRI）扫描来解码人脑正在思考的内容，这是一种读心术。现有的从图像数据中解码单词的作品在很大程度上局限于来自相对较少语义类别的具体名词。此外，这些研究使用了不同的词刺激呈现范式和不同的计算模型，缺乏对不同因素对fMRI单词解码的影响的全面理解。本文对八个单词嵌入模型及其组合进行了大规模评估，以解码与三种刺激-呈现范式记录的三类单词相关的精细fMRI数据。具体来说，我们研究了以下研究问题：（1）脑图像解码器如何处理不同类别的单词？（2） 脑图像解码器在不同的刺激-呈现范式中是如何表现的？（3） 每个单词嵌入模型能让我们解码人脑中的神经激活模式吗？此外，我们分析了与不同类别的单词、刺激-呈现范式和单词嵌入模型相关的信息量最大的体素，以探索其神经基础。结果表明：（1）不同的词嵌入模型可以最有效地对不同的词类进行解码。具体名词和动词比抽象名词和动词更容易区分。（2） 在三种刺激呈现范式（图片、句子和单词云）中，图片范式的解码准确率最高，其次是句子范式。（3） 在八个单词嵌入模型中，编码视觉信息的模型获得了最佳性能，其次是编码文本和上下文信息的模型。（4） 与主要激活视觉相关脑区的具体名词相比，抽象名词激活更广泛的脑区，如视觉、语言和默认模式网络。此外，图片范式和编码视觉信息的模型分别比其他范式和单词嵌入模型与视觉相关的大脑区域有更强的关联。

MSC公司：

92 C55 生物医学成像和信号处理
92B20型 生物研究、人工生命和相关主题中的神经网络
91E30型 心理物理学和心理生理学；感知

关键词：

神经解码;fMRI字解码;单词类别;刺激范式;单词嵌入模型;信息体素

软件：

手套;概念网;单词2vec
PDF格式BibTeX公司 XML格式引用
\textit{S.Wang}等人，《信息科学》。507256-272（2020年；Zbl 1460.92112）
全文： 内政部

参考文献：

[1] Abnar，S。；艾哈迈德·R。；Mijnheer，M。；Zuitema，W.，基于经验、分布和依赖的单词嵌入在解码大脑活动中具有互补作用，《第八届认知建模和计算语言学研讨会论文集》（CMCL 2018），57-66（2018）
[2] Akama，H。；B.墨菲。；Na，L。；Y.清水。；Poesio，M.，《不同刺激模式下fMRI会话的语义解码：一项实用的mvpa研究》，Front。神经信息。，6, 24 (2012)
[3] 安德森，A.J。；粘合剂，J.R。；费尔南迪诺，L。；汉弗莱斯，C.J。；科南特，L.L。；阿吉拉尔，M。；王，X。；Doko，D。；Raizada，R.D.，使用神经生物学激发的语义表征模型预测句子相关的神经活动模式，大脑皮层，27，9，4379-4395（2016）
[4] 安德森，A.J。；基拉，D。；克拉克，S。；Poesio，M.，基于视觉和文本的语义模型对与具体和抽象名词相关的大脑活动进行差异解码，Trans。关联计算。语言学家。，5, 1, 17-30 (2017)
[5] 安德森，A.J。；B.墨菲。；Poesio，M.，《在不同具体性概念的心理模拟中区分分类类别和领域》，J.Cognit。神经科学。，26, 3, 658-681 (2014)
[6] Anumanchipalli，G.K。；Chartier，J。；Chang，E.F.，从口语句子的神经解码中进行智能语音合成，《自然》，568，7753，493-498（2019）
[7] Bojanowski，P。；格雷夫，E。；Joulin，A。；Mikolov，T.，用子词信息丰富词向量，Trans。助理计算。语言学家。，5, 135-146 (2017)
[8] Chang，K.-m.K.，名词和短语神经表征的定量建模（2011），博士论文
[9] Chang，K.-m.K。；米切尔，T。；Just，M.A.，对象神经表示的定量建模：语义特征规范如何解释fmri激活，NeuroImage，56，2716-727（2011）
[10] Clithero，J.A。；史密斯，D.V。；卡特·R·M。；Huettel，S.A.，Within和交叉参与者分类器揭示了不同的信息神经编码，Neuroimage，56，2，699-708（2011）
[11] Goikoetxea，J。；Soroa，A。；Agirer，E.，《基于知识库的随机行走和神经网络语言模型》，计算语言学协会北美分会2015年会议记录：人类语言技术，1434-1439（2015）
[12] Handjaras，G。；Ricciardi，E。；A.利奥。；Lenci，A。；Cecchetti，L。；Cosottini，M。；马洛塔，G。；Pietrini，P.，《概念如何在人脑中编码：语义知识的非模态、基于类别的皮层组织》，《神经影像》，135，232-242（2016）
[13] 哈克斯比，J.V。；Guntupalli，J.S。；康诺利，A.C。；Y.O.哈尔琴科。；康罗伊，B.R。；马里兰州戈比尼。；汉克，M。；Ramadge，P.J.，《人类腹侧颞皮层表征空间的常见高维模型》，《神经元》，72，2，404-416（2011）
[14] 希斯科克，M.，《意象和言语过程》，《心理评论》，第19、6、487页（1974年）
[15] 霍尔，A.E。；Kennard，R.W.，岭回归：非正交问题的有偏估计，技术计量学，12，1，55-67（1970）·Zbl 0202.17205号
[16] Huth，A.G。；德希尔，W.A。；Griffiths，T.L。；Theunissen，F.E。；Gallant，J.L.，《自然语言揭示了人类大脑皮层的语义图》，《自然》，5327600453（2016）
[17] 只是，M.A。；Cherkasky，V.L。；Aryal，S。；Mitchell，T.M.，基于潜在脑编码的具体名词表征的神经语义理论，《公共科学图书馆·one》，5，1，e8622（2010）
[18] Kay，K.N。；Naselaris，T。；普伦格，R.J。；Gallant，J.L.，《从人脑活动中识别自然图像》，《自然》，452，7185，352（2008）
[19] Kell，A.J。；Yamins，D.L。；肖克，E.N。；诺曼·海格内尔，S.V。；McDermott，J.H.，《任务优化神经网络复制人类听觉行为，预测大脑反应，揭示皮层处理层次》，Neuron，98，3630-644（2018）
[20] 哈利格·拉扎维，S.-M。；Kriegeskorte，N.，深度监督，但并非非监督，模型可以解释它的皮层表征，PLoS Compute。生物，10，11，e1003915（2014）
[21] Laiacona，M。；Caramazza，A.，《语言产生中的名词/动词分离：各种原因》，Cognit。神经心理学。，21, 2-4, 103-123 (2004)
[22] 利维，O。；Goldberg，Y.，基于依存关系的单词嵌入，计算语言学协会第52届年会论文集，2302-308（2014）
[23] Mikolov，T。；Sutskever，I。；Chen，K。；Corrado，G.S。；Dean，J.，单词和短语的分布式表示及其组成，《神经信息处理系统的进展》，3111-3119（2013）
[24] 米切尔，T.M。；Shinkareva，S.V。；A.卡尔森。；Chang，K.-M。；Malave，V.L。；梅森，R.A。；Just，M.A.，预测与名词含义相关的人脑活动，《科学》，32058801191-1195（2008）
[25] 莫斯利，R.L。；Pulvermüller，F.，《名词、动词、宾语、动作和抽象：局部fMRI活动指数语义，而非词汇类别》，《大脑语言》，132，28-42（2014）
[26] Naselaris，T。；Kay，K.N。；西本，S。；Gallant，J.L.，FMRI中的编码和解码，神经影像，56，2，400-410（2011）
[27] 纳塞拉里斯，T。；普伦格，R.J。；Kay，K.N。；奥利弗，M。；Gallant，J.L.，《从人脑活动中重建自然图像的贝叶斯方法》，《神经元》，第63、6、902-915页（2009年）
[28] 西本，S。；Vu，A.T。；Naselaris，T。；Y.本杰米尼。；Yu，B。；Gallant，J.L.，从自然电影引起的大脑活动中重建视觉体验，Curr。生物学，21，19，1641-1646（2011）
[29] 帕拉图奇，M。；波梅洛，D。；辛顿，G.E。；Mitchell，T.M.，带语义输出代码的零击学习，《神经信息处理系统的进展》，1410-1418（2009）
[30] 宾夕法尼亚州。；Socher，R。；Manning，C.，Glove:单词表示的全球向量，《2014年自然语言处理经验方法会议论文集》，1532-1543（2014）
[31] 佩雷拉，F。；博特维尼克，M。；Detre，G.，使用维基百科学习神经成像实验中具体概念的语义特征表示，Artif。智力。，194, 240-252 (2013) ·Zbl 1270.68249号
[32] 佩雷拉，F。；卢，B。；普里切特，B。；Ritter，S。；Gershman，S.J。；Kanwisher，N。；博特维尼克，M。；Fedorenko，E.，《从大脑激活走向语言意义的通用解码器》，《国家通讯》。，9, 1, 963 (2018)
[33] 彼得斯，M.E。；Neumann，M。；Iyyer，M。；加德纳，M。；克拉克，C。；Lee，K。；Zettlemoyer，L.，深层语境化词语表征，计算语言学协会北美分会会议记录：人类语言技术（NAACL-HLT），2227-2237（2018）
[34] 彭斯，C.R。；肖伟（Xiao，W.）。；Schade，P.F。；哈特曼，T.S。；Kreiman，G。；Livingstone，M.S.，《使用深度生成网络进化视觉神经元图像揭示编码原理和神经元偏好》，《细胞》，177，4，999-1009（2019）
[35] Pulvermüller，F。；赫里夫，F。；俄亥俄州豪克。；莫尔，B。；Nimmo-Smith，I.，FMRI聚类分析揭示的一般词汇和类别特定语义处理的分布式细胞集合，人类大脑映射。，30, 12, 3837-3850 (2009)
[36] K.Simonyan，A.Zisserman，《用于大规模图像识别的甚深卷积网络》（2014），arXiv:1901.06693；K.Simonyan，A.Zisserman，《用于大规模图像识别的甚深卷积网络》（2014），arXiv:1901.06693
[37] 斯佩尔，R。；Chin，J。；Havasi，C.，概念网5.5：一个开放的多语言通用知识图。，AAAI人工智能会议，4444-4451（2017）
[38] 苏德雷，G。；波梅洛，D。；帕拉图奇，M。；韦赫贝，L。；Fyshe，A。；萨尔梅林，R。；Mitchell，T.，跟踪具体名词的感知和语义特征的神经编码，NeuroImage，62，1，451-463（2012）
[39] Sun，J。；王，S。；张杰。；Zong，C.，《使用分布式表示实现句子级大脑解码》，AAAI人工智能会议（2019年）
[40] 蒂里昂，B。；公爵夫人E。；Hubbard，E。；Dubois，J。；波利恩，J.-B。；Lebihan，D。；Dehaene，S.，《逆向视网膜变性：从大脑激活模式推断图像的视觉内容》，《神经影像》，33，4，1104-1116（2006）
[41] 维格利奥科，G。；Vinson，D.P。；Druks，J。；巴伯，H。；Cappa，S.F.，《大脑中的名词和动词：行为学、电生理学、神经心理学和成像研究综述》，《神经科学》。生物行为学。版本，35、3、407-426（2011）
[42] Wang，J。；Cherkasky，V.L。；Just，M.A.，预测与句子命题内容相关的大脑激活模式：建模事件和状态的神经表征，Hum.brain Mapp。，38, 10, 4865-4881 (2017)
[43] 王，S。；张杰。；Zong，C.，通过动态融合方法学习多模态单词表示，第三十二届AAAI人工智能会议（2018年）
[44] 韦赫贝，L。；B.墨菲。；Talukdar，P。；Fyshe，A。；A.拉姆达斯。；Mitchell，T.，《同时揭示不同故事阅读子过程中涉及的大脑区域模式》，PloS One，9，11，e112575（2014）
[45] 温，D。；Wei，Z。；周，Y。；李·G。；张，X。；Han，W.，处理fMRI数据的深度学习方法及其在认知障碍诊断中的应用：简要概述和我们的观点，Front。神经信息学家。，12, 23 (2018)
[46] 温，H。；史J。；Zhang，Y。；卢，K.-H。；曹，J。；Liu，Z.，《基于深度学习的动态自然视觉神经编码和解码》，《大脑皮层》，1-25（2017）
[47] Xu，H。；B.墨菲。；Fyshe，A.，Brainbench:分布式语义模型的脑图像测试套件，2016年自然语言处理经验方法会议论文集，2017-2021（2016）
[48] 余，X。；法律，S.P。；韩，Z。；朱，C。；Bi，Y.，最小屈折形态下汉语名词和动词语义处理的分离神经关联，NeuroImage，58，3，912-922（2011）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。