×

校准生成模型:概率Chomsky-Schützenberger层次结构。 (英语) Zbl 1437.91360号

摘要:介绍并研究了概率Chomsky-Schützenberger文法体系,旨在理解生成模型的表达能力。我们提供了可在层次结构的每个级别定义的分布的特征,包括概率正则、无上下文、(线性)索引、上下文敏感和无限制文法,每个文法都对应于熟悉的概率机器类。特别注意正整数(一元符号)上的分布。与“半线性”语言全部分解为正则语言的经典情况不同,使用改编自经典设置的分析工具,我们表明概率层次结构没有崩溃:在每个级别上都可以定义更多的分布。我们还解决了相关问题,如概率条件下的闭合。

MSC公司:

91E10型 认知心理学
91E30型 心理物理学和心理生理学;感知
2010年第68季度 计算模式(非确定性、并行、交互式、概率性等)
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] 雅培,J.T。;奥斯特威尔,J.L。;Griffiths,T.L.,语义网络上的随机行走可以类似于最佳觅食,《心理学评论》,122,3,558-569(2015)
[2] Abney,S.、McAllester,D.A.和Pereira,F.(1999)。关联概率文法和自动机。计算语言学协会第37届年会会议记录(第542-549页)。
[3] 阿克曼,N.L。;Freer,C.E。;Roy,D.M.,《关于条件概率的可计算性》,《美国医学会杂志》,66,3,1-40(2019)·Zbl 1477.03171号
[4] Aho,A.,《索引语法——上下文无关语法的扩展》,《ACM杂志》,第15、4、647-671页(1968年)·Zbl 0175.27801号
[5] R.C.伯威克。;Okanoya,K。;Backers,G.J。;Bolhuis,J.J.,《从歌曲到句法:鸟鸣的语言学》,《认知科学趋势》,第15、3、113-121页(2011年)
[6] 巴蒂普罗,V。;Gordon,S。;Viswanathan,M.,《加权和概率上下文无关文法的Parikh定理》(Bertrand,N.;Bortolussi,L.,《系统的定量评估》(QEST 2017)。系统定量评估(QEST 2017),计算机科学讲稿,第10503卷(2017),施普林格出版社)·Zbl 1420.68102号
[7] Billingsley,P.,《概率测度的收敛性》(1999),《概率与数理统计中的威利级数》·Zbl 0172.21201号
[8] Booth,T.L。;Thompson,R.A.,《将概率测度应用于抽象语言》,IEEE计算机学报,C-22,5,442-450(1973)·Zbl 0252.68033号
[9] Buesing,L。;比尔·J。;奈斯勒,B。;Maas,W.,作为采样的神经动力学:尖峰神经元递归网络中的随机计算模型,PLoS计算生物学,7,11(2011)
[10] Busemeyer,J.R。;Diederich,A.,《决策场理论综述》,数学社会科学,43,345-370(2002)·Zbl 1021.91010号
[11] Chaitin,G.J.,《程序大小理论与信息理论形式上相同》,《ACM杂志》,22,3,329-340(1975)·兹比尔0309.68045
[12] 查特,N。;Manning,C.D.,语言处理和习得的概率模型,认知科学趋势,10,7,335-344(2006)
[13] 查特,N。;Oaksford,M.,《作为因果模型的程序:对心理程序和心理表征的推测》,《认知科学》,37,6,1171-1191(2013)
[14] 查特,N。;Vitányi,P.,《简单性:认知科学中的统一原则?》?,认知科学趋势,7,1,19-22(2003)
[15] Chi,Z.,概率上下文无关文法的统计特性,计算语言学,25,1131-160(1999)
[16] 乔姆斯基,N.,《语法的某些形式属性》,《信息与控制》,第2137-167页(1959年)·Zbl 0088.10801号
[17] 乔姆斯基,N.,《句法理论的各个方面》(1965),麻省理工学院出版社
[18] 乔姆斯基,N。;Schützenberger,M.P.,《无上下文语言的代数理论》,(Hirschberg,D.;Braffort,P.,计算机编程和形式系统(1963),北荷兰语),118-161·Zbl 0148.00804号
[19] 考克斯·D。;Little,J。;O'Shea,D.,《理想、多样性和算法》(2000年),施普林格出版社
[20] Dal Lago,H。;Zorzi,M.,lambda演算的概率操作语义,RAIRO-理论信息学与应用,46,3,413-450(2012)·Zbl 1279.68183号
[21] Dehaene,S。;Meyniel,F。;Wacongne,C。;Wang,L。;Pallier,C.,《序列的神经表示:从转移概率到代数模式和语言树》,《神经元》,88,2-19(2015)
[22] 丹尼森,S。;博纳维茨,E。;Gopnik,A。;Griffiths,T.L.,《儿童因果推断中的理性变异:抽样假设》,《认知》,126,285-300(2013)
[23] 加权自动机手册(2009),Springer·Zbl 1200.68001号
[24] 杜邦,P。;丹尼斯,F。;Esposito,Y.,概率自动机和隐马尔可夫模型之间的联系:概率分布、学习模型和归纳算法,模式识别,381349-1371(2005)·Zbl 1101.68651号
[25] 杜斯克,J。;米登多夫,M。;Parchmann,R.,索引计数语言,理论信息学与应用,26,1,93-113(1992)·Zbl 0803.68063号
[26] 杜斯克,J。;Parchmann,R.,线性索引语言,理论计算机科学,32,47-60(1984)·Zbl 0545.68067号
[27] Eilenberg,S.,《自动机、语言和机器》(1974),学术出版社·Zbl 0317.94045号
[28] Eliasmith,C.,《我们应该如何描述大脑中的计算》,《历史与科学哲学研究A部分》,41,3,313-320(2010)
[29] Etessami,K。;Yannakakis,M.,递归马尔可夫链,随机文法,非线性方程的单调系统,ACM杂志,65,1,1-66(2009)·Zbl 1325.68091号
[30] 费萨尔,A.A。;Selen,L.P.J。;Wolpert,D.M.,《神经系统中的噪音》,《自然评论神经科学》,9,292-303(2008)
[31] Feldman,J.,《感知和认知中的简单原则》,《威利跨学科评论:认知科学》,第7、5、330-340页(2016年)
[32] Flajolet,P.,《无语境语言的分析模型和歧义性》,《理论计算机科学》,第49期,第283-309页(1987年)·兹比尔0612.68069
[33] Flajolet,P.、Pelletier,M.和Soria,M.(2011年)。在布冯机器和数字上。第22届ACM-SIAM离散算法年度研讨会论文集(SODA 2011)(第172-183页)·Zbl 1373.68219号
[34] 弗拉乔莱特,P。;Sedgewick,R.,分析组合数学:函数方程、有理函数和代数函数技术报告RR4103,INRIA(2001)
[35] Freer,C.E。;罗伊·D·M。;Tenenbaum,J.B.,《通过条件模拟实现常识推理:图灵在人工智能中的遗产》(Downey,R.,Turing’s Legacy(2014),ASL逻辑讲义)
[36] Gács,P.,一般空间上算法随机性的统一测试,理论计算机科学,2005,91-137(2005)·Zbl 1077.68038号
[37] Gazdar,G.,《索引语法对自然语言的适用性》(Reyle,U.;Rohrer,C.,《自然语言分析和语言学理论》(1988),Springer Verlag)
[38] Gershman,S.J。;Blei,D.M.,《贝叶斯非参数模型教程》,《数学心理学杂志》,56,1,1-12(2012)·Zbl 1237.62062号
[39] Glimcher,P.W.,《大脑和行为的不确定性》,《心理学年度评论》,56,25-56(2005)
[40] 新墨西哥州古德曼。;Tenenbaum,J.B.,认知概率模型(2016)。访问时间:2019年8月5日
[41] Griffiths,T.L。;丹尼尔斯,D。;奥斯特威尔,J.L。;Tenenbaum,J.B.,作为统计推断的主观随机性,认知心理学,103,85-109(2018)
[42] Griffiths,T.L。;Steyvers,M。;Tenenbaum,J.B.,语义表征主题,《心理学评论》,114,2,211-244(2007)
[43] Harris,T.E.,分支过程理论(1963年),Springer·Zbl 0117.13002号
[44] Hayashi,T.,《关于索引文法的派生树》,数学科学研究所出版物,9,1,61-92(1973)·兹伯利0319.68043
[45] Hinton,G.E.和Sejnowski,T.J.(1983年)。最佳感知推理。《IEEE计算机视觉与模式识别会议论文集》(第448-453页)。
[46] 霍普克罗夫特,J.E。;Ullman,J.D.,《自动机理论、语言和计算导论》(1979),Addison-Wesley·Zbl 0426.68001号
[47] Icard,T.F.(2017a)。超出了最安全的终止。认知科学学会第39届年会论文集。
[48] Icard,T.F.(2017b)。从程序到因果模型。A.Cremers、T.van Gessel和F.Roelofsen(编辑),《第21届阿姆斯特丹学术讨论会论文集》(第35-44页)。
[49] Icard,T.,为什么是随机的?,思维(2019)
[50] Jackendoff,R.,什么是人类语言能力?两种观点,Language,87,586-624(2011)
[51] Jäger,G。;罗杰斯,J.,《形式语言理论:改进乔姆斯基层次结构》,《皇家学会哲学学报B》,3671956-1970(2012)
[52] Johnson,M.(2010)。PCFG,主题模型,衔接语法,学习主题搭配和专有名词结构。计算语言学协会(ACL)第48届年会会议记录(第1148-1157页)。
[53] 约翰逊,N.L。;坎普,A.W。;Kotz,S.,单变量离散分布(2005),《概率统计中的威利级数》·Zbl 1092.62010年
[54] Joshi,A.K。;Vijay-Shanker,K。;Weir,D.J.,《轻度上下文敏感语法形式主义的收敛》(Sells,P.;Shieber,S.M.;Wasow,T.,《自然语言处理的基础问题》(1991),麻省理工出版社)
[55] Jungen,R.,Sur les séries de Taylor n’ayant que des singularités algébrico-logistariques Sur leur cercle de convergence,Commentarii Mathematici Helvetici,3226-306(1931)
[56] Kallmeyer,L.,《无上下文分析》(2010),施普林格出版社·Zbl 1252.68005号
[57] 卡明斯基,B.L。;Katoen,J.-P.,《论几乎完全终止的硬度》(计算机科学数学基础(2015)),307-318·Zbl 1465.68097号
[58] Kim,Y.、Dyer,C.和Rush,A.M.(2019年)。用于语法归纳的复合概率上下文无关语法。计算语言学协会(ACL)第57届年会会议记录(第2369-2385页)。
[59] Klein,D.和Manning,C.D.(2003)。准确的非中毒分析。计算语言学协会第41次会议记录(第423-430页)。
[60] 克奈尔,哥伦比亚特区。;Pouget,A.,《贝叶斯大脑:不确定性在神经编码和计算中的作用》,《神经科学趋势》,27,12,712-719(2004)
[61] Knuth,D.E。;Yao,A.C.,非均匀随机数生成的复杂性,(算法与复杂性(1976),学术出版社),357-428·Zbl 0395.65004号
[62] Kornai,A.,《数学语言学》(2008年),斯普林格·弗拉格·Zbl 1171.91019号
[63] Kress,R.,数值分析(1998),施普林格·Zbl 0913.65001号
[64] Kuich,W。;Salomaa,A.,半环,自动机,语言(1986),斯普林格-弗拉格·Zbl 0582.68002号
[65] 莱克,B.M。;Salakhutdinov,R。;Tenenbaum,J.B.,《通过概率程序归纳法进行人类层面的概念学习》,《科学》,350,6266,1332-1338(2015)·兹比尔1355.68230
[66] de Leeuw,K。;E.F.摩尔。;香农,C.E。;夏皮罗,N.,《概率机器的可计算性》(Automata studies,1956),普林斯顿大学出版社,183-212
[67] Levy,R.,基于期望的句法理解,认知,1061126-1177(2008)
[68] 李毅。;斯科菲尔德,E。;Gönen,M.,《Dirichlet过程混合建模教程》,《数学心理学杂志》,91128-144(2019)·Zbl 1431.62548号
[69] 梁,P。;M.I.乔丹。;Klein,D.,概率文法和层次Dirichlet过程,(O'Hagan,T.;West,M.,应用贝叶斯分析手册(2010),牛津大学出版社,776-822
[70] Lin,H.W。;Tegmark,M.,《物理学和概率形式语言中的临界行为》,《熵》,19,299(2017)
[71] Maass,W。;Natschläger,T。;Markram,H.,《无稳定状态的实时计算:基于扰动的神经计算的新框架》,《神经计算》,第14期,第2531-2560页(2002年)·Zbl 1057.68618号
[72] 麦凯,D.J.C.,线性玻尔兹曼链和隐马尔可夫模型的等价性,神经计算,8,1,178-181(1996)
[73] Maslov,A.N.,多层堆栈自动机,Problemy Peredachi Informatsii,12,1,55-62(1976)·Zbl 0361.68079号
[74] Miller,G.A.,《心理学中的有限马尔可夫过程》,《心理测量学》,17,2(1952)·Zbl 0049.37801号
[75] Minsky,M.,《计算:有限和无限机器》(1967),Prentice Hall·Zbl 0195.02402号
[76] 莫赫里,M。;Nederhof,M.-J.,《通过转换实现无上下文语法的正则近似》(Junqua,J.-C.;van Noord,G.,《语言和语音技术的鲁棒性》(2000),Kluwer),252-261
[77] Nederhof,M.-J.和Satta,G.(2003年)。概率解析为交集。第八届解析技术国际会议论文集。
[78] 纳尔逊,M.J。;卡鲁伊,I.E。;Giber,K。;杨,X。;科恩,L。;Koopman,H.,句子处理过程中短语结构构建的神经生理动力学,《美国国家科学院院刊》,114,18,3669-3678(2017)
[79] Nishioka,K.,Mahler函数和超越(1996),Springer Verlag·Zbl 0876.11034号
[80] 诺索夫斯基,R.M。;Palmeri,T.J.,基于样本的快速分类随机行走模型,《心理学评论》,104,2,266-300(1997)
[81] O'Cinneide,C.A.,相位类型分布的表征,统计学中的通信。随机模型,6,1-57(1990)·兹比尔0701.62021
[82] Olmedo,F.、Kaminski,B.L.、Katoen,J.-P.和Matheja,C.(2016)。递归概率程序的推理。第31届IEEE计算机科学逻辑研讨会论文集(第672-681页)·Zbl 1401.68048号
[83] 奥尔巴恩,G。;伯克斯,P。;费瑟,J。;Lengyel,M.,《视觉皮层的神经可变性和基于抽样的概率表征》,《神经元》,92,530-543(2016)
[84] Panholzer,A.,Gröbner基和无上下文语法生成函数的定义多项式,《自动机杂志》,语言与组合数学,179-97(2005)·Zbl 1087.68046号
[85] Parikh,R.,《论无语境语言》,《ACM杂志》,第13、4、570-581页(1966年)·Zbl 0154.25801号
[86] Paz,A.,《概率自动机导论》(1971),学术出版社·Zbl 0234.94055号
[87] Pearl,J.,《智能系统中的概率推理:似是而非推理网络》(1988),摩根·考夫曼
[88] 彼得森,K.-M。;佛利亚,V。;Hagoort,P.,《人工语法学习对句法神经生物学的启示》,《大脑与语言》,12083-95(2012)
[89] Petre,I.,Parikh定理不适用于多重性,《自动机、语言与组合数学杂志》,4,3,17-30(1999)·Zbl 0933.68082号
[90] Pratt-Hartmann,I.,《自然语言中的计算复杂性》(Clark,A.;Fox,C.;Lappin,S.,《计算语言学和自然语言处理手册》(2010),布莱克威尔),43-73
[91] Putnam,H.,《心理谓词》(Capitan,W.H.;Merrill,D.D.,《艺术、心理和宗教》(1967),匹兹堡大学出版社)
[92] 皮纳达斯,D.V。;Wellman,M.P.,概率上下文无关文法的广义查询,IEEE模式分析和机器智能汇刊,20,1,65-77(1998)
[93] 拉宾,M.O.,概率自动机,信息与控制,6,3,230-245(1963)·Zbl 0182.33602号
[94] Ratcliff,R.,《记忆提取理论》,《心理学评论》,85,2,59-108(1978)
[95] 莎乐玛,A。;Soittola,M.,形式幂级数的自动机理论方面(1978),Springer·Zbl 0377.68039号
[96] Sanborn,A.N。;Griffiths,T.L。;Navarro,D.J.,《理性模型的理性近似:类别学习的替代算法》,《心理学评论》,117,4,1144-1167(2010)
[97] Savitch,W.J.,《上下文敏感语法和自然语言语法》,(Savitch(W.J);Bach(E);Marsh(W);Safran-Naveh(G),《自然语言的形式复杂性》(1987),Springer(语言学和哲学研究),358-368
[98] Schützenberger,M.P.,关于自动机家族的定义,信息与控制,4245-270(1961)·Zbl 0104.00702号
[99] Schützenberger,M.P.,关于只有平凡子群的有限幺半群,信息与控制,8190-194(1965)·Zbl 0131.02001号
[100] Smith,N.A.公司。;Johnson,M.,加权和概率上下文无关文法同样具有表达能力,计算语言学,33,4,477-491(2007)·Zbl 1234.68186号
[101] Soittola,M.,正有理数列,理论计算机科学,2313-321(1976)
[102] Stanley,R.P.,《枚举组合学》,第1卷(2011年),剑桥大学出版社·兹比尔0889.05001
[103] Szymanik,J。;Zajenkowski,M.,《简单量词的理解:计算模型的实证评估》,《认知科学》,34,3,521-532(2010)
[104] 特南鲍姆,J.B。;Griffiths,T.L。;Kemp,C.,归纳学习和推理的基于理论的贝叶斯模型,认知科学趋势,10,7,309-318(2006)
[105] Tenenbaum,J.T。;坎普,C。;格里菲斯,T。;N.D.古德曼,《如何培养思维:统计、结构和抽象》,《科学》,第331129-1285页(2011年)·Zbl 1226.68087号
[106] 汤森,J.T。;Ashby,F.G.,《基本心理过程的随机建模》(1983),剑桥大学出版社·Zbl 0595.92015号
[107] 图灵,A.M.,《计算机械与智能,思维》,59,433-460(1950)
[108] 维坦伊,P.M.B。;Chater,N.,《概率识别》,《数学心理学杂志》,76,A,13-24(2017)·Zbl 1396.91659号
[109] 冯·诺依曼,J.,《与随机数字相关的各种技术》,国家标准局研究期刊,应用数学系列,12,36-38(1951)
[110] Vul,大肠杆菌。;哈努斯,D。;Kanwisher,N.,《注意力作为推理:选择是概率的;《实验心理学杂志:总论》(Journal of Experimental Psychology:General),2009年,第138、4、546-560页
[111] Wang,H.,图灵计算机器理论的变体,美国计算机学会杂志,4,1,63-92(1957)
[112] 威尔逊,R.C。;Geana,A。;怀特,J.M。;路德维希,E.A。;Cohen,J.D.,《人类使用定向和随机探索解决探索-开发困境》,《实验心理学杂志:概述》,143,6,2074-2081(2014)
[113] 木材,I。;Sunehag,P。;Hutter,M.,《普遍先验的(非)等价性》(Dowe,D.,所罗门诺夫第85次纪念大会(2011),斯普林格LNCS),417-425·Zbl 1404.68053号
[114] Yao,A.C.,《无上下文文法和随机数生成》(Context-free grammars and random number generation),(Apostolico,A.;Galil,Z.,《单词的组合算法》,第12卷(1985),Springer),357-361·Zbl 0576.68030号
[115] 朱,S.-C。;Mumford,D.,图像的随机语法,计算机图形与视觉的基础与趋势,2,4,259-362(2007)·Zbl 1198.68160号
[116] Zvonkin,A.K。;Levin,L.A.,《有限对象的复杂性以及通过算法理论发展信息和随机性概念》,Uspekhi Matematicheskikh Nauk,25,6,85-127(1970)·Zbl 0222.02027
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。