×

重温PRISM:使用多提示分隔控制的概率编程语言的声明性实现。 (英语) Zbl 1448.68202号

概要:PRISM是一种基于Prolog的概率编程语言,添加了原语来表示概率选择。它是通过结合使用B-Prolog修改版本的低级支持、源代码级程序转换以及C语言中实现的推理和学习库来实现的。最近,使用函数式编程语言的开发人员采用了以下方法嵌入概率原语转换为现有语言,对宿主语言几乎没有修改,通常使用分隔的延续。捕获的延续表示概率程序的各个部分,可以对其进行操作,以实现各种各样的有助于推理的计算效果。在本文中,我将描述一种基于最近引入SWI Prolog的定界控制操作符的方法。这些用于创建一个嵌套效果处理程序系统,该系统共同实现PRISM的核心功能——构建解释图——完全在Prolog中,并使用数量级较小的代码。其他声明性编程工具(如约束逻辑编程)用于实现推理工具,如内外和EM算法、懒惰的best-first解释搜索和MCMC采样器。通过将PRISM的功能嵌入SWI-Prolog,用户可以访问其丰富的库和开发环境。通过在少量纯高级Prolog中表达PRISM的功能,此实现有助于进一步实验概率逻辑编程机制,包括新的概率建模特性和推理算法,例如具有实值变量的模型中的变分推理。

MSC公司:

68甲15 编程语言理论
68N17号 逻辑编程
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Abdallah,S.,《使用Prolog中的约束处理规则进行自动区分》(2017),arXiv预印本
[2] Abdallah,S.,《记忆:纯粹的、左旋的、带有(接续传递)风格的》(2017),arXiv预印本
[3] Abdallah,S.,《Prolog中使用多提示分隔控制的更多声明性列表》(2017),arXiv预印本
[4] Baker,J.K.,《语音识别可训练语法》,J.Acust。《美国社会杂志》,65,S1(1979),S132-S132
[5] 巴恩多夫-尼尔森,O。;Jupp,P.,近似指数模型,Ann.Inst.Stat.Math。,41, 2, 247-267 (1989) ·Zbl 0721.62003号
[6] Beal,M.J。;Ghahramani,Z.,《不完全数据的变分贝叶斯EM算法:应用于图形模型结构评分》,贝叶斯统计,7453-464(2003)
[7] Chen,W。;Warren,D.S.,《面向通用逻辑程序的有效评估》(第12届PODS会议记录(1993),Citeser)
[8] O.丹维。;Filinski,A.,抽象控制,(1990年ACM LISP和函数编程会议记录(1990),ACM),151-160
[9] Darwiche,A.,《贝叶斯网络中推理的微分方法》,(《人工智能中的不确定性》,UAI 2000(2000)),123-132
[10] De Raedt,L。;Kimmig,A。;Toivonen,H.,Problog:概率Prolog及其在链路发现中的应用,(IJCAI,第7卷(2007)),2462-2467
[11] Desouter,B。;Van Dooren,M。;Schrijvers,T.,《带分隔控制的表格库》,理论与实践。日志。程序。,15, 4-5, 419-433 (2015) ·Zbl 1379.68054号
[12] 艾斯纳,J。;Goldlust,E。;Smith,N.A.,Dyna:一种用于实现动态程序的声明性语言,(《计算语言学协会第42届年会会议记录》,计算语言协会第42次年会记录,ACL 2004(2004)),32,配套卷
[13] 埃尔维格,M。;Kollmansberger,S.,《函数珍珠:概率函数编程》,Haskell,J.Funct著。程序。,16, 01, 21-34 (2006) ·Zbl 1091.68023号
[14] Felleisen,M.,《一级提示的理论与实践》(第15届ACM SIGPLAN-SIGACT编程语言原理研讨会论文集(1988),ACM),180-190年
[15] Filinski,A.,表示分层单体,(第26届美国计算机学会SIGPLAN-SIGCT编程语言原理研讨会论文集(1999),美国计算机学会),175-188
[16] Frühwirth,T.,约束处理规则的理论与实践,J.Funct。逻辑程序。,37, 1, 95-138 (1998) ·Zbl 0920.68029号
[17] 加赫拉马尼,Z。;Beal,M.J.,变分贝叶斯学习的传播算法,(神经信息处理系统进展(2001)),507-513
[18] Gibbons,J.,《计算函数程序》,(程序构造数学中的代数和余代数方法(2002),Springer),151-203,包括乘积和余乘积(和)的fork和join
[19] 古德曼,J.,《半环解析》,计算。语言学家。,25, 4, 573-605 (1999)
[20] 古德曼,N。;Mansinghka,V。;罗伊·D·M。;Bonawitz,K。;Tenenbaum,J.,Church:生成模型的语言,(《人工智能中的不确定性》(2008))
[21] Gutmann,B。;Thon,I。;Kimmig,A。;Bruynooghe,M。;De Raedt,L.,概率规划中逻辑推理的魔力,理论与实践。日志。程序。,11, 4-5, 663-680 (2011) ·Zbl 1222.68060号
[22] 亨斯曼,J。;托盘,M。;劳伦斯,N.D.,共轭指数族中的快速变分推理,(神经信息处理系统进展(2012)),2888-2896
[23] 医学博士霍夫曼。;布莱,D.M。;王,C。;佩斯利,J.,《随机变分推断》,J.马赫。学习。研究,14,1,1303-1347(2013)·Zbl 1317.68163号
[24] 黄,L。;Chiang,D.,Better k-best parsing,(第九届解析技术国际研讨会论文集,计算语言学协会(2005)),53-64,将每个因素的k-best解析组合在一个解释中,以获得解释的k-beest解析,然后结合备选解释的k-best解析,得到目标的k-best-parse
[25] 伊斯兰教,硕士。;罗马克里希南,C。;Ramakrishnan,I.,连续随机变量棱镜程序中的参数学习(2012),arXiv预印本
[26] Johnson,M.,自顶向下解析中的记忆,计算。语言学家。,21, 3, 405-417 (1995)
[27] Kimmig,A。;Van den Broeck,G。;De Raedt,L.,《推理可能世界的代数序言》(《第二十五届美国人工智能学会人工智能会议论文集》(2011),美国人工智能出版社),209-214
[28] Kiselyov,O。;Shan,C.Chieh,嵌入式概率编程,(NIPS2008概率编程海报研讨会摘要:通用语言、系统和应用(2008))
[29] 基谢廖夫,O。;Sabry,A。;Swords,C.,《可扩展效果:单声道变压器的替代品》(ACM SIGPLAN通告,第48卷(2013),ACM),59-70
[30] 克莱因,D。;Manning,C.D.,解析和超图,(解析技术的新发展(2004),Springer),351-372
[31] Lauritzen,S.L.,《图形模型》(1996),牛津大学出版社:牛津大学出版社,纽约·Zbl 0907.62001
[32] Meijer,E。;福克加,M。;Paterson,R.,《香蕉、透镜、信封和铁丝网的函数式编程》(Functional programming Languages and Computer Architecture,1991),施普林格出版社,124-144
[33] Muggleton,S.,《随机逻辑程序》(Advances in Inductive logic Programming),第32卷(1996),第254-264页
[34] Ng、R。;Subrahmanian,V.S.,概率逻辑编程,Inf.Comput。,101, 2, 150-201 (1992) ·Zbl 0781.68038号
[35] Pearlmutter,B.A。;Siskind,J.M.,功能框架中的反向模式AD:lambda最终反向传播算子,ACM Trans。程序。语言系统。(托普拉斯),30,2,7(2008)
[36] 佩雷拉,F.C。;Warren,D.H.,《语言分析的定语从句语法——形式主义调查和与增强转换网络的比较》,Artif。智力。,13, 3, 231-278 (1980) ·Zbl 0442.68088号
[37] Pfeffer,A.,IBAL:一种概率理性编程语言,(IJCAI(2001),Citeser),733-740
[38] Plotkin,G.D。;Pretnar,M.,处理代数效应,Log。方法计算。科学。,9 (2013) ·Zbl 1314.68191号
[39] Poole,D.,在概率Horn诱拐中代表贝叶斯网络,(第七届人工智能不确定性会议论文集(1991),摩根考夫曼出版社),271-278
[40] Poole,D.,概率Horn诱拐和贝叶斯网络,Artif。智力。,64, 1, 81-129 (1993) ·Zbl 0792.68176号
[41] Porter,H.H.,Earley Deduction(1986),俄勒冈州研究生中心,技术代表。
[42] Rabiner,L.R.,语音识别中隐藏马尔可夫模型和选择应用教程,Proc。IEEE,77,2,257-286(1989)
[43] Radul,A.,《概率语言方案报告》,(2007年动态语言研讨会论文集(2007),ACM),2-10
[44] Raiko,T。;瓦尔波拉,H。;哈瓦,M。;Karhunen,J.,潜在变量模型的变分贝叶斯学习构建块,J.Mach。学习。第155-201号决议(2007年1月)
[45] Ranganath,R。;Gerrish,S。;Blei,D.,黑箱变分推理,(Kaski,S.;Corander,J.,《第十七届国际人工智能与统计会议论文集》,机器学习研究论文集,第33卷(2014年4月22日至25日),PMLR:PMLR雷克雅未克,冰岛),814-822
[46] Riguzzi,F。;Swift,T.,《带注释析取逻辑程序推理的表格和答案包容》(LIPIcs-Leibniz International Proceedings in Informatics,vol.7(2010),Schloss Dagstuhl-Leibiniz-Zentrum fuer Informatik)·Zbl 1237.68049号
[47] Saleh,A.H。;Schrijvers,T.,Prolog的高效代数效果处理程序,理论与实践。日志。程序。,16, 5-6, 884-898 (2016) ·兹比尔1379.68080
[48] 佐藤,M.-A.,基于变分贝叶斯的在线模型选择,神经计算。,13, 7, 1649-1681 (2001) ·Zbl 1013.62087号
[49] Sato,T.,《具有分布语义的逻辑程序的统计学习方法》,(第十二届逻辑编程国际会议论文集。第十二届国际逻辑编程会议论文集,1995年,东京(1995)),715-729
[50] 佐藤,T。;Kameya,Y.,PRISM:符号统计建模语言,(Proc.第15届国际人工智能联合会议,第2卷。程序。第15届国际人工智能联合会议,第2卷,IJCAI(1997)),1330-1335,包括解释搜索和EM学习,但解释搜索未列入表格。解释搜索的结果更像是普尔的PHA——每个解释都是随机变量的赋值列表,每个变量都有一个唯一的标识符
[51] 佐藤,T。;Kameya,Y.,符号统计建模逻辑程序的参数学习,J.Artif。智力。Res.,15,391-454(2001),第一篇描述高效解释搜索表的期刊论文·Zbl 0994.68025号
[52] 佐藤,T。;Kameya,Y。;Kurihara,K.,《通过PRISM中命题概率计算的变分贝叶斯》,《数学年鉴》。Artif公司。智力。,54, 1-3, 135-158 (2008) ·Zbl 1178.68591号
[53] 佐藤,T。;Kubota,K.,Viterbi在PRISM的培训,(ICML统计关系学习研讨会。ICML统计学关系学习研讨会,SRL-2012(2012))·Zbl 1379.68272号
[54] 施里杰弗斯,T。;科斯塔,V.S。;Wielemaker,J。;Demoen,B.,《走向类型化Prolog》(逻辑编程国际会议(2008),Springer),693-697·Zbl 1185.68181号
[55] 施里杰弗斯,T。;Demoen,B。;脱脂剂,B。;Wielemaker,J.,《Prolog的限定延续,理论与实践》。日志。程序。,13, 4-5, 533-546 (2013) ·Zbl 1312.68037号
[56] Stuhlmüller,A。;Goodman,N.D.,递归概率程序中推理的动态规划算法(2012),arXiv预印本
[57] 苏斯曼,G.J。;Steele,G.L.,《Scheme:扩展Lambda微积分的解释器》(1975),AI Memo 349
[58] Swift,T.,《非单调编程表格》,《数学年鉴》。Artif公司。智力。,25, 3-4, 201-240 (1999) ·Zbl 0940.68025号
[59] Tamaki,H。;佐藤,T.,带表格的OLD决议,(第三届逻辑编程国际会议(1986年),施普林格),84-98·Zbl 0607.68072号
[60] 托宾,D。;van de Meent,J.-W。;Wood,F.,英国圣公会概率编程,(欧洲机器学习和数据库知识发现联合会议(2015),施普林格),308-311
[61] 托宾,D。;van de Meent,J.W。;Yang,H。;Wood,F.,概率编程语言Anglican的设计与实现(2016),arXiv预印本
[62] Ueda,N。;Nakano,R.,确定性退火EM算法,神经网络。,1171-282(1998年)
[63] Wadler,P.,理解单数,数学。结构。计算。科学。,2, 04, 461-493 (1992) ·Zbl 0798.68040号
[64] D.H.Warren,1975年,厄利演绎。未发布的注释。;D.H.Warren,1975年,厄利演绎。未发布的注释。
[65] 温盖特,D。;古德曼,N。;Stuhlmueller,A。;Siskind,J.M.,用于有效推理的概率程序的非标准解释,(神经信息处理系统进展(2011)),1152-1160
[66] 温盖特,D。;Weber,T.,《概率规划中的自动变分推理》(2013),arXiv预印本
[67] 温,J。;Bishop,C.M.,变体消息传递,J.Mach。学习。第661-694号决议(2005年4月)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。