研究论文

具有可编程推理的概率规划

作者:

维卡什K。曼辛卡,

乌尔里奇 Schaechtle公司,

希瓦姆汉达,

阿列克谢拉杜尔,

玉田县陈、和

马丁里纳德作者信息和声明

ACM SIGPLAN通知,体积53,问题4

页603-616

https://doi.org/10.1145/3296979.3192409

出版:2018年6月11日出版历史

获取访问权限

摘要

我们介绍了概率编程语言的推理元编程，包括新的语言结构、形式主义，以及在实践中首次证明有效性。与以往概率编程语言中硬编码到语言实现中的刚性黑盒推理算法不同，推理元编程使开发人员能够1）将推理问题动态分解为子问题，2）对子问题应用引用策略，3）在合并新数据和对现有数据进行推断之间交替进行，4）同时探索概率程序的多个执行轨迹。实现的策略包括基于梯度的优化、马尔可夫链蒙特卡罗、变分推理和序贯蒙特卡罗技术。推理元编程使概率模型和推理算法能够在一种概率编程语言中跨不同领域（如计算机视觉、数据科学和机器人技术）进行简明表达。

补充材料

WEBM文件（p603-mansinghka.webm）

下载
127.11 MB

工具书类

[1]

2016年优步工程烟火公告。https://eng.uber.com/pyro/。 (2016).

[2]

克里斯托夫·安德烈（Christophe Andrieu）、南多·德·弗雷塔斯（Nando De Freitas）、阿诺德·杜塞特（Arnaud Doucet）和迈克尔·乔丹（Michael I.Jordan）。2003年，机器学习MCMC简介。机器学习50, 1-2 (2003), 5-43.

[3]

Bob Carpenter、Andrew Gelman、Matt Hoffman、Daniel Lee、Ben Goodrich、Michael Betancourt、Michael A.Brubaker、Jiqiang Guo、Peter Li和Allen Riddell。2016年，Stan：一种概率编程语言。统计软件杂志20 (2016), 1-37.

[4]

罗伯特·克里斯蒂安和乔治·卡塞拉。1999.蒙特卡洛统计方法。(1999).

[5]

格雷戈里·库珀。1990年。使用贝叶斯信念网络的概率推理的计算复杂性。人工智能42, 2-3 (1990), 393-405.

数字图书馆

[6]

马可。库苏马诺-所有者。2016年，风险实施多变量数据表自动模型发现的Cross-Cat方法。http://probcomp.csail.mit.edu/pldi2018/venture-crosscat.tar。 (2016).

[7]

Marco F.Cusumano Towner、Benjamin Bichsel、Timon Gehr、Martin Vechev和Vikash K.Mansinghka。2018.概率程序的增量推理。在ACM SIGPLAN编程语言设计与实现会议论文集（PLDI）.

数字图书馆

[8]

马可·库苏马诺（Marco F.Cusumano-Towner）和维卡什·曼辛卡（Vikash K.Mansinghka）。2018年。使用概率计划作为提案。在概率编程语言、语义和系统研讨会（PPS，与POPL合办）.

[9]

马可·F·库苏马诺-托恩、阿列克谢·拉杜尔、大卫·温盖特和维卡什·K·曼辛加。2017.推断自主代理目标的概率程序。arXiv预打印arXiv:1704.04977(2017).

[10]

DARPA。2017.推进机器学习的概率编程（PPAML）。(2017).

[11]

皮埃尔·德尔·莫拉利（Pierre Del Moral）、阿诺德·多塞特（Arnaud Doucet）和阿杰·贾斯拉（Ajay Jasra）。2006.连续蒙特卡罗采样器。英国皇家统计学会杂志：B辑（统计方法）68, 3 (2006), 411-436.

[12]

阿诺德·杜塞特（Arnaud Doucet）、南多·德·弗雷塔斯（Nando De Freitas）和尼尔·戈登（Neil Gordon）。2001.序贯蒙特卡罗方法简介。在序贯蒙特卡罗方法在实践中的应用施普林格，3-14。

[13]

David A Forsyth和Jean Ponce。2002计算机视觉：一种现代方法Prentice Hall专业技术参考。

数字图书馆

[14]

Hong Ge、Kai Xu和Zoubin Ghahramani。2018年，图灵：概率规划的可组合推理。在国际人工智能与统计会议. 1682-1690.

[15]

Andrew Gelman、John B Carlin、Hal S Stern、David B Dunson、Aki Vehtari和Donald B Rubin，2014年。贝叶斯数据分析第2卷。CRC出版社佛罗里达州博卡拉顿。

[16]

诺亚·古德曼（Noah Goodman）、维卡什·曼辛卡（Vikash Mansinghka）、丹尼尔·罗伊（Daniel M Roy）、基斯·博纳维茨（Keith Bonawitz）和约书亚·特南鲍姆（Joshua B Tenenbaum）。2008年，《教堂：生成模型的语言》。在第25届人工智能不确定性国际会议记录.

数字图书馆

[17]

诺亚·D·古德曼和安德烈亚斯·斯图尔穆勒。2014.概率编程语言的设计与实现。http://dippl.org。 (2014). 访问时间：2017-11-15。

[18]

Andrew D.Gordon、Thore Graepel、Nicolas Rolland、Claudio Russo、Johannes Borgstrom和John Guiver。2014.表格：一种模式驱动的概率编程语言。在ACM SIGPLAN通知，第49卷。ACM，321-334。

数字图书馆

[19]

Andrew D.Gordon、Thomas A.Henzinger、Aditya V.Nori和Sriram K.Rajamani。2014.概率规划。在软件工程的未来.美国医学会，167-181。

数字图书馆

[20]

Shivam Handa、Vikash Mansinghka和Martin Rinard。2018年，具有可编程推理的概率编程-技术报告。https://people.csail.mit.edu/rinard/paper/pldi18.techreport.pdf。 (2018). 访问日期：2018-05-03。

[21]

Daniel Huang、Jean-Baptiste Tristan和Greg Morrisett。2017.编译马尔可夫链蒙特卡罗算法用于概率建模。在第38届ACM SIGPLAN编程语言设计与实现会议记录.美国医学会，111-125。

数字图书馆

[22]

Frank R Kschichang、Brendan J Frey和H-A Loeliger。2001.因子图和和积算法。IEEE信息理论汇刊47, 2 (2001), 498-519.

数字图书馆

[23]

优步人工智能实验室。2017.Pyro，一种深度概率编程语言。(2017). https://eng.uber.com/pyro（英文）/

[24]

刘军。2008科学计算中的蒙特卡罗策略Springer科学与商业媒体。

数字图书馆

[25]

詹姆斯·罗伯特·劳埃德（James Robert Lloyd）、大卫·K·杜维诺（David K Duvenaud）、罗杰·B·格罗斯（Roger B Grosse）、约书亚·B·特南鲍姆（Joshua B Tenenbaum）和邹宾·加拉马尼（Zoubin Ghahramani）。2014.非参数回归模型的自动构建和自然语言描述。在AAAI公司. 1242-1250.

数字图书馆

[26]

大卫·JC·麦凯。2003信息理论、推理和学习算法剑桥大学出版社。

数字图书馆

[27]

马可·库苏马诺（Marco F.Cusumano）——所有者维卡什·曼辛卡（Vikash K.Mansinghka）。2018.Gen的设计提案：通过代码生成进行快速自定义推断的概率编程。在机器学习和编程语言研讨会（MAPL，与PLDI合办）.

数字图书馆

[28]

维卡什·曼辛卡（Vikash Mansinghka）、丹尼尔·塞尔萨姆（Daniel Selsam）和尤拉·佩罗夫（Yura Perov）。2014.Venture：具有可编程推理的高阶概率编程平台。arXiv预打印arXiv:1404.0099(2014).

[29]

Vikash Mansinghka、Patrick Shafto、Eric Jonas、Cap Petschulat、Max Gasner和Joshua B Tenenbaum。2016。Crosscat：一种用于分析异构高维数据的完全贝叶斯非参数方法。机器学习研究杂志17, 1 (2016), 4760-4808.

数字图书馆

[30]

Vikash K Mansinghka、Tejas D Kulkarni、Yura N Perov和Josh Tenenbaum。2013年。使用生成概率图形程序进行近似贝叶斯图像解释。在神经信息处理系统研究进展. 1520-1528.

数字图书馆

[31]

Brian Milch、Bhaskara Marthi、Stuart Russell、David Sontag、Daniel L.Ong和Andrey Kolobov。BLOG：未知对象的概率模型。统计关系学习(2007), 373.

[32]

托马斯·明卡。2001.近似贝叶斯推断的期望传播。在第十七届人工智能不确定性会议记录摩根考夫曼出版公司，362-369。

数字图书馆

[33]

凯文·墨菲（Kevin P Murphy）。2012机器学习：概率的观点麻省理工学院出版社。

数字图书馆

[34]

劳伦斯·穆雷（Lawrence M Murray）。2013.使用LibBi对高性能硬件进行贝叶斯状态空间建模。arXiv预打印arXiv:1306.3277(2013).

[35]

阿维·普费弗。费加罗：一种面向对象的概率编程语言。第137卷。96

[36]

Alexey Radul、Anthony Lu和Vikash。曼辛加。2015年，DARPA PPAML挑战问题1“同步定位和绘图”的风险解决方案。http://probcomp.csail.mit.edu/pldi2018/venture-slam.tar。 (2015).

[37]

Rajesh Ranganath、Dustin Tran、Jaan Altosaar和David Blei。2016.算子变分推理。在神经信息处理系统研究进展. 496-504.

数字图书馆

[38]

卡尔·爱德华·拉斯穆森和克里斯托弗·基·威廉姆斯。2006.机器学习的高斯过程。麻省理工学院出版社，美国马萨诸塞州剑桥38 (2006), 715-719.

数字图书馆

[39]

克里斯蒂安·罗伯特和乔治·卡塞拉。2010.用R引入蒙特卡罗方法Springer科学与商业媒体。

数字图书馆

[40]

斯图亚特·罗素（Stuart J.Russell）和彼得·诺维格（Peter Norvig）。2003人工智能：一种现代方法（第2版）。培生教育。

数字图书馆

[41]

Ardavan Saeedi、Vlad Firoiu和Vikash Mansinghka。2015.通过概率编程反演软件模拟器的自动推断。arXiv预打印arXiv:1506.00308(2015).

[42]

约翰·萨尔瓦蒂尔（John Salvatier）、托马斯·维埃基（Thomas V Wiecki）和克里斯托弗·范内斯贝克（Christopher Fonnesbeck）。2016.使用PyMC3在Python中进行概率编程。PeerJ计算机科学2（2016），e55。

[43]

乌尔里希·谢赫特（Ulrich Schaechtle）、费拉斯·萨德（Feras Saad）、阿列克谢·拉杜尔（Alexey Radul）和维卡什·曼辛卡（Vikash Mansinghka）。2016.通过概率程序合成发现时间序列结构。arXiv预打印arXiv:1611.07051(2016).

[44]

乌尔里希·谢赫特（Ulrich Schaechtle）、费拉斯·萨德（Feras Saad）、阿列克谢·拉杜尔（Alexey Radul）和维卡什·曼辛卡（Vikash Mansinghka）。2016.通过概率程序合成发现时间序列结构。arXiv预打印arXiv:1611.07051(2016).

[45]

Sam Staton、Hongseok Yang、Frank Wood、Chris Heune和Ohad Kammar。概率规划的语义：高阶函数、连续分布和软约束。在第31届ACM/IEEE计算机科学逻辑年会论文集美国医学会，525-534。

数字图书馆

[46]

塞巴斯蒂安·特伦（Sebastian Thrun）、沃尔夫拉姆·伯格（Wolfram Burgard）和迪特尔·福克斯（Dieter Fox）。2005概率机器人麻省理工学院出版社。

数字图书馆

[47]

David Tolpin、Jan-Willem van de Meent和Frank Wood。2015年，英国圣公会概率规划。在欧洲机器学习和数据库知识发现联合会议施普林格，308-311。

数字图书馆

[48]

Dustin Tran、Matthew D.Hoffman、Rif A.Saurous、Eugene Brevdo、Kevin Murphy和David M.Blei。2017年，深度概率规划。在2017年学习代表国际会议记录.

[49]

Dustin Tran、Matthew D Hoffman、Rif A Saurous、Eugene Brevdo、Kevin Murphy和David M Blei。2017年，深度概率规划。arXiv预打印arXiv:1701.03757(2017).

[50]

Jean-Baptiste Tristan、Daniel Huang、Joseph Tassarotti、Adam C.Pocock、Stephen Green和Guy L.Steele。2014年8月：数据并行概率建模。在神经信息处理系统研究进展. 2600-2608.

数字图书馆

[51]

Martin J Wainwright，Michael I Jordan等人，2008年。图形模型、指数族和变分推理。机器学习的基础与趋势®1, 1-2 (2008), 1-305.

数字图书馆

引用人

Nguyen M公司佩雷拉R王M拉姆齐S麦克唐纳TVazou N公司(2023)可编程推理的效果处理程序第16届ACM SIGPLAN国际哈斯克尔研讨会会议记录10.1145/3609026.3609729(44-58)在线发布日期：2023年8月30日
https://dl.acm.org/doi/10.1145/3609026.3609729
Damgaard M公司佩德森R烘焙T(2022)认知机器人的惯用框架模式2016年10月10日/j.帕特尔2022.100533三:7(100533)在线发布日期：2022年7月
https://doi.org/10.1016/j.patter.2022.100533网址
比亚纳森E郎朗FMjöberg A公司拉努比莱F(2021)基于系统图的软件原型模型第十五届ACM/IEEE经验软件工程与测量国际研讨会论文集10.1145/3475716.3475772(1-11)在线发布日期：2021年10月11日
https://dl.acm.org/doi/10.1145/3475716.3475772
显示更多引用者

索引术语

具有可编程推理的概率规划
1. 计算数学
  1. 概率与统计学
    1. 概率推理问题
2. 软件及其工程
  1. 软件符号和工具
    1. 正式语言定义

建议

具有可编程推理的概率规划
PLDI 2018：第39届ACM SIGPLAN编程语言设计与实现会议论文集

我们介绍了概率编程语言的推理元编程，包括新的语言结构、一种形式主义，以及在实践中首次证明有效性。而不是依赖硬编码的刚性黑盒推理算法。。。
阅读更多信息
Gen：具有可编程推理的通用概率规划系统
PLDI 2019：第40届ACM SIGPLAN编程语言设计与实现会议记录

虽然概率规划被广泛用于某些限制类别的统计模型，但现有系统缺乏实际使用所需的灵活性和效率，而计算机视觉和……等领域出现了更具挑战性的模型。。。
阅读更多信息
基于Dirichlet先验的概率溯因逻辑规划

概率规划是一个研究领域，旨在为表示为概率程序的概率模型开发通用推理算法，概率程序的执行对应于推断这些模型的参数。在本文中，我们。。。
阅读更多信息

评论

信息和贡献者

问询处

发布时间

封面图片ACM SIGPLAN注意事项

ACM SIGPLAN通知第53卷第4期

2018年PLDI

2018年4月

834页

国际标准编号：0362-1340

EISSN公司：1558-1160

内政部：10.1145/3296979

编辑：
马修·弗莱特
罗德切斯特理工学院

PLDI 2018：第39届ACM SIGPLAN编程语言设计与实现会议记录
2018年6月
825页
国际标准图书编号：9781450356985
内政部：10.1145/3192366
总主席：
杰弗里·福斯特
美国马里兰大学帕克分校
,
项目主席：
丹·格罗斯曼
美国华盛顿大学

版权所有©2018所有者/作者。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的部分或全部数字或硬拷贝以供个人或课堂使用。必须尊重本作品第三方组件的版权。对于所有其他用途，请联系所有者/作者。

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2018年6月11日

在SIGPLAN中发布体积53,问题4

检查更新

作者标记

限定符

研究文章

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

22
引文总数
查看引文
689
总下载次数

下载次数（过去12个月）68
下载次数（最近6周）17

其他指标

查看作者指标

引文

引用人

Nguyen M公司佩雷拉R王M拉姆齐S麦克唐纳TVazou N公司(2023)用于可编程推理的效果处理程序第16届ACM SIGPLAN国际哈斯克尔研讨会论文集10.1145/3609026.3609729(44-58)在线发布日期：2023年8月30日
https://dl.acm.org/doi/10.1145/3609026.3609729
Damgaard M公司佩德森R烘焙T(2022)认知机器人的惯用框架模式2016年10月10日/j.帕特尔2022.100533三:7(100533)在线发布日期：2022年7月
https://doi.org/10.1016/j.patter.2022.100533网址
比亚纳森E郎朗FMjöberg A公司拉努比莱F(2021)基于系统图的软件原型模型第十五届ACM/IEEE经验软件工程与测量国际研讨会论文集10.1145/3475716.3475772(1-11)在线发布日期：2021年10月11日
https://dl.acm.org/doi/10.1145/3475716.3475772
王D霍夫曼J代表T弗伦德S雅哈夫E(2021)通过引导类型进行可靠的概率推断第42届ACM SIGPLAN编程语言设计与实现国际会议论文集10.1145/3453483.3454077(788-803)在线发布日期：2021年6月19日
https://dl.acm.org/doi/10.1145/3453483.3454077
贝克尔M卢A王X加瓦米M霍特·M里纳德M曼辛加五世(2024)具有可编程变分推理的概率规划美国计算机学会程序设计语言会议录10.1145/36564638：PLDI(2123-2147)在线发布日期：2024年6月20日
https://dl.acm.org/doi/10.1145/3656463网址
加格·P霍尔岑S范登·布勒克G米尔斯坦T(2024)钻头爆破概率程序美国计算机学会程序设计语言会议录10.1145/36564128：PLDI(865-888)在线发布日期：2024年6月20日
https://dl.acm.org/doi/10.1145/3656412
霍特·M加瓦米M卢ASchaechtle U公司弗里尔C谢尔比Z里纳德M萨阿德F曼辛加五世(2024)GenSQL：一个查询数据库表生成模型的概率编程系统美国计算机学会程序设计语言会议录10.1145/36564098：PLDI(790-815)在线发布日期：2024年6月20日
https://dl.acm.org/doi/10.1145/3656409
卢AGhavamizadeh M公司里纳德M曼辛加五世(2023)具有随机概率的概率规划美国计算机学会程序设计语言会议录10.1145/35912907：PLDI(1708-1732)在线发布日期：2023年6月6日
https://dl.acm.org/doi/10.1145/3591290
李杰维恩LShi P公司张Y(2023)有效摊销概率推断的类型保留、依赖感知指南生成美国计算机学会程序设计语言会议录10.1145/35712437：府绸(1454-1482)在线发布日期：2023年1月11日
https://dl.acm.org/doi/10.1145/3571243
卢A霍特·M定子S曼辛加五世(2023)ADEV：概率程序期望值的声音自动微分美国计算机学会程序设计语言会议录10.1145/35711987：POPL(121-153)在线发布日期：2023年1月11日
https://dl.acm.org/doi/10.1145/3571198
显示更多引用者

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

媒体

数字

其他

桌子

查看问题目录