摘要

从深度学习到深度推理

作者:

传 Tran公司,

陶M。勒作者信息和声明

KDD’21：第27届ACM SIGKDD知识发现和数据挖掘会议记录

2021年8月

页4076-4077

https://doi.org/10.1145/3447548.3470803

出版:2021年8月14日出版历史记录

获取访问权限

摘要

大数据和大计算的兴起将现代神经网络带到了各行各业的数字生活中，这要归功于构建可扩展到现实世界的大型模型相对容易。目前，变形金刚和对海量数据的自我监督预训练取得了成功，这让一些人相信，一旦我们拥有足够的数据和计算资源，深度神经网络将能够完成几乎所有的工作。然而，神经网络在利用表面统计方面很快，但在推广到新的组合方面却失败得很惨。这是因为它们不是为深思熟虑的推理而设计的——这种推理能力可以从上下文化的数据中推断出新的知识。本教程回顾了将神经网络的能力扩展到“从数据中学习推理”，其任务是确定数据是否包含结论。这种能力为通过任意组合查询从数据中生成见解开辟了新途径，而无需预先定义一组狭窄的任务。本教程由四部分组成。第一部分涵盖了学习推理框架，并解释了神经网络如何通过其自然操作，如绑定、注意和动态计算图，充当推理的强大骨干。第二部分更详细地介绍了神经网络如何对非结构化和结构化数据以及跨模式进行推理。第三部分回顾了神经记忆及其在推理中的作用。最后一部分讨论了在较少的监督和更多的知识下对新组合的概括。

工具书类

[1]

Somak Aditya、Yezhou Yang和Chitta Baral。2019.在图像理解中整合知识和推理。2019年第28届国际人工智能联合会议。6252--6259.

[2]

赛义德·阿米扎德（Saeed Amizadeh）、哈米德·帕兰吉（Hamid Palangi）、奥列克桑德·波洛佐夫（Oleksandr Polozov）、黄一臣（Yichen Huang）和小石田（Kazuhito Koishida）。2020年。神经符号视觉推理：从“推理”中分离“视觉”。ICML（2020）。

[3]

雅各布·安德烈亚斯（Jacob Andreas）、马库斯·罗尔巴赫（Marcus Rohrbach）、特雷弗·达雷尔（Trevor Darrell）和丹·克莱恩（Dan Klein）。2016.神经模块网络。在CVPR中。39--48.

[4]

Dzmitry Bahdanau、Shikhar Murty、Michael Noukhovitch、Thien Huu Nguyen、Harm de Vries和Aaron Courville。2019.系统概括：需要什么，可以学到什么？ICLR（2019）。

[5]

Peter W Battaglia、Jessica B Hamrick、Victor Bapst、Alvaro Sanchez Gonzalez、Vinicius Zambaldi、Mateusz Malinowski、Andrea Tacchetti、David Raposo、Adam Santoro、Ryan Faulkner等。关系归纳偏见、深度学习和图形网络。arXiv预印arXiv:1806.01261（2018）。

[6]

莱昂·博图。2014.从机器学习到机器推理。机器学习，第94卷，第2期（2014），133-149。

数字图书馆

[7]

卡梅隆·巴克纳和詹姆斯·加森。2019.连接主义。在《斯坦福大学哲学百科全书》（The Stanford Encyclopedia of Philosophy fall 2019 ed.）中，爱德华·扎尔塔（Edward N.Zalta）（ed.）。斯坦福大学形而上学研究实验室。

[8]

雅各布·德夫林（Jacob Devlin）、张明伟（Ming Wei Chang）、肯顿·李（Kenton Lee）和克里斯蒂娜·图塔诺娃（Kristina Toutanova）。2019.BERT：深度双向变形金刚语言理解预培训。NAACL-HLT 2019会议记录。4171--4186.

[9]

艾丹·费尼和瓦莱丽·汤普森。2014.推理作为记忆。心理学出版社。

[10]

Marta Garnello和Murray Shanahan。2019.协调深度学习与符号人工智能：表示对象和关系。《行为科学的当前观点》，第29卷（2019年），17-23。

[11]

Alex Graves、Greg Wayne、Malcolm Reynolds、Tim Harley、Ivo Danielka、Agnieszka Grabska-Barwi'nska、Sergio Gómez Colmenarejo、Edward Grefenstette、Tiago Ramalho、John Agapiou等。2016.使用带有动态外部存储器的神经网络的混合计算。《自然》，第538卷，第7626页（2016年），第471-476页。

[12]

克劳斯·格雷夫（Klaus Greff）、斯乔德·范·斯蒂恩斯特（Sjoerd van Steenkister）和尤尔根·施密杜贝尔（Jürgen Schmidhuber）。2020.关于人工神经网络中的绑定问题。arXiv预印本arXiv:2012.05208（2020）。

[13]

Drew Hudson和Christopher D Manning。2019.抽象学习：神经状态机。在NeurIPS中。5901--5914.

[14]

Drew A Hudson和Christopher D Manning。2018.机器推理的合成注意网络。ICLR（2018）。

[15]

丹尼尔·卡尼曼（Daniel Kahneman）。2011.思考，快和慢。Farrar、Straus和Giroux纽约。

[16]

Roni Khardon和Dan Roth。1997.学会理性。美国医学会杂志（JACM），第44卷，第5卷（1997年），第697-725页。

数字图书馆

[17]

Alex Konkel和Neal J Cohen。关系记忆和海马体：表征和方法。神经科学前沿，第3卷（2009），23。

[18]

洪乐、特鲁延·特兰和斯维塔·文卡泰什。2020 c.神经存储程序存储器。ICLR 2020：第八届国际学习代表大会论文集。

[19]

洪乐、特鲁延·特兰和斯维塔·文卡泰什。2020年d.自我注意联想记忆。ICML第119卷。5682--5691.

[20]

Thao Minh Le、Voung Le、Svetha Venkatesh和Truyen Tran。2020年a.关系视觉推理中的动态语言绑定。在IJCAI。818--824.

[21]

Thao Minh Le、Voung Le、Svetha Venkatesh和Truyen Tran。2020年b.神经推理，快速和慢速，用于视频问答。2020年神经网络国际联合会议（IJCNN）。1--8. https://doi.org/10.1109/IJCNN48605.2020.9207580

[22]

小刘、张繁锦、侯振宇、王兆宇、李冕、张静和唐杰。2020年。自我监督学习：生成性或对比性。arXiv预印本arXiv:2006.08218，第1卷，第2卷（2020年）。

[23]

拉斯穆斯·帕尔姆（Rasmus Palm）、乌尔里希·帕奎特（Ulrich Paquet）和奥利·温特（Ole Winther）。2018年，循环关系网络。在NeurIPS中。3368--3378.

[24]

Ethan Perez、Florian Strub、Harm De Vries、Vincent Dumoulin和Aaron Courville。2018.电影：带有一般调节层的视觉推理。在AAAI。

[25]

Trang Pham、Truyen Tran、Dinh Phung和Svetha Venkatesh。2017.集体分类的列网络。《AAAI人工智能会议论文集》，第31卷。2485--2491.

[26]

亚当·桑托罗（Adam Santoro）、瑞安·福克纳（Ryan Faulkner）、大卫·拉波索（David Raposo）、杰克·雷（Jack Rae）、迈克·克扎诺夫斯基（Mike Chrzanowski）、西奥芬·韦伯（Theophane Weber）、达安·维尔斯特拉（Daan Wierstra）、奥里奥尔·维尼亚尔斯（Or。2018.关系递归神经网络。NIPS（2018）。

[27]

亚当·桑托罗（Adam Santoro）、大卫·拉波索（David Raposo）、大卫·G·巴雷特（David G Barrett）、马特乌斯·马林诺夫斯基（Mateusz Malinowski）、拉兹万·帕斯卡诺（Razvan Pascanu）、彼得·巴塔利亚（Peter Battagl。2017.用于关系推理的简单神经网络模块。以NIPS为单位。4974--4983.

[28]

Minjoon Seo、Aniruddha Kembhavi、Ali Farhadi和Hannaneh Hajishirzi。2017.机器理解的双向注意流。ICLR（2017）。

[29]

赛因巴亚尔·苏赫巴托（Sainbayar Sukhbaatar）、亚瑟·斯拉姆（Arthur Szlam）、杰森·韦斯顿（Jason Weston）和罗伯·弗格斯（Rob Fergus）。2015。端到端存储器网络。NIPS（2015）。

[30]

阿什什·瓦斯瓦尼（Ashish Vaswani）、诺姆·沙泽尔（Noam Shazeer）、尼基·帕尔玛（Niki Parmar）、雅各布·乌斯科雷特（Jakob Uszkoreit）、利昂·琼斯（Llion Jones）、艾丹·戈麦斯（Aidan N Gomez）、尤卡斯·凯泽（ukasz Kaiser。2017年。你所需要的就是关注。神经信息处理系统进展。5998--6008.

[31]

彼得·维利维奇（Petar Velivc ković）、吉勒姆·库库鲁尔（Guillem Cucurull）、阿兰塔·卡萨诺娃（Arantxa Casanova）、阿德里亚娜·罗梅罗（Adriana Romero）、彼得罗·利奥（Pietro Lió）和约舒亚·本吉奥（。2018年，图形注意力网络。ICLR（2018）。

[32]

徐克育、李静玲、张墨芝、杜文思、川崎健和杰尔卡。2019.神经网络可以推理什么？arXiv预印本arXiv:1905.13211（2019）。

引用人

选票A达科斯塔·佩雷拉C特塔曼齐A(2022)学习根据语义相似性对逻辑公式进行分类PRIMA 2022：多代理系统的原理和实践10.1007/978-3-031-21203-1_22(364-380)在线发布日期：2022年11月16日
https://dl.acm.org/doi/10.1007/978-3-031-21203-1_22
元TDa Rocha Neto W公司罗森伯格C奥布拉茨卡K巴拉卡特C塔莱蒂T(2022)下一代智能交通系统的机器学习新兴电信技术交易10.1002/等等.442733:4在线发布日期：2022年4月17日
https://dl.acm.org/doi/10.1002/ett.4427

索引术语

从深度学习到深度推理
1. 计算方法
  1. 人工智能
    1. 知识表示和推理
  2. 机器学习
    1. 机器学习方法
      1. 神经网络

建议

深度学习：概述和主要范式

在本文中，我们检查和分析了多层神经网络学习的主要范式，从单层感知器开始，到深度神经网络结束，这些范式被认为是神经网络领域的突破。。。
阅读更多信息
深度学习模型及其在大数据中的应用
设计、用户体验和可用性：理论与实践
摘要
在大数据时代，许多以前似乎难以收集和使用的数据开始被利用，导致需要处理的数据增加了数百万。为了获得有价值的信息，可以。。。
阅读更多信息
基于深度学习的动态社区发现
高级应用程序的数据库系统。DASFAA 2021国际研讨会
摘要
递归神经网络（RNN）是时间序列分析的有效方法。基于深度学习的网络表示学习模型和方法可以很好地分析和预测社交网络的社区结构。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

KDD’21：第27届ACM SIGKDD知识发现和数据挖掘会议记录

2021年8月

4259页

国际标准图书编号：9781450383325

内政部：10.1145/3447548

总主席：
朱飞达
新加坡管理大学
,
黄铭钧
新加坡国立大学
,
苗春燕
南洋理工大学
,
课程主席：
王海勋,
艾丽娜·斯克里普尼克,
Wynne Hsu公司,
桑贾伊·朝拉

版权所有©2021所有者/作者。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的部分或全部数字或硬拷贝以供个人或课堂使用。必须尊重本作品第三方组件的版权。对于所有其他用途，请联系所有者/作者。

赞助商

出版商

计算机协会

美国纽约州纽约市

出版历史记录

出版：2021年8月14日

检查更新

作者标记

限定符

摘要

会议

KDD'21款

赞助商：

KDD’21：第27届ACM SIGKDD知识发现和数据挖掘会议

2021年8月14日至18日

新加坡虚拟活动

接受率

8635份提交文件的总体接受率为1133份，占13%

即将召开的会议

KDD'24款

赞助商：
sigkdd公司
西格克德

第30届ACM SIGKDD知识发现和数据挖掘会议

2024年8月25日至29日

巴塞罗那，西班牙

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

2
引文总数
查看引文
467
总下载次数

下载次数（过去12个月）67
下载次数（最近6周）6

其他指标

查看作者指标

引文

引用人

引出序号A达科斯塔·佩雷拉C太塔曼齐A(2022)学习根据语义相似性对逻辑公式进行分类PRIMA 2022：多代理系统的原理和实践10.1007/978-3-031-21203-1_22(364-380)在线发布日期：2022年11月16日
https://dl.acm.org/doi/10.1007/978-3-031-21203-1_22
元TDa Rocha Neto W公司罗森伯格C奥布拉茨卡K巴拉卡特C塔莱蒂T(2022)下一代智能交通系统的机器学习新兴电信技术交易10.1002/等等.442733:4在线发布日期：2022年4月17日
https://dl.acm.org/doi/10.1002/ett.4427

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

媒体

数字

其他

桌子