×

逻辑张量网络。 (英语) Zbl 07482899

摘要:近年来,将逻辑和神经网络结合到神经符号学方法中的尝试越来越多。在神经系统中,符号知识有助于深度学习,这种学习通常使用亚符号分布表示,在更高的抽象层次上学习和推理。我们提出了逻辑张量网络(Logic Tensor Networks,LTN),这是一个支持查询、学习和推理的神经符号框架,它既支持对世界的丰富数据,也支持对世界的抽象知识。LTN引入了一种完全可微的逻辑语言,称为实逻辑,通过神经计算图和一阶模糊逻辑语义,一阶逻辑签名的元素以数据为基础。我们发现LTN提供了一种统一的语言来高效地表示和计算许多最重要的人工智能任务,如多标签分类、关系学习、数据聚类、半监督学习、回归、嵌入学习和查询回答。我们使用tensorflow2,通过几个简单的例子来实现和说明上述任务。结果表明,LTN可以作为一个通用而强大的神经细胞人工智能框架。

理学硕士:

68Txx型 人工智能
PDF格式 BibTeX公司 XML 引用

参考文献:

[1] Martín Abadi、Ashish Agarwal、Paul Barham、Eugene Brevdo、Zhifeng Chen、Craig Citro、Greg S.Corrado、Andy Davis、Jeffrey Dean、Matthieu Devin、Sanjay Ghemawat、Ian Goodfello、Andrew Harp、Geoffrey Irving、Michael Isard、Yangqing Jia、Rafal Jozefowicz、LukasKaiser、Manjunath Kudlur、Josh Levenberg、Dandelion Man Monga、Sherry Moore,德里克·默里、克里斯·奥拉、迈克·舒斯特、乔纳森·什伦斯、贝诺伊特·施泰纳、伊利亚·萨茨克弗、库纳尔·塔尔瓦尔、保罗·塔克、文森特·万霍克、维杰·瓦苏德万、费尔南达·维加斯、奥里奥尔·维亚尔斯、皮特·沃登、马丁·瓦滕伯格、马丁·威克、袁宇、郑晓强、张索流:异构系统上的大规模机器学习,2015年,软件可从tensorflow.org获得。
[2] Akintunde,迈克尔;波托伊娃,埃琳娜;库瓦罗斯,帕纳吉奥蒂斯;Lomuscio,Alessio,验证神经多智能体系统的战略能力,(第17届知识表示与推理原理国际会议论文集,第17届知识表示与推理原理国际会议论文集,KR2020,Rhodes,Greece(2020年9月))
[3] 巴德雷丁,萨米;Spranger,Michael,将转移学习的先验知识注入使用逻辑张量网络的强化学习算法(2019年6月)
[4] 巴塔利亚,彼得;帕斯卡努,拉兹万;赖,马修;雷泽德,丹尼洛·希门尼斯;kavukcuoglu,Koray,《学习对象、关系和物理的交互网络》,(第30届神经信息处理系统国际会议论文集,第30届神经信息处理系统国际会议论文集,NIPS'16(2016),Curran Associates Inc:Curran Associates Inc.USA),4509-4517号
[5] 本吉奥,约书亚;德鲁,特里斯坦;拉哈曼,拿辛;柯,南迷迭香;拉查贝尔,塞巴斯蒂安;比拉纽克,奥利萨;戈亚尔,阿尼鲁德;Pal,Christopher,《学习分解因果机制的元迁移目标》,(学习表征国际会议(2020年))
[6] 比安奇,费德里科;Hitzler,Pascal,《逻辑张量网络用于演绎推理的能力》,(AAAI 2019春季研讨会论文集,将机器学习与知识工程相结合(AAAI-MAKE 2019)。美国加州帕洛阿尔托斯坦福大学2019年春季机器学习与知识工程(AAAI-MAKE 2019)春季研讨会论文集,2019年3月25日至27日,美国加利福尼亚州帕洛阿尔托市,斯坦福大学
[7] 比安奇,费德里科;帕莫纳里,马特奥;希茨勒,帕斯卡;瑟拉菲尼,卢西亚诺,《用次符号常识补充逻辑推理》(国际规则与推理联合会议(2019年),斯普林格),161-170
[8] 博尔赫斯,拉斐尔;阿图尔·达维拉·加塞兹;兰姆,卢伊斯,递归网络中时间知识的学习和表示,IEEE Trans。神经网络,222409-2421(2011年12月)
[9] Běhounek,自由人;辛图拉,彼得;Hájek,Petr,《数学模糊逻辑导论》,(Cintula,Petr;Hájek,Petr;Noguera,Carles,《数学模糊逻辑手册》,第1卷,《逻辑、数学逻辑和基础研究》,第37卷(2011年),大学出版物),1-102·Zbl 1284.03175号
[10] 北卡罗来纳州坎贝尔市。;Mahon,R.J.,《澳大利亚细尾蟹属两种岩蟹变异的多元研究》。J、 Zool.,22,3,417-425(1974年)
[11] 坎佩罗,安德烈;帕雷贾,阿尔多;克林格,蒂姆;特南鲍姆,乔希;Riedel,Sebastian,逻辑规则归纳和使用神经定理证明的理论学习(2018),CoRR
[12] 陈本辉;洪雪芬;段丽华;胡景璐,利用标签约束提高多标签分类性能,(2013年神经网络国际联席会议(IJCNN)(2013),IEEE),1-5
[13] 科恩,威廉W。;杨,范;Mazaitis,Kathryn,Tensorlog:一个使用深度学习基础设施实现的概率数据库,J.Artif。因特尔。第67285-325页(2020年)·Zbl 1434.68141
[14] 戴,W.-Z。;徐Q。;Yu,Y。;Zhou,Z.-H.,通过诱因学习桥接机器学习和逻辑推理,(第33届神经信息处理系统国际会议论文集,第33届神经信息处理系统国际会议论文集,NeurIPS'19(2019),Curran Associates Inc:Curran Associates Inc.USA)
[15] 丹尼尔,亚历山德罗;Serafini,Luciano,《知识增强型神经网络》,(环太平洋人工智能国际会议(2019年),Springer),542-554
[16] 阿图尔·达维拉·加塞兹;戈里,马可;羊肉,鲁伊斯C。;塞拉菲尼,卢西亚诺;斯普林格,迈克尔;Tran,Son N.,神经符号计算:机器学习和推理原则性集成的有效方法论,FLAP,6,4,611-632(2019)
[17] 阿图尔·德阿维拉·加塞兹,路易斯·C·兰姆,《神经符号人工智能:第三波》,2020年。
[18] 多纳德洛,伊万;Serafini,Luciano,用语义图像解释中的先验知识补偿监督不完全性,(2019年神经网络国际联席会议(IJCNN)(2019),IEEE),1-8
[19] 多纳德洛,伊万;塞拉菲尼,卢西亚诺;d'Avila Garcez,Artur,《语义图像解释的逻辑张量网络》,《第二十六届国际人工智能联席会议论文集》,第二十六届国际人工智能联席会议论文集,IJCAI-17(2017)),1596-1602
[20] Dheeru Dua,Casey Graff,UCI机器学习知识库,2017年。
[21] 埃文斯,理查德;Grefenstette,Edward,从嘈杂数据中学习解释规则,J.Artf。因特尔。第61、1-64页(2018年)·Zbl 1426.68235
[22] Ronald Fagin,Ryan Riegel,Alexander Gray,《通过实值逻辑进行不确定性推理的基础》,2020年。
[23] 费舍尔,马克;巴鲁诺维奇,米斯拉夫;德拉斯勒·科恩,达娜;盖尔,丁满;张策;Vechev,Martin,Dl2:用逻辑训练和查询神经网络,(国际机器学习会议(2019)),1931-1941
[24] 弗朗卡,曼诺尔;扎维鲁卡,格森;阿图尔,阿图尔,使用人工神经网络的底子句命题快速关系学习,马赫。学习,94,81-104(2014年1月)
[25] (Gabbay,Dov M.;Woods,John,The Multi-Valued and Non-mononic Turn in Logic.多值与非单调转向逻辑,《逻辑史手册》,第8卷(2007年),Elsevier)·Zbl 1135.03302
[26] 阿图尔·达维拉·加塞兹;加贝,Dov M。;布罗达,Krysia B.,神经符号学习系统:基础和应用(2002),斯普林格-韦拉格:柏林,海德堡·Zbl 1055.68090
[27] 阿图尔·达维拉·加塞兹;羔羊,Lus C。;Gabbay,Dov M.,《神经-符号认知推理》(2008),斯普林格出版社·Zbl 1188.68241
[28] 哈耶克,彼得,模糊逻辑的元数学(1998),克鲁尔学术出版社·Zbl 0937.03030
[29] (Hammer,Barbara;Hitzler,Pascal,《神经符号整合的观点》,《计算智能研究》,第77卷(2007年),Springer)·Zbl 1124.68092
[30] Harnad,Stevan,符号接地问题,Phys。D: 非线性现象学,42,1-3,335-346(1990)
[31] 霍尔多布勒,斯特芬;Kurfess,Franz J.,CHCL-一种连接主义推理系统,(Fronhöfer,Bertram;Wrightson,Graham,《推理系统中的并行化》,国际研讨会,Dagstuhl Castle,德国,1990年12月17日至18日,论文集:推理系统中的并行化,国际研讨会,德国达格斯图尔城堡,1990年12月17日至18日,《计算机科学讲座笔记》,第590卷(1990年),斯普林格,318-342号
[32] 胡志亭;马学哲;刘正中;霍维,爱德华德;Xing,Eric,利用逻辑规则利用深层神经网络,(计算语言学协会第54届年会论文集(第1卷:长篇论文)(2016年8月),计算语言学协会:计算语言学协会,德国柏林),2410-2420
[33] 亨利考兹,第三届人工智能之夏,美国人工智能协会罗伯特S.恩格莫尔纪念讲座,第三十四届人工智能大会,纽约,2020年2月10日。
[34] 金马,迪德里克P。;Ba,Jimmy,Adam:随机优化方法(2017年1月)
[35] 基萨,多加;范登布罗克,伙计;崔,亚瑟;Adnan Darwiche,概率判决图(第14届知识表示与推理原则国际会议论文集)(2014年7月)
[36] 克莱门特,埃里希·彼得;梅斯亚尔,拉德科;帕普,恩德,三角规范,逻辑趋势,第8卷(2000),斯普林格荷兰:斯普林格荷兰多德雷赫特·Zbl 0972.03002
[37] 科西雷克,亚当;萨博,萨拉;是的,是的;Hinton,Geoffrey E.,堆叠胶囊自动编码器,(Wallach,H.;Larochelle,H.;Beygelzimer,A.;d'Alché-Buc,F.;Fox,E.;Garnett,R.,《神经信息处理系统进展32》(2019年),Curran Associates,Inc.),15512-15522
[38] 亚历克斯·克里兹夫斯基;萨斯克弗,伊利亚;Hinton,Geoffrey E.,Imagenet分类与深卷积神经网络(第25届神经信息处理系统国际会议论文集第1卷,第25届神经信息处理系统国际会议论文集第1卷,NIPS'12(2012年),Curran Associates公司:Curran Associates Inc.Red Hook,NY,USA),1097-1105
[39] 羊肉,鲁伊斯C。;阿图尔·达维拉·加塞兹;戈里,马可;普拉茨,马塞洛O.R。;佩德罗·H·C·阿维拉尔。;Vardi,Moshe Y.,Graph neural networks meet neural Symbol computing:a survey and perspective,(Bessiere,Christian,第二十九届人工智能联合会议论文集,IJCAI 2020[计划于2020年7月,日本横滨,因日冕大流行病而推迟](2020)),4877-4884,IJCAI.org
[40] 曼海夫,罗宾;杜曼奇,塞巴斯蒂扬;金米格,安吉丽卡;德米特,托马斯;De Raedt,Luc,Deepproblog:神经概率逻辑编程,(第32届神经信息处理系统国际会议论文集,第32届神经信息处理系统国际会议论文集,NeurIPS'18(2018),Curran Associates Inc:Curran Associates Inc.USA),3753-3763·Zbl 07418672
[41] 曼尼格拉索,弗朗西斯科;戴维德米罗,菲洛梅诺;莫拉,莉亚;Lamberti,Fabrizio,Fabrizio,Fabrizio,Fabrizio,Fabrizio,Fabrizio,Fabrizio,Fabrizio,Fabrizio,Fabrizio,《更快的LTN:一种神经象征性的端到端对象检测架构》(2021年7月)
[42] 曼奎诺,瓦斯科;席尔瓦侯爵,乔奥;Planes,Jordi,加权布尔优化算法,(可满足性测试理论与应用国际会议(2009),Springer),495-508·Zbl 1247.68258号
[43] 毛、佳源;甘、庄;科利,普什梅特;特南鲍姆,约书亚B。;吴佳军,神经符号概念学习者:解读自然监督中的场景、词语和句子(2019),CoRR
[44] 玛拉,朱塞佩;詹尼尼,弗朗西斯科;米开朗基罗,迪里根蒂;Gori,Marco,《基于约束的视觉生成》,(Tetko,Igor V.;Kurková,Vera;Karpov,Pavel;Theis,Fabian J.,人工神经网络和机器学习-ICANN 2019:图像处理-第28届人工神经网络国际会议,德国慕尼黑,2019年9月17日至19日,会议记录,第三部分。人工神经网络和机器学习-ICANN 2019:图像处理-第28届人工神经网络国际会议,德国慕尼黑,2019年9月17-19日,会议记录,第三部分,计算机科学课堂讲稿,第11729卷(2019年),Springer),565-577
[45] 玛拉,朱塞佩;詹尼尼,弗朗西斯科;米开朗基罗,迪里根蒂;Gori,Marco,将学习和推理与深层逻辑模型相结合, (数据库中的机器学习和知识发现-欧洲会议,欧洲会议,ECML PKDD 2019,Würzburg,德国,2019年9月16-20日,会议记录,第二部分:数据库中的机器学习和知识发现-欧洲会议,ECML PKDD 2019,德国,2019年9月16-20日,会议记录,第二部分,计算机科学课堂讲稿e、 第11907卷(2019年),施普林格,517-532
[46] 玛拉,朱塞佩;詹尼尼,弗朗西斯科;米开朗基罗,迪里根蒂;Gori,Marco,《歌词:集成逻辑推理和深度学习的通用接口层》(2019年欧洲机器学习和知识发现联合会议),Springer),283-298
[47] 玛拉,朱塞佩;Kuželka,Ondřej,神经马尔可夫逻辑网络(2019),arXiv预印本
[48] Pasquale Minervini,Sebastian Riedel,Pontus Stenetorp,Edward Grefenstette,Tim Rocktäschel,《端到端可微证明中的学习推理策略》,2020年。
[49] 麻瓜顿,斯蒂芬H。;林殿焕;巴列维,尼尔斯;张国荣,元解释性学习:语法推理之应用。学习,94,1,25-49(2014年1月)
[50] 皮尔逊,卡尔,李。在最接近空间点系的直线和平面上。爱丁堡。都柏林菲洛斯。《医学杂志》,第2、11、559-572页(1901年)·京FM 32.0710.04
[51] Pinkas,Gadi,推理,非单调性和获取命题知识的连接主义网络学习,人工制品。国际,77,2203-247(1995)·Zbl 1013.68505
[52] 屈、蒙;唐健,概率逻辑神经网络推理,(神经信息处理系统进展(2019)),7712-7722
[53] Luc De Raedt,Sebastijan Dumančić,Robin Manhaeve,Giuseppe Marra,《从统计关系到神经符号人工智能》,2020年。
[54] 理查森,马修;多明戈,佩德罗,马尔科夫逻辑网络,马赫。学习,62,1-2,107-136(2006年2月)
[55] 瑞安,里格尔;格雷,亚历山大;卢乌斯,弗朗索瓦;可汗,纳威德;马孔多,Ndivhuwo;阿卡尔瓦亚,伊斯梅尔·尤努斯;钱海峰;费金,罗纳德;巴拉霍纳,旧金山;沙玛,Udit;伊克巴尔、沙吉特;卡拉南,希玛;尼拉姆,苏米特;利克雅尼,安基塔;Srivastava,Santosh,逻辑神经网络(2020年6月)
[56] 斯卡塞利,佛朗哥;戈里,马可;曹,阿中;哈根布什纳,马库斯;蒙法迪尼,加布里埃尔,图神经网络模型,翻译。神经网络,20,1,61-80(2009年1月)
[57] 舒拉格,伊玛诺;Schmidhuber,Jürgen,学习用三阶张量积推理(2018),校正
[58] 舒拉格,伊玛诺;斯摩棱斯基,保罗;费尔南德斯,罗兰;约吉克,内博伊萨;施密杜伯,于尔根;高建峰,用显式关系编码增强变换器解决数学问题(2019),校正
[59] 塞拉菲尼,卢西亚诺;d'Avila Garcez,Artur,《逻辑张量网络:数据和知识的深度学习和逻辑推理》(2016),arXiv预印本·Zbl 1430.68317
[60] 塞拉菲尼,卢西亚诺;d'Avila Garcez,Artur,《逻辑张量网络的学习和推理》(意大利人工智能协会会议(2016年),Springer),334-348·Zbl 1430.68317
[61] Shastri,Lokendra,Advents in SHRUTI——一种神经驱动的关系知识表示和使用时间同步的快速推理模型》,应用程序。国际,11,1,79-108(1999)
[62] 史云,模糊蕴涵之深层研究(2009),根特大学博士论文
[63] 斯摩棱斯基,保罗;《和谐思维:从神经计算到最优化理论语法》第一卷:认知结构(布拉德福德图书)(2006),麻省理工学院出版社·Zbl 1239.91140
[64] 苏瑞克,古斯塔夫;Aschenbrenner,Vojtech公司;泽莱兹尼,菲利普;肖卡尔特,史蒂文;Kuzelka,Ondrej,《提升关系神经网络:潜在关系结构的有效学习》,J.Arif。因特尔。第62、69-100页(2018年)·兹布1444.68163
〔65〕 范克里肯,埃米尔;阿卡尔,埃尔曼;van Harmelen,Frank,使用可微推理的半监督学习(2019年8月)
[66] 范克里肯,埃米尔;阿卡尔,埃尔曼;范哈梅伦,弗兰克,分析可微模糊蕴涵,(第17届知识表示与推理原则国际会议论文集(2020年9月)),893-903·Zbl 1490.68233
[67] 范克里肯,埃米尔;阿卡尔,埃尔曼;范哈梅伦,弗兰克,分析可微模糊逻辑算子(2020年2月)
[68] 瓦格纳,本尼迪克;d'Avila Garcez,Artur,《人工智能公平性的神经-符号集成》,(AAAI春季研讨会论文集:将机器学习与知识工程相结合2021年(2021年)),14
〔69〕 徐静宜;张子禄;塔尔,弗里德曼;梁一涛;Broeck,Guy,《符号知识深度学习的语义损失函数》(国际机器学习会议(2018年7月),PMLR),5502-5511
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。