×
克尔斯托·普罗科维奇；迈克尔·旺德；约翰·施密杜贝尔

使用变压器改进状态前提选择。 （英语） Zbl 1485.68286号

Kamaredine，Fairouz（编辑）等人，《智能计算机数学》。2021年7月26日至31日，罗马尼亚蒂米苏拉第十四届国际会议，CICM 2021。诉讼程序。查姆：斯普林格。莱克特。注释计算。科学。12833, 84-89 (2021).
摘要：前提选择是大型理论中自动推理的一项基本任务。最近提出的一种方法将前提选择定义为一个序列到序列的问题，称为有状态前提选择。给定一个定理陈述，有状态前提选择方法的目标是预测有助于证明它的前提集。在本工作中，我们使用Transformer体系结构学习有状态前提的选择方法。我们的性能优于现有的递归神经网络基线，并改进了最近提出的数据集的最新技术。
关于整个系列，请参见[Zbl 1484.68013号].

MSC公司：

第68卷第15页 定理证明（自动和交互式定理证明、演绎、解析等）
68T05型 人工智能中的学习和自适应系统

关键词：

前提选择；机器学习；神经网络

软件：

XGBoost公司；深度数学；PyTorch公司；ATP增压；OpenNMT（OpenNMT）；元数学；米扎尔；Flyspeck飞点；TPTP公司；MPTP 0.2
PDF格式BibTeX公司 XML格式引用
\文本{K.Proroković}等人，Lect。注释计算。科学。12833，84-89（2021；Zbl 1485.68286）
全文： 内政部

参考文献：

[1] Chen，T.，Guestrin，C.：XGBoost：一个可扩展的树木提升系统。摘自：第22届ACM SIGKDD知识发现和数据挖掘国际会议记录，第785-794页（2016）
[2] 格拉博夫斯基，A。；Kornilowicz，A。；Naumowicz，A.，简而言之，Mizar，J.Formiz。原因。，3, 2, 153-245 (2010) ·Zbl 1211.68369号
[3] Hochreiter，S。；Schmidhuber，J.，长短期记忆，神经计算机。，9, 8, 1735-1780 (1997) ·doi:10.1162/neco.1997.9.8.1735
[4] 霍德，K。；沃龙科夫，A。；比约纳，N。；Sofronie-Stokkermans，V.，《大型理论推理的Sine quanon》，自动演绎-CADE-23，299-314（2011），海德堡：斯普林格·Zbl 1341.68189号 ·doi:10.1007/978-3-642-22438-623
[5] Irving，G.，Szegedy，C.，Alemi，A.A.，Een，N.，Cholet，F.，Urban，J.：Deepmath-前提选择的深度序列模型。收录：Lee，D.，Sugiyama，M.，Luxburg，U.，Guyon，I.，Garnett，R.（编辑）《神经信息处理系统进展》，第29卷。Curran Associates，Inc.（2016年）。https://proceedings.neurips.cc/paper/2016/file/f197002b9a0853eca5e046d9ca4663d5-paper.pdf
[6] Kaliszyk，C。；拉贝，F。；Benzmüller，C。；Miller，B.，《形式化数学语言调查》，《智能计算机数学》，138-156（2020），查姆：斯普林格，查姆·Zbl 1455.68257号 ·doi:10.1007/978-3-030-53518-69
[7] Kaliszyk，C。；Urban，J.，使用Flyspeck进行学习辅助自动推理，J.Autom。原因。，53, 2, 173-213 (2014) ·Zbl 1314.68283号 ·doi:10.1007/s10817-014-9303-3
[8] Kaliszyk，C。；Urban，J.，Mizar 40代表Mizar，J.Autom。原因。，55, 3, 245-256 (2015) ·Zbl 1356.68191号 ·doi:10.1007/s10817-015-9330-8
[9] Klein，G.、Kim，Y.、Deng，Y.，Senellart，J.、Rush，A.：OpenNMT：神经机器翻译的开源工具包。摘自：2017年ACL会议记录，系统演示，第67-72页。计算语言学协会，加拿大温哥华（2017年7月）。https://www.aclweb.org/antology/P17-4012
[10] 库恩，HW，分配问题的匈牙利方法，海军研究后勤。问，2，1-2，83-97（1955）·Zbl 0143.41905号 ·doi:10.1002/nav.3800020109
[11] Loos，S.、Irving，G.、Szegedy，C.、Kaliszyk，C.：深度网络引导的证明搜索。在：LPAR-21，第21届编程、人工智能和推理逻辑国际会议，第85-105页（2017）。http://arxiv.org/pdf/1701.06972.pdf。国际标准编号2398-7340·Zbl 1403.68197号
[12] Luong，M.T.，Pham，H.，Manning，C.D.：基于注意力的神经机器翻译的有效方法。摘自：《2015年自然语言处理实证方法会议记录》，第1412-1421页（2015）
[13] Megill，N.，Wheeler，D.A.：《元数学：数学证明的计算机语言》（2019年）。http://us.metamath.org/downloads/metamath.pdf
[14] 孟，J。；Paulson，LC，针对机器生成解决问题的轻量级相关过滤，J.Appl。日志。，7, 1, 41-57 (2009) ·Zbl 1183.68560号 ·doi:10.1016/j.jal.2007.07.004
[15] Olsák，M.，Kaliszyk，C.，Urban，J.：用于自动推理的属性不变量嵌入。摘自：Giacomo，G.D.等人（编辑）ECAI 2020-24欧洲人工智能会议，2020年8月29日至9月8日，西班牙圣地亚哥·德孔波斯特拉，2020年八月29日至九月8日，包括第十届人工智能著名应用会议（PAIS 2020）。《人工智能与应用前沿》，第325卷，第1395-1402页。IOS出版社（2020）。doi:10.3233/FAIA200244·Zbl 1464.68317号
[16] Paliwal，A.，Loos，S.，Rabe，M.，Bansal，K.，Szegedy，C.：高阶逻辑和定理证明的图形表示。摘自：《AAAI人工智能会议记录》，第34卷，第2967-2974页（2020年）
[17] Paszke，A.等人：Pytorch：一个命令式、高性能的深度学习库。摘自：Wallach，H.、Larochelle，H.，Beygelzimer，A.、d'Alché-Buc，F.、Fox，E.、Garnett，R.（编辑）《神经信息处理系统进展》32，第8024-8035页。Curran Associates，Inc.（2019年）。http://papers.neurips.cc/paper/9015-pytorch-an-imperative-style-high-performance-deep-learning-library.pdf
[18] Piotrowski，B。；Urban，J。；Galmiche，D。；舒尔茨，S。；Sebastiani，R.，ATPboost:带ATP反馈的二进制设置中的学习前提选择，自动推理，566-574（2018），Cham:Springer，Cham·Zbl 1511.68257号 ·doi:10.1007/978-3-319-94205-637
[19] Piotrowski，B.，Urban，J.：递归神经网络的有状态前提选择。摘自：Albert，E.，Kovacs，L.（eds.）LPAR23，LPAR-23：第23届编程、人工智能和推理逻辑国际会议。《计算中的EPiC系列》，第73卷，第409-422页。EasyChair（2020年）。0). doi:10.29007/j5hd。https://easychair.org/publications/paper/g38n
[20] Polu，S.，Sutskever，I.：自动定理证明的生成语言建模。CoRR abs/2009.03393（2020）。https://arxiv.org/abs/2009.03393
[21] Schlag，I.，Irie，K.，Schmidhuber，J.：线性变换器是秘密的快速重量记忆系统。CoRR abs/2102.11174（2021）。https://arxiv.org/abs/1202.11174
[22] 施密杜贝尔，J。；Gielen，S。；Kappen，B.，《降低全递归网络中学习复杂性和时变变量数量之间的比率》，ICANN’93，460-463（1993），伦敦：斯普林格出版社，伦敦·doi:10.1007/978-14471-2063-6_110
[23] Fermüller，CG；Voronkov，A.，《程序设计、人工智能和推理逻辑》（2010），海德堡：斯普林格出版社·Zbl 1197.68008号 ·doi:10.1007/978-3-642-16242-8
[24] Sutcliffe，G。；EM克拉克；Voronkov，A.，《TPTP世界——自动推理的基础设施》，《编程逻辑、人工智能和推理》，1-12（2010），海德堡：斯普林格·Zbl 1253.68292号 ·doi:10.1007/978-3-642-17511-4_1
[25] Sutskever，I。；葡萄酒，O。；Le，QV，神经网络序列到序列学习，高级神经信息处理。系统。，27, 3104-3112 (2014)
[26] Tsivtsivadze，E.，Urban，J.，Geuvers，H.，Heskes，T.：用于自动推理的语义图内核。摘自：2011年SIAM国际数据挖掘会议记录，第795-803页。SIAM（2011年）
[27] Urban，J.：MPTP 0.2：设计、实施和初步实验。J.汽车。原因。37(1-2), 21-43 (2006) ·Zbl 1113.68095号
[28] Vaswani，A.，注意力是你所需要的，高级神经信息处理。系统。，30, 5998-6008 (2017)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。