深度学习在数学研究中有哪些可能的应用？

Question

毫无疑问，这里的每个人都听说过深度学习，即使他们不知道它是什么或它有什么好处。我本人曾是数学家，后来成为数据科学家，对深度学习及其在数学和符号推理中的应用非常感兴趣。最近取得了很多进展，虽然机器学习专家对此感到兴奋，但迄今为止的结果可能对研究数学家没有用处。我的问题很简单：

是否有研究数学的领域，如果一个人能够获得训练有素的最先进的机器学习模型（就像我将在下面描述的那样），它将在该领域产生积极影响？

虽然数学主要是关于证明，但有时也需要计算、直觉和探索。这些是深度学习特别擅长的事情。让我举几个例子：

良好的直觉或猜测

查顿和兰普显示了变形金刚，一种现在非常标准的神经网络类型，能够很好地解决形式的符号问题$$\mathit美元{表达}_1\mapsto\mathit{表达}_2 $$哪里$\mathit美元{表达}_1$和$\mathit美元{表达}_2$都是符号表达，例如在他们的论文中$\mathit美元{表达}_1$是一个整合和$\mathit美元{表达}_2$是它的整体。这个模型并不完美。在93-98%的时间里，它得到了正确的答案，并且在接受培训的问题类型上做得最好。此外，集成是一个有200年历史的问题，因此很难与最先进的CAS竞争。

然而，有一些事情让这件事变得有趣。符号积分很重要，也很难，而且（在某种程度上）很容易通过计算导数来检查解的正确性（并通过符号检查导数是否与起始被积函数等价）。此外，这是一个“直觉”和“经验”肯定会有所帮助的领域，因为训练有素的人类积分求解器可以快速猜测正确的解决方案。最后，通过微分计算无限数量的训练示例（相对而言）很容易。（本文还使用了其他技巧来丰富训练集。）

在尖端数学中，可能在代数、组合数学或逻辑中，有类似的问题吗？在这些问题中，人们想反转一个易于在一个方向上计算但不易于在另一个方向上计算的符号运算？

神经引导搜索

有些问题只是某种树或图搜索，例如解魔方。给定一个加扰的立方体，神经网络可以建议下一步解决它的行动。一个好的神经网络能够为树或图搜索提供启发式，并且与朴素的强制搜索相比，能够防止指数放大。的确，《自然》杂志的一篇论文演示了如何训练一个神经网络，以这种不需要数学知识的方式从头开始求解魔方。他们的神经网络引导的树搜索，一旦经过训练，就可以完美地解决一个混乱的立方体。这也类似于AlphaGo及其变体背后的思想，以及神经形式定理证明背后的思想——这确实令人兴奋，但也不足以证明任何对研究数学有用的东西。

拼图方块和棋盘游戏并不是最前沿的数学，但人们可以想象出更有趣的领域，就像魔方一样，人们必须通过一系列简单的动作将一个表达式转换成另一种形式，而可靠地做到这一点的能力将是非常有趣的。（注意，我所描述的神经引导树搜索仍然是一种搜索算法，比典型的立方体求解算法慢得多，但新兴的程序合成领域可能有一天会很快从头开始学习一个求解魔方的计算机程序，以及学习计算机程序来解决更有趣的数学问题第条）

神经信息检索

假设您有一个数学对象数据库（例如整数序列、有限群、椭圆曲线或同伦群），并且您希望用户能够在该数据库中查找对象。如果该对象在数据库中，您希望用户找到它。如果不是，您希望该用户找到类似的对象。问题是“相似”很难定义。深度学习提供了一个很好的解决方案。每个对象都可以与一个嵌入相关联，它只是一个向量，例如，$\mathbb{R}^{128}$两个对象的相似性度量是其嵌入的内积。此外，有许多技术使用自监督机器学习来构建这些嵌入，以便语义相似的对象具有相似的嵌入。这在作为前提选择的形式定理证明中已经显示出了很大的潜力，人们希望从定理库中选择最相关的定理用于另一个定理的证明。

例如，我认为这种神经数据库搜索对于OEIS来说是合理的，在OEIS中可以使用神经网络对整数序列执行各种预测任务。训练网络的内层将为每个序列计算一个向量嵌入，用于在数据库中搜索相关序列。

几何直觉

神经网络非常擅长图像识别和其他图像任务（如将图像分割为多个部分）。是否有一些几何任务对于深度学习代理来说是有用的，可能是在维度4或维度5中，人类的几何直觉开始让我们失望，因为我们无法在这些维度中看到。（例如，卷积神经网络很难直接用于4维图像，但我可以想象将嵌入4D的3D曲面表示为坐标点云。这可能适用于Transformer神经网络。）

构建自己的任务

当涉及到输入和输出的选择以及架构时，神经网络非常灵活，因此不要让上面的具体示例过多地限制您的思考。您只需要以下几点：

1. 一种数学对象。一个你关心的人。它应该以某种有限的方式表示（作为公式、序列的初始段、图像、图形、计算机程序、电影、属性列表）。
2. 要对您的操作执行的任务。它可以是明确的或模糊的。它可以是可解的，或者（像积分一样）只能是部分可解的。它可以将对象划分为有限多个桶。它可以计算其他相关对象或对象属性。它可能是在一个序列中找到下一个元素。它可能会做出某种预测或猜测。甚至，仅仅是跳出框框思考，它可能会把物体变成2D卡通图像。
3. 大量培训数据。您要么需要能够像上面的集成示例那样综合生成大量训练示例，要么像OEIS一样拥有一个由数千个示例组成的大型数据集（示例越多越好）。最好使用干净的数据，但神经网络可以很好地处理杂乱的数据。另一个“无数据”解决方案是强化学习，如魔方示例或AlphaGoZero，其中代理学习自己探索问题（并通过探索生成数据）。
4. 数据中的模式，即使你看不到它们是什么。你的任务应该是有模式帮助机器学习代理解决问题。（例如，我不相信分解大整数是一项好任务。）
5. 激励。为什么这对现场有用？拥有这个经过训练的模型有什么目的？它会使猜测事实、探索数学的新领域、用一堆令人困惑的公式来概括自己的头脑变得更容易吗？或者，你有没有办法将学习过的启发式转化为证明，比如使用搜索算法（如上面的魔方示例）或检查解决方案（如上面集成示例）？

Answer 1

在代数几何的背景下，神经网络已经成为研究Calabi-Yau歧管它们的拓扑不变量、度量和体积的计算对于物理学（弦理论）的应用特别有意义。最近的贡献包括

• 机器学习Calabi-Yau指标
• 机器学习Calabi-Yau四倍
• 深入学习Calabi-Yau指标
• Calabi-Yau景观：从几何学到物理学，再到机器学习

---

有关更一般的概述，请参见机器学习数学结构

我们为一般观众回顾了关于从具有以下特征的机器学习数学数据中提取结构经过多年的编辑。关注有监督的机器学习从几何到从组合学到数论，我们提出了表示论对不同问题准确性的比较研究。这个范式应该对猜想公式化有用，可以发现更多有效的计算方法，以及对某些数学中的结构层次。

Answer 2

我对一般性的水平有一些想法，比问题要求的要高一些：

---

有监督机器学习应用于预测数学对象的属性是指在许多数学领域，例如数论，我们倾向于期望我们研究的好的数学对象的特性要么是

• 由显式公式给出，或
• 准随机且难以预测。

如果这个期望是正确的，那么机器学习研究人员就有点束手无策了——他们要么什么都没有发现，要么发现一些微不足道的东西。当然，数学家是容易犯错误的，我们的期望当然也不总是正确的。

这表明一种方法是使用神经网络搜索出乎意料地容易预测的特性这将是一项有点吃力不讨好的任务，因为你通常不会发现任何感兴趣的东西，但当你确实发现了一些东西时，这将是违反直觉的新现象，通过人类分析，这可能会变成某种东西的新公式。

在这种情况下，很关键的一点是要对所讨论对象的现有准随机模型有一个很好的理解，以了解您的预测试图超越的小范围。（对于一些试图将机器学习或经典统计应用于纯数学的尝试来说，这是一个陷阱。）

---

我对将谜题和游戏中的技术引入到纯粹的数学中感到特别兴奋，就像问题的神经引导搜索部分一样。这是因为游戏中的神经网络是唯一的网络，它不仅可以实现人类在任务中的表现，而且不仅可以实现超人的表现，还可以通过引入人类从业者能够学习并融入他们自己的策略中的新思想来实现超人表现。

由于数学的目标是产生思想，这是非常令人鼓舞的。

因此，我们正在寻找一种游戏，在这种游戏中，玩家必须遵循一些规则，运用一系列动作，才能取得一些结果。（我不知道纯数学中有多少对抗性游戏的例子，所以我描述的是单人游戏。）

形式定理证明就是一个例子，史蒂夫·亨茨曼（Steve Huntsman）的回答中已经讨论过。

我相信Kirby演算是这类游戏或谜题，其目的是显示两个3流形或4流形通过有限系列的组合移动而不同同构，这在当前的研究中被使用（测试在4流形上新构造的光滑结构是奇异的还是不同于标准结构的）。一个挑战可能是找到一种好的方法来表示网络可以有效使用的图表。

Answer 3

在猜测的类别中，有Ramanujan机器.本项目走错了路与数学研究界合作，因为他们最初的声明提出了夸大其词的主张（例如，对一些不新鲜的猜想/定理声称新颖性），但我相信一般概念是正确的。沿着类似的思路，也许是时候用现代神经网络重温涂鸦了。在他的论文中涂鸦猜想(离散数学。 38（1988），113-118），Siemion Fajtlowicz描述了一个生成有限图猜想的计算机程序。它的大多数猜想要么是错误的、微不足道的，要么是已知的，但它确实提出了一些新颖的猜想，这些猜想非常有趣，足以让图论学家花时间证明它们并发表证明。

在引导搜索类别中，人们试图使用神经网络来提高SAT解算器的性能；例如，请参阅神经卫星这似乎是一个值得进一步研究的领域。

Answer 4

神经网络可能有助于加快怪物群体的计算速度$\mathbb｛M｝$，这是最大的有限零星单群。这样一个在某种意义上，网络可能是神经网络的（相当大的）堂兄弟处理OP提到的魔方。

的元素$\mathbb｛M｝$通常表示为稀疏矩阵的单词在里面$\mbox美元{GL}_n（\mathbb{F} k（_k）)$,196882美元\leq n \leq 196884，k=2.3$.有检查这两个单词相等性的有效算法，请参阅[1]。在计算机上，将单词缩减为较短的单词可能需要几分钟的时间，有关概述，请参见示例[2]。我目前正在加速减少这些单词。我计划利用一些几何信息包含在中某些向量的图像中$\mathbb美元{F} k（_k）^n个$.就目前而言我知道，以前没有人使用过这个信息。（对于专家：我主要关注名为2A-axes的向量的图像）。在这里，神经网络可能会更好地学习如何使用这个信息比我多。

此类项目的数学效益如下：

1. 关于计算，怪物群是最困难的有限元要处理的简单组。如果我们可以在怪物群中计算，那么我们可以在所有有限的群中计算组，前提是我们有足够的关于该组的信息和足够的计算机内存。

2. 我们可能可以完成的最大子群的分类怪物团体。

工具书类

[1] R.威尔逊。在怪物中计算。组合数学与几何，达勒姆，2001年，327–337。世界科学出版社，2003年。

[2] R.A.威尔逊。怪物和黑盒子小组.

Answer 5

关于神经形式定理证明的一些最新工作（在问题中已经提到，但这些示例提供了一种最先进的感觉）：

• 用神经网络生成正确性证明
• 基于自监督跳树训练的数学推理
• 零战术：通过深度强化学习从零开始证明定理

Answer 6

这早于深度学习，但我们不应该忘记，已经有了图论中模式识别的一些进展（OP：“数据中的模式”）并形成猜想。

• Hansen、Pierre和Gilles Caporossi。“AutoGraphiX：在图论中发现猜想的自动系统。”离散数学中的电子笔记5 (2000): 158-161.内政部.

“到目前为止，[AutoGraphiX]已经驳斥了9个涂鸦猜想，并提出了50多个新猜想，其中15个已经被证明，没有一个被反驳。”

刚刚发布（2021年4月29日）：A.Z.Wagner，“通过神经网络构建组合数学”arXiv abs公司:

“我们演示了如何使用强化学习算法，即深度交叉熵方法，找到极值组合学和图论中几个开放猜想的显式构造和反例。”

根据要求，现在是一个单独的邮递.

Answer 7

亚当·瓦格纳有一篇关于arXiv的新论文（2021年4月29日），“通过神经网络构建组合数学”，其摘要如下：

“我们演示了如何使用强化学习算法，即深度交叉熵方法，找到极值组合学和图论中几个开放猜想的显式构造和反例。在我们反驳的猜想中，有Brualdi和Cao关于最大化模式避免矩阵的永久数的问题，以及与图的邻接和距离特征值有关的几个问题。"

威尔·萨温在这里评论道，“瓦格纳的论文驳斥了AutoGraphiX的一个猜想”（并且理应给出自己的答案）。

蒂莫西·高尔斯在推特上讨论了这一点，总结道：“该程序的大致思路是设计一个合适的奖励函数，通常非常简单，用于衡量一个尝试反例的效果，剩下的就让强化学习的魔力来完成了”。

Answer 8

神经网络也刚刚开始被用于结理论！

该领域最大的未解决部分之一是发现平滑结协和群的结构。要做到这一点，需要对许多纽结不变量有深入的了解，其中最主要的是美元\套$和%s美元$Ozsváth、Szabó和Rasmussen的不变量。这些都是强大的不变量，它们都是从所讨论的结的内在几何中导出的，但对于复杂的结来说，它们很难计算。

计算这些不变量的问题非常有利于神经网络的使用：有一个大的训练集（所有已经进行计算的节点）和对象几何中的根。最后，我要提到的是，这些不变量的计算是大规模计算策略的一部分，用于寻找光滑四维Poincaré猜想的反例。这通常被认为是低维拓扑中最大的遗留问题。

Answer 9

我们迫切需要的一个应用程序是一个“智能”的TeX-math搜索引擎（例如，一个有趣的是https://approach0.xyz/search网站/).

• 与arxiv中的人员合作，通过数学论文的TeX代码进行引擎搜索。（因此，如果我们想简化搜索，甚至可能会提出math-TeX词汇表的一些模板。）。
• 因此，这需要一个灵活的引擎，甚至可以为我们提供来自不同地区的近距离搜索结果，建立有趣的桥梁。
• 我想人工智能在这里也很有用，可以根据主题形成一个松散的定理和定义家族。从而让我们对数学的各个方向有了一个了解。

另一个有趣的应用是帮助PDE锐化各种常数。我想一个真正聪明的人工智能将非常适合运行各种候选函数，并使成本函数仅仅基于常数的锐化。

Answer 10

最近有一些工作是利用神经网络来近似求解不同类型的偏微分方程。这种方法的主要优点是可以处理超高维问题，其中涉及离散化的传统数值方法被证明是不可行的，因为网格点的数量随维数呈指数级增长。

深度学习方法通过将PDE问题转化为例如最小化能量泛函来避开维数灾难https://arxiv.org/abs/1710.00211或随机最优控制问题https://arxiv.org/abs/1202.11379，然后通过蒙特卡罗采样来解决相关的ERM问题，蒙特卡罗采样的收敛性与维数无关。

Answer 11

全面披露：这是我的回答到问题CrossValidated（统计堆栈交换）上的。

参见2019预印本机器学习符合数字理论：Birch-Swinnerton-Dyer的数据科学作者：Alessandretti，Baronchelli&He。以下是摘要：

实证分析往往是走向猜想诞生的第一步。这是Birch-Swinnerton-Dyer（BSD）猜想描述的情况椭圆曲线上的有理点，最著名的未解问题之一数学问题。在这里，我们将原来的经验方法扩展到分析克雷莫纳数据库中与BSD相关的数量，检查采用最新数据技术绘制的250多万条椭圆曲线科学、机器学习和拓扑数据分析。

关键量，如秩、魏尔斯特拉斯系数、周期、导体、，Tate-Shafarevich集团的Tamagawa编号、监管机构和命令到我们研究其统计特性的高维点云。我们揭示了秩与Weierstrass系数的模式和分布，以及BSD数量比的Beta分布。过孔渐变提升树，机器学习应用于发现各种数量。我们预计，我们的方法将在数论和在纯数学中更普遍。