虽然梯度下降（GD）优化方法结合校正线性单元（ReLU）人工神经网络（ANNs）通常在现实世界的学习中提供令人印象深刻的性能问题，直到今天，在所有实际相关的场景中，这仍然是一个开放的研究问题，严格地证明（或反驳）这样的GD优化方法在具有ReLU激活的ANN。
这篇文章的研究与大量的前馈完全相关在非正规概率密度函数$p:[a，b]^d的假设下，证明了随机初始化的GD优化方法在训练这类神经网络中的风险收敛性→ [0，∞)$ 在目标函数$f:[a，b]^d的假设下，所考虑的监督学习问题的输入数据的概率分布是分段多项式的→ \mathbb{R}^{\delta}$（描述输入数据和输出数据之间的关系）是分段多项式，并且假设所考虑的监督学习问题的风险函数至少允许一个规则的全局最小值。另外，对于只有一个隐层和一维输入的浅层神经网络的特殊情况，我们提出了一种新的算法同时，通过在训练这种浅层神经网络的过程中证明，对于每一个Lipschitz连续目标函数，在风险环境中都存在一个全局最小值。最后，在深层神经网络的训练中利用ReLU激活，我们还研究了梯度流（GF）微分方程的解，并通过证明了每个非发散GF轨迹都以多项式收敛到临界点点（在限制Fréchet次微分的意义上）。
我们的数学收敛性分析建立在我们上一篇文章[S.Eberle，A.Jentzen，A、 Riekert，G.Weiss，训练中梯度流的存在性、唯一性和收敛速度具有ReLU激活的人工神经网络。arXiv:2108.08106（2021）]，关于来自真实代数几何的工具，例如半代数函数的概念和广义Kurdyka-Łojasiewicz不等式，关于工具从泛函分析，如Arzelá-Ascoli定理，讨论一致有界的相对紧性而等连续序列的连续函数，则从非光滑工具分析等概念关于Fréchet次梯度的限制，以及关于shallow ReLU的实现函数集具有固定体系结构的ann形成了[P.Petersen，M、 Raslan，&F.Voigtlender，神经网络生成函数集的拓扑性质固定尺寸。找到了。计算机。数学。21（2021年），第2期，375–444页]。

利用基于梯度的优化方法训练深度神经网络（DNNs）是目前广泛应用的一种方法。然而，如何从数学上解释这些方法在实践中如此成功，仍然是一个广泛存在的问题。

在这篇文章中，我们考虑带整流线性单元（ReLU）激活的全连接前馈DNNs。研究了具有任意多个隐层的dnn训练中梯度流微分方程的解，证明了每一条非发散GF轨迹都以多项式收敛到一个临界点。我们假设输入数据的分布具有分段多项式密度，目标函数（描述输入数据和输出数据之间的关系）是分段多项式。我们证明的主要步骤之一是验证所考虑的风险函数满足Kurdyka-Lojasiewicz不等式。ReLU-DNNs训练分析中的一个关键难点是ReLU函数不可微，因此需要使用非光滑分析中的一些工具。

在所考虑的风险函数至少允许一个正则全局最小值的附加假设下，我们还建立了随机初始化的梯度下降（GD）方法在训练ReLU-DNNs时的风险收敛性。最后，在一维输入浅网络的特殊情况下，我们证明了对于每个Lipschitz连续目标函数，在风险景观中存在一个充分正则的全局最小值。